Specific features of writing an essay in a foreign language as a stage of the interuniversity competition in the context of artificial intelligence development

Введение / Introduction

В настоящее время для преподавателей иностранного языка все более остро встает проблема создания положительной мотивации обучающихся к изучению английского или другого языка, принадлежащего романо-германской группе языков. Это обусловлено нестабильной политической ситуацией в мире, негативным отношением Запада и США к Российской Федерации, что ведет к снижению интереса студентов к овладению иностранным языком. В связи с этим особое значение приобретает проведение межвузовских олимпиад, конкурсов, направленных на популяризацию иностранных языков, повышение мотивации студентов к их изучению. В то же время предметные олимпиады придают особый соревновательный дух, позволяя участникам сравнить сформированные ранее практические навыки и одновременно раскрыть творческий потенциал, индивидуальность каждого.

Одним из этапов проведения олимпиады по иностранному языку высшие учебные заведения выбирают эссе как вид письменной работы, направленный на оценку следующих компетенций участников конкурса:

‒     грамотно и логически правильно строить свое высказывание с использованием терминологии по указанной теме;

‒     умение выразить свое мнение по обозначенной проблематике и аргументировать свою точку зрения;

‒     способность раскрыть тему с учетом владения профессиональной компетентностью.

Многие исследователи отмечают целесообразность выбора эссе в качестве основного конкурсного испытания либо отборочного тура в ходе проведения межвузовских олимпиад. Однако в последнее время в процессе оценивания результатов письменных работ все чаще можно столкнуться со случаями не просто плагиата, а использования участниками олимпиад нейросетей, что облегчает поставленную перед ними задачу, так как искусственный интеллект (ИИ) генерирует текст по обозначенной теме автоматически. Данная проблематика приобретает особую актуальность в связи с быстро развивающимися цифровыми технологиями, широко используемыми в образовательном процессе не только преподавателями, но и обучающимися, а также вследствие формирования у современных молодых людей поколения Z (рожденных в новом тысячелетии в век цифровизации) другого подхода к обучению, другого понятия, противоположного устоявшемуся, согласно которому под обучением подразумевают овладение необходимыми знаниями, умениями, навыками, соответствующими компетенциями одновременно с развитием творческих способностей и становлением духовно-нравственных ценностей.

Актуальность данной научной работы обусловлена проблемой распознавания сгенерированных текстов участников конкурса и релевантности полученных результатов в ходе проведения межвузовской олимпиады по английскому языку на базе Ростовского государственного университета путей сообщения (РГУПС). Теоретическая значимость исследования заключается в дальнейшем изучении вопроса возможностей применения ИИ в образовательном процессе, в том числе при обучении иностранному языку. Практическая значимость работы обусловлена результатами исследования, полученными на основе проведения межвузовской олимпиады по английскому языку, которые могут быть использованы преподавателями других технических вузов.

Цель работы – выявить преимущества и недостатки конкурсного испытания – написания эссе на иностранном языке в качестве основного или промежуточного этапа проведения олимпиады среди студентов неязыковых вузов. Для реализации поставленной цели были сформулированы следующие задачи:

1. Представить теоретические основы исследования, отраженные в трудах отечественных и зарубежных авторов.
2. Проанализировать результаты написания эссе участниками конкурса в рамках проведения межвузовской олимпиады по английскому языку на базе Ростовского государственного университета путей сообщения в условиях цифровизации образования и стремительного развития ИИ.

Обзор литературы / Literature review

Большое количество исследователей в своих работах отмечают важную роль конкурсов в формировании положительной мотивации к овладению иностранным языком как на уровне общеобразовательной, так и высшей школы. Так, В. П. Архипов считает, что подобные состязания среди студентов помимо высокой мотивации к учебе способствуют также развитию творческих способностей обучающихся [1].

Н. Н. Осипова и М. П. Трофименко акцентируют внимание на значимости проведения олимпиад среди студентов, так как в процессе профессиональной подготовки специалистов особую роль для успешного решения задач в разных сферах деятельности приобретает развитие творческого мышления студентов и их самообразование. Авторы анализируют результаты проведенной предметной олимпиады по английскому языку, придя к выводу, что подобные состязания направлены как на оценку уровня сформированной ранее иноязычной компетенции, так и на развитие творческого и научно-исследовательского потенциала талантливых студентов [2]. К похожему выводу приходит О. Б. Симонова, анализируя положительный опыт проведения олимпиады по английскому языку [3]. А. Н. Колесниченко также признает значительную роль разных конкурсов в повышении мотивации студентов технических вузов к изучению иностранного языка [4].

Тема проведения олимпиад широко представлена в научной литературе. Исследователи анализируют методику проведения той или иной олимпиады. О. И. Кирдяева выявляет особенности подготовки к такому этапу, как чтение на иностранном языке [5]. И. В. Одарюк приходит к выводу о преимуществах кооперативных методов в обучении иностранному языку, в том числе в ходе конкурсных творческих заданий [6]. А. С. Скоробогатова подробно описывает практический опыт проведения олимпиады по английскому языку, подчеркивая сложность написания эссе с учетом всех критериев [7].

А. П. Гулов в своем исследовании отмечает особенности требований, выдвигаемых к письменным заданиям во время олимпиады по английскому языку. Помимо соблюдения правил жанра, участникам необходимо выполнить дополнительные задания: написать рассказ по картинке, использовать цитаты либо испытать себя в роли гида и т. п. Поэтому для участия в олимпиаде необходима специальная методическая подготовка конкурсантов [8]. В трудах автора отражена также проблема формирования специальных творческих компетенций, необходимых для участия в олимпиаде.

О. В. Анфилатова анализирует многолетний опыт проведения международных олимпиад по иностранному языку среди курсантов Вооруженных сил Министерства обороны Российской Федерации, где написание эссе (выражение собственного мнения на заданную тему) – ключевой этап конкурсного испытания, и приходит к выводу о том, что оценка результатов, несмотря на разработанную шкалу критериев оценивания, является спорным моментом в структуре олимпиады. Автор дает рекомендации по написанию эссе, делая акцент на оригинальности авторской идеи, логичности и целостности повествования, включении ярких примеров и даже правильном оформлении своей письменной работы [9].

Проблема обучения студентов письменной речи – написанию эссе – интересует многих ученых, и она широко представлена в исследованиях как российских, так и зарубежных авторов. Все исследователи едины во мнении, что при написании эссе на английском языке следует придерживаться определенной структуры. Так,
С. К. Восканян отмечает особую значимость умения написания эссе для студентов, так как в его основе лежит приобретение двух взаимосвязанных навыков – сочетание творческого подхода и аналитического мышления, необходимых для написания любых текстов [10]. При этом автор подчеркивает важность соблюдения правил написания эссе на английском языке, которые соответствуют определенной композиционной структуре. У каждого типа эссе (повествование, описание, пояснение с примерами, аргументация или убеждение, сравнение и т. п.) выделяют общие и отличительные особенности композиции. Общее заключается в том, что эссе состоит из нескольких абзацев, каждый из которых содержит развитие одной какой-то идеи, при этом следует соблюдать единство и последовательность аргументов, что приводит к четкому и логичному содержанию эссе, раскрытию темы. Для этого используются специальные слова-связки, вводные слова и повтор ключевых слов. По мнению автора, следуя четкой структуре написания эссе, достичь цели раскрытия основного замысла письменной речи – выразить и доказать свою точку зрения по определенной проблеме – будет намного проще для обучаемого.

И. А. Дьячкова в своем исследовании также подчеркивает необходимость следовать определенной модели в написании текста эссе-мнения, т. е. подчиняться определенным требованиям к структуре, содержанию и лингвистическим характеристикам. В работе представлено суждение о том, что «модель типичного эссе-мнения в англоязычном учебном дискурсе допускает большую гибкость по сравнению с эссе, которые массово создаются в отечественной практике», что связано с ограничением количества слов, заявленных в требованиях к написанию данного вида письменной работы [11]. Для достижения поставленной цели в эссе большое значение имеет использование языковых средств.

Анализ работ зарубежных авторов свидетельствует о сходстве взглядов с отечественными исследователями в методике обучения написанию эссе на иностранном языке и его оценке. По мнению авторов Дж. Ли и Дж. Ханг, на качество эссе, написанного на английском языке, который является вторым или иностранным для обучающегося, влияют такие критерии, как язык, содержание и организация письменной работы. В результате исследования относительно особенностей оценивания эссе авторы приходят к выводу о том, что при комплексной оценке сочинения эксперты уделяют большое внимание как языковым средствам и содержанию эссе, так и качеству написания работы в целом и его организации. Структура эссе подразумевает деление на абзацы, переходы между ними, большое значение имеет аргументированное изложение идей, логически правильное строение высказываний [12].

Проведя исследование в турецком университете на вариативность и надежность целостной и аналитической оценки письменных работ на английском как иностранном языке, Т. Хан судит о достоверности обоих видов оценки, уточняя при этом, что важным фактором для целостного принятия решения о начислении баллов является содержание эссе, для аналитической оценки существенную роль играют такие аспекты письменной работы, как грамматика и организация текста [13]. Изучением вопросов обеспечения качества оценки письменных работ по английскому языку в высших учебных заведениях Китая занимается И. Лю [14]. Дж. Фатхи и М. Ходабахш считают, что самооценка и взаимная оценка письменных работ иранских студентов, изучающих английский язык, является эффективным способом повышения успеваемости при написании эссе [15].

В своей работе Н. Пурдан и С. Асгари акцентируют внимание на разных аспектах, которые лежат в основе написания эссе и поддаются оценке: контекстуальных и индивидуальных, на оценивании сочинений с лингвистической точки зрения и с точки зрения формы (точности, сложности повествования) [16]. Большое значение имеют даже психолингвистические особенности студента, уровень его мотивации, тревожности во время выполнения работы и т. п., о чем свидетельствует С. Юй [17]. Л. Плакас с соавторами, анализируя письменные работы в ходе выполнения интернет-теста по английскому языку, отмечают именно свободное владение языком – преобладающий фактор при выставлении баллов [18]. А. Лауэрта в оценке письменной речи на английском языке как иностранном считает ведущими факторами точность и грамматическую сложность текста [19]. З. Зеноузаг к ним относит  синтаксическую сложность предложений  [20]. В оценке письменной работы на иностранном языке следует учитывать особенности жанра и социокультурную направленность письма. В работах Ц. Чжао отмечается изменение роли оценки результатов, она становится не просто показателем успеваемости обучающегося, а приобретает более комплексный подход, направленный прежде всего на оптимизацию обучения [21].

Проблема релевантности результатов оценивания письменных работ волнует многих исследователей. Так, в современный век информационных технологий со стремительным развитием искусственного интеллекта появляются научные труды, где представлены попытки осмысления происходящих в системе образования трансформаций. В. Лян и группа исследователей при выявлении эссе, сгенерированных искусственным интеллектом, отмечают проблему предвзятого отношения различных детекторов по оценке письменных работ и приходят к выводу, что эссе, написанные не носителями языка, ошибочно квалифицируют как созданные ИИ [22]. Это обусловлено, по мнению авторов, использованием показателя сложности текста в качестве индикатора для обнаружения текста, созданного искусственным интеллектом. При этом некоторые обучающиеся положительно оценивают применение ChatGPT для написания своих работ, так как ИИ облегчает им работу, генерируя тексты с использованием определенных шаблонов, помогает в обучении в целом, о чем свидетельствуют проведенные исследования Я. Цзяна [23] и других. Однако студенты отмечают и отрицательные стороны сгенерированных текстов, к которым можно отнести отсутствие точности формулировок, личного мнения по обозначенной проблеме, а также преобладание обобщенных фраз, повторов в тексте, на что указывает Л. Конке в своих работах [24]. Ч. Ван вместе с соавторами в результате проведенного исследования, представляющего собой оценку общего представления студентов об эффективности использования сгенерированных текстов, приходит к выводу о том, что большинство обучающихся осознают существенные недостатки нейросетей на примере своих работ, поэтому проблему некорректного использования чатов, похожих на GPT, преподавателям можно решить, создав учебную среду, поощряющую их применение в образовательных целях [25].

Отечественные исследователи также занимаются вопросами изучения влияния ИИ на образовательный процесс, что отмечается в работе Э. Ш. Шефиевой [26]. М. Н. Черкасова также рассматривает недостатки текстов, сгенерированных чатом GPT, и приходит к похожим выводам, что и зарубежные коллеги [27]. С. М. Кащук, анализируя опыт применения ИИ, а именно ChatGPT, на занятиях по французскому языку с магистрами и аспирантами факультета государственного управления МГУ им. М. В. Ломоносова, отмечает неточность в сгенерированных ответах на поставленной вопрос, сомнительность источников информации, отсутствие возможности удостовериться в правильности выдаваемой информации, не владение терминологией и т. п., придя к выводу, что подобные нейросети и конкретно ChatGPT являются дополнительным инструментом «для улучшения машинного перевода или помощи в обработке и анализе текстовых данных. Генерировать самостоятельно точные, достоверные и вызывающие доверие ответы на поставленные вопросы чат GPT не может» [28]. Е. Н. Ивахненко также придерживается точки зрения, согласно которой применение ИИ в образовании ограничено ролью помощника для обучающихся, а для преподавателей – использованием его для оценивания работ, однако говорить о произведении, созданном ChatGPT, как о готовом продукте для широкого применения недопустимо [29].

Анализируя работы зарубежных и отечественных авторов, затрагивающих проблему применения ИИ обучающимися при написании эссе, следует отметить их общие взгляды на то, что простота доступа к нейросетям, подобным ChatGPT, и сложность выявления его использования вызывают опасения по поводу злоупотребления ими студентами с этической точки зрения. При этом, как отмечает большинство исследователей, написание эссе на иностранном языке – сложное задание, которое требует от обучающихся овладения определенными компетенциями, умениями и навыками, развитого критического мышления, творческих способностей. Данный вид письменной работы часто включают как конкурсный этап в олимпиады по иностранному языку на разных уровнях проведения для оценки сформированной иноязычной компетенции и выявления творческого потенциала участников.

Методологическая база исследования / Methodological base of the research

Методологической базой исследования послужили методы анализа и синтеза, обобщения и сравнения, с помощью которых были представлены теоретические основы работы, подробно изучены труды отечественных и зарубежных ученых, на основе чего удалось проанализировать взгляды исследователей  на существующие проблемы в связи с развитием искусственного интеллекта, с которыми столкнулись преподаватели иностранного языка при обучении письму, выявить методические подходы к обучению письменной речи на английском языке. Применение научных методов в исследовании позволило провести комплексный анализ результатов написания эссе, полученных в ходе организации межвузовской олимпиады по английскому языку, которая состоялась на базе РГУПС, и сделать соответствующие выводы о преимуществах и недостатках данного конкурсного испытания на олимпиаде среди неязыковых вузов.

Проведение межвузовской олимпиады по английскому языку среди студентов отраслевых вузов с целью актуализации роли иностранных языков в профессиональной компетентности будущих специалистов и повышения мотивации студентов к изучению иностранных языков, организованной РГУПС, послужило основой исследования по проблематике написания эссе в условиях развития цифровых технологий и искусственного интеллекта. 

Вторая межвузовская олимпиада по английскому языку «Перспективы развития РЖД» проходила в период с 05 февраля по 22 марта 2024 года в три этапа. В олимпиаде приняли участие студенты I и II курсов технических специальностей и технического направления подготовки ведущих транспортных вузов России, таких как Российский университет транспорта (Московский институт инженеров транспорта) (РУТ (МИИТ)), Дальневосточный государственный университет путей сообщения (ДВГУПС), Самарский государственный университет путей сообщения (СамГУПС), Сибирский государственный университет путей сообщения (СГУПС), Уральский государственный университет путей сообщения (УрГУПС), Омский государственный университет путей сообщения (ОмГУПС), Ростовский государственный университет путей сообщения (РГУПС), а также Московский технический университет связи и информатики (МТУСИ). Всего участвовало 67 студентов, из них 8 участников вышли в финал, где 1-е место заняла студентка Российского университета транспорта, 2-е место – обучающийся Дальневосточного государственного университета путей сообщения, 3-е место разделили студенты Самарского государственного университета путей сообщения и Ростовского государственного университета путей сообщения. Каждый этап олимпиады оценивался согласно критериям, утвержденным и прописанным в Положении межвузовской олимпиады, разработанной в соответствии с Федеральным законом Российской Федерации от 29.12.2012 г. № 273-ФЗ «Об образовании в Российской Федерации» и другими нормативно-методическими документами Министерства образования и науки Российской Федерации [30]. 

Первый этап межвузовской олимпиады состоял из выполнения задания по написанию эссе. Второй этап заключался в выполнении лексико-грамматического теста, содержащего задания по аудированию, грамматике, лексике, переводу оригинальной литературы об истории и развитии железнодорожного транспорта и цифровизации железнодорожного транспорта в России и за рубежом. Участники, набравшие необходимое количество баллов, были допущены к заключительному этапу олимпиады. Третий этап представлял собой выступление в форме устного собеседования в виде решения кейс-задачи в формате видеоконференции на портале ФГБОУ ВО РГУПС. Все три этапа были проведены в дистанционном формате на платформе Moodle, а также для проведения видеоконференции использовали цифровую платформу Big Blue Button в электронной информационно-образовательной среде (ЭИОС) РГУПС.

Результаты исследования / Research results

Предметом данного исследования послужили результаты первого этапа проведения межвузовской олимпиады по английскому языку «Перспективы развития РЖД» – написания эссе.

Тема письменной работы была обозначена следующим образом: “The role of the Russian railway industry in improving the eco-friendliness of transportation” («Роль железнодорожной отрасли России в повышении экологичности перевозок»), и перечислены в задании те аспекты, которые должны быть раскрыты в эссе.

Reveal two or more points in the essay:

1) energy-saving technologies;

2) reduction of environmental pollution;

3) increasing the comfort of citizens’ life.

В ходе написания письменной работы участникам предлагалось затронуть такие проблемы развития железнодорожного транспорта, как энергосберегающие технологии; снижение загрязнения окружающей среды; повышение комфорта жизни граждан.

Участники олимпиады получили задание по написанию эссе только после входа в ЭИОС РГУПС на платформу Moodle. Каждому из них во время регистрации выдали свой собственный логин и пароль для доступа к системе, что позволило также контролировать время выполнения задания и его результаты. Согласно регламенту проведения олимпиады, время написания работы составило 80 минут, количество слов – в пределах 250–300.

Критериями оценивания качества предоставленных письменных работ послужили следующие параметры:

1)   соответствие содержания эссе заявленной теме (3 балла);

2)   грамотный анализ проблемы (2 балла);

3)   организация текста и логика его построения (введение, основная часть, заключение) (2 балла);

4)   грамматика (3 балла);

5)   лексика (вводные слова, владение терминологией отрасли) (3 балла);

6)   орфография (2 балла);

7)   уникальность предъявленного текста (от 5 до 1 балла).

Так, для прохождения во второй тур минимальное количество баллов составило 10.

Следует отметить, что все письменные работы участников проходили процесс верификации на заимствования в онлайн-системе antiplagiat.ru, предоставляющей полную проверку по всем базам и показывающей результат в виде отчета. 

В ходе проверки письменных работ, отправленных участниками второй межвузовской олимпиады по английскому языку «Перспективы развития РЖД», российская система обнаружения текстовых заимствований «Антиплагиат» впервые выявила сгенерированные тексты, т. е. работы, написанные не самим участником, а с использованием искусственного интеллекта, нейросетей. Такие работы в некоторых случаях занимали минимум времени – около 19 минут, что также свидетельствовало о фальсификации достоверности авторства написания эссе.

Подобные работы аннулировали, не допускали для дальнейшего оценивания и классифицировали как сгенерированные ИИ, не авторские. В таблице представлены результаты оценивания эссе.

Результаты оценивания эссе – 1-го тура межвузовской олимпиады

по английскому языку «Перспективы развития РЖД», 2024 год

Как видно из сводной таблицы результатов, из 67 зарегистрированных участников во второй тур вышли 30. Причиной аннулированных работ послужили сгенерированные нейросетью эссе (данная причина преобладает), а также работы, не соответствующие критериям оценивания, набравшие минимальное количество баллов.

Анализируя опыт проведения второй межвузовской олимпиады по английскому языку РГУПС, проведенной в 2024 году, и сравнивая его с результатами 2023 года, были выявлены и систематизированы ошибки участников, не получивших минимальное количество баллов и не прошедших во второй тур. К ним следует отнести следующие:

1. Несоответствие теме и несоблюдение структуры написания эссе.

2. Игнорирование установленного объема работы.

3. Нарушение во времени написания письменной работы.

4. Преобладание грамматических и орфографических ошибок в тексте.

5. Отсутствие профессиональной лексики в эссе, соответствующей теме терминологии.

6. Содержание заимствований из интернет-источников, наличие плагиата в тексте.

Так, можно прийти к выводу, что данные ошибки участников повторяются и носят системный характер. Однако отличительной чертой является тот факт, что в ходе второй межвузовской олимпиады по английскому языку 2024 года одной из основных причин аннулированных работ послужило применение нейросетей, что ранее не было зафиксировано. При прочтении работ, сгенерированных ИИ, отмечались такие особенности эссе, как повтор слов; преобладание шаблонных фраз; сомнительная достоверность фактов, изложенных в работе; отсутствие логической связи в суждениях, четко выраженной авторской позиции, что свидетельствует о недопустимости применения нейросетей при написании эссе относительно вопросов, требующих профессионально-ориентированного подхода к решению поставленной проблемы.

Заключение / Conclusion

В результате проведенного исследования можно прийти к следующим выводам. Межвузовские олимпиады способствуют повышению мотивации студентов к изучению языка, вызывают у обучающихся интерес и желание поучаствовать в конкурсе, проявить свои творческие способности и продемонстрировать тем самым уровень сформированных компетенций по иностранному языку. Написание эссе как вид конкурсного испытания имеет множество преимуществ, так как дает возможность раскрыть творческий потенциал участника, выразить свою аргументированную позицию по указанной теме, что свидетельствует о высоком уровне владения иностранным языком. Данный вид письменной работы позволяет не только дать комплексную оценку знаниям, умениям и навыкам участника состязания, но и оценить уровень сформированности профессиональной компетентности каждого, так как проблематика, обозначенная в задании олимпиады, непосредственно связана с будущей деятельностью студентов и требует применения компетентностного подхода к выбору решения обозначенной проблемы и его аргументации с точки зрения узкоспециализированного подхода.  

Рассматривая эссе как этап олимпиады, следует отметить, что данный вид письменной работы в последнее время вызывает большие опасения, обусловленные стремительным развитием искусственного интеллекта. Участники конкурсов, пользуясь доступностью нейросетей, фальсифицируют авторство письменных работ, выдавая их за свои. Однако в ходе проведения межвузовской олимпиады по английскому языку были выявлены существенные недостатки работ, сгенерированных нейросетями: отсутствие выраженной персонализированной точки зрения по предлагаемой для дискуссии проблеме, размытость фраз и отсутствие четких формулировок, что позволяет системе обнаружения текстовых заимствований определять не подлинность авторства работ студентов в результате применения искусственного интеллекта.

Несмотря на большое количество случаев злоупотребления ИИ со стороны обучающихся в последнее время, данный вид задания – написание эссе на иностранном языке – является методически обоснованным, целесообразным в ходе проведения разных конкурсов, олимпиад и незаменимым в формировании иноязычной компетенции в образовательном процессе. Дальнейшие перспективы разработки тематики исследования связаны с созданием определенной методики подготовки студентов к написанию эссе на иностранном языке с учетом типичных ошибок участников олимпиад.