Analyzing Typical Errors in the Professional Vocabulary of Pre-service English Teachers using AI

Введение / Introduction

Проблема выявления ошибок, их адекватной и понятной маркировки, а также выбора наиболее эффективной стратегии их коррекции как в устной, так и в письменной иноязычной речи студентов по праву может считаться одной из самых трудных в методике обучения иностранным языкам. Соответственно, умения не только выявлять ошибки, но и устанавливать причину их возникновения, а также предлагать оптимальные способы их исправления являются важнейшей частью профессионально-коммуникативной компетенции, которой должны овладеть будущие преподаватели иностранного языка. Парадоксально, но проблема, связанная непосредственно с теми ошибками, которые допускают сами будущие преподаватели английского языка в своей иноязычной педагогической речи, до сих пор не получила всестороннего освещения как в отечественной, так и в зарубежной методической литературе.

Р. Элис считает, что сфера анализа ошибок (error analysis) представляет собой большой интерес как для преподавателей, так и для обучающихся, с чем мы полностью согласны. [1]. Преподаватели могут использовать результаты подобных исследований для выявления наиболее частотных ошибок, их планомерного предотвращения и профилактики. Обучающиеся, работая как со своими, так и с чужими ошибками, смогут научиться их избегать и уделять больше внимания особо трудным аспектам, а заодно развить механизмы самокоррекции и умения профессионально ориентированной саморефлексии, что крайне важно для будущих языковых педагогов.

Обзор литературы / Literature review

Статьи, посвященные методике анализа и классификации ошибок в устной и/или письменной педагогической речи как будущих, так и действующих учителей английского языка, являются немногочисленными, что предоставляет большой потенциал для изучения.  Практически все найденные нами исследования были связаны со сферой общего владения иностранным языком, а профессионально-коммуникативные задачи, с которыми будущим языковым педагогам предстоит сталкиваться на ежедневной основе, были почти полностью проигнорированы, что, наш взгляд, едва ли оправданно.

В связи с этим стоит отметить, что научная школа московского университета предпринимает довольно успешные попытки решения данной проблемы при помощи работ, которые фокусируются на профессионально-коммуникативных умениях языковых педагогов. Так, в диссертационном исследовании Т. А. Ершовой была рассмотрена совокупность умений педагога иностранного языка, лежащих в основе процесса предоставления письменной педагогической обратной связи. Автор отмечает, что одно из таких умений – умение обнаруживать ошибки и определять их тип [2]. Мы полностью соглашаемся с Т. А. Ершовой в том, что данное умение является неотъемлемым компонентом профессионально-коммуникативной компетенции преподавателя иностранного языка.

Кроме того, ранее была предложена методика классификации и анализа ошибок в устной педагогической речи учителей английского языка на материале транскриптов видеозаписей уроков российских учителей на разных уровнях образования. На основании полученных данных авторы предлагают классификацию, разделяющую ошибки в речи учителей на две группы: ошибки, относящиеся к сфере общего владения английским языком (грамматические и лексические), и ошибки в контексте преподавания (стилистические, ошибки в инструкциях и т. п.). Статистические результаты исследования, полученные А. А. Кореневым и Н. В. Семиной, продемонстрировали, что подавляющее количество ошибок в речи учителей со значительным перевесом составляют грамматические и лексические ошибки [3]. Соответственно, через несколько лет, применяя аналогичную методику, но уже с использованием технологий искусственного интеллекта (ИИ) для анализа транскриптов десяти видеозаписей уроков, исследователи сосредоточились на выявлении и исправлении типичных грамматических ошибок в педагогической речи студентов лингводидактических профилей. А. А. Коренев и А. И. Мычкина в своей статье приходят к выводу о полезности применения ИИ для данной цели, особенно при подготовке будущих преподавателей [4].

Схожие результаты, свидетельствующие о «перевесе» грамматических ошибок у данной целевой аудитории, можно обнаружить и в работах зарубежных коллег. К примеру, в исследовании С. Ларенаса и его соавторов анализ академических эссе будущих преподавателей английского языка четвертого года обучения в четырех чилийских университетах показал, что грамматический аспект представлял больше затруднений (=ошибок), чем лексический [5]. Авторы из Индонезии: Г. Утами и И. Махардика – провели исследование среди 30 действующих преподавателей, для которых английский язык не является родным, и обнаружили, что те допускали ошибки в письменной речи (даже после применения сервиса автокоррекции Grammarly), наиболее распространенными из них были также грамматические [6].

Несколько иного мнения придерживаются отечественные ученые, которые, говоря о студентах-лингвистах и приводя данные опытного обучения, констатируют, что количество грамматических ошибок резко снижается к III–V курсам обучения; это объясняется тем, что к этому времени студенты  прошли обучение в рамках курсов практической и теоретической грамматики, а также за счет достаточно большого количества часов в рамках дисциплины «Первый иностранный язык». При этом Е. И. Шеваршинова и С. Д. Концевова подчеркивают, что количество совершаемых лексических ошибок остается довольно большим [7]. Другие отечественные исследователи – Ю. В. Барышникова и ее коллеги – также обозначают данную проблему и обращают особое внимание на интерференцию родного языка, предпринимая попытку выстраивания работы по ее предотвращению при обучении лексическому аспекту студентов-бакалавров педагогического профиля [8].

Диссертационное исследование автора данной статьи было посвящено обучению профессионально ориентированной лексике студентов лингводидактического профиля, в котором была доказана целесообразность развития профессионально ориентированной лексической компетенции у будущих преподавателей иностранных языков и создания специализированного курса, посвященного лексике педагогического общения. Помимо этого автором был создан первый в России лексический минимум профессионального общения для будущих преподавателей английского языка, призванный отчасти помочь в решении обозначенной проблемы [9].

Здесь же отметим, что Ц. Дзормеку и его соавторы при опросе более 300 будущих преподавателей (и их последующем интервью) установили, что чем больше у участников было языковых затруднений (=языковых ошибок), тем ниже была их уверенность в себе как преподавателе и именно допускаемые ими лексические неточности коррелировали с более низкой уверенностью в эффективности своего преподавания в классе [10].

В любом случае, если вопрос формирования и развития коммуникативной компетенции будущих языковых педагогов находит отражение в учебных планах и соответствующих дисциплинах, то несколько иная ситуация складывается в отношении развития их профессионально-коммуникативной компетенции и ее компонентов. Как показывает практика, в большинстве университетов, готовящих будущие педагогические кадры, курсы, посвященные непосредственно методике обучения иностранном языкам, изучаются на русском языке, что способствует формированию терминосистемы на родном языке. Вместе с тем, по мнению автора статьи, не всегда создаются условия для достаточного овладения студентами профессионально-понятийным аппаратом специальности на иностранном языке, что может сказываться отрицательным образом на уровне их подготовки [11].

В предыдущих работах научного коллектива под руководством М. С. Переверткиной подтвердилось, что будущие учителя/преподаватели английского языка испытывают трудности при восприятии и «декодировании» иноязычных педагогических терминов, а также допускают ошибки при попытке их употребления, что красноречиво свидетельствует о несформированности навыков оперирования ими [12]. Данные факты заставляет по-новому взглянуть на процесс профессионально ориентированной языковой подготовки будущих преподавателей английского языка.

Помимо этого нужно определиться, что же представляет собой феномен ошибки в иноязычной речи обучающихся. Анализ ошибок, совершаемых в иностранном языке, развивался как отдельный раздел прикладной лингвистики в 60–70-х годах и был призван продемонстрировать, что многие ошибки возникают не только из-за интерференции родного языка обучающихся, но также отражают некие ошибочные стратегии-паттерны, применяемые ими в рамках освоения целевого иностранного языка. Так, П. Кордер, который был первопроходцем в данной области, предложил разделять ошибки, допущенные из-за недостатка или отсутствия знания языкового материала (errors à competence), и те, что возникли в выполнении по невнимательности или по причине усталости, но которые обучающийся, скорее всего, способен исправить самостоятельно (mistakes àperfomance) [13]. Данное разграничение привлекло особое внимание исследователей к ошибкам первого типа. Сюда же можно отнести работу «Неконтрастивный подход к анализу ошибок» Дж. Ричардса, в которой он выделяет основные источники ошибок: интерференцию; неправильное (неполное или чрезмерно обобщенное) применение языковых правил; построение ошибочных гипотез и т. п. [14]

Если мы обратимся к современным источникам, описывающим данное явление, то обнаружим, что данные идеи были приняты во внимание, но с некоторыми оговорками. В словаре терминов и концептов, используемых в преподавании английского языка – “An A-Z of ELT”, С. Торнберри приводит следующую словарную статью: «Ошибка (error) – это случай использования языка обучающимся, который не соответствует принятым нормам и который объясняется неполным или ошибочным обучением. Ошибки иногда отличают от оплошностей (mistakes), где первые вызваны недостатком знаний, а вторые связаны с выполнением. Т. е. оговорка, вызванная недостатком внимания или слишком быстрым темпом речи, будет считаться оплошностью. В принципе, понять, что это ошибка-оплошность, можно, если обучающийся может исправить себя без особых затруднений. Однако на практике не всегда так легко отличить эти две категории» (перевод наш. – Ю. Г.) [15].

Более подробное определение ошибки предлагает специальный словарь “Longman Dictionary of Language Teaching and Applied Linguistics”, посвященный понятиям из сферы методики обучения иностранным языкам и прикладной лингвистики. Согласно определению Дж. Ричардза и Р. Шмидта, «ошибка – это использование языковой единицы (например, слова, грамматической структуры, речевого акта и т. д.) в устной или письменной речи таким образом, что человек, который свободно владеет языком или является его носителем, воспринимает это как следствие недостаточного освоения языка. Иногда проводится различие между ошибкой, которая возникает из-за неполного знания, и ошибкой, вызванной отсутствием внимания, усталостью, небрежностью или каким-либо другим аспектом выполнения» (перевод наш. – Ю. Г.) [16].

Примечательно, что в обоих приведенных источниках отсутствует определение «ошибки-оплошности» (mistake); вместо этого предлагается перекрестная ссылка на само понятие ошибки (error). Кроме того, в данных определениях подчеркивается, что такое разделение не всегда возможно. В этих условиях И. Салем предлагает обращать внимание на «серьезность ошибки», под которой подразумевается «степень, в которой ошибочный/сомнительный фрагмент языка отклоняется от форм носителей языка» [17].

Подводя промежуточные итоги, можно выделить ошибки-оплошности (локальные) и ошибки системного характера (глобальные), где первые – это ошибки, которые не повторяются регулярно и поэтому легко подлежат самокоррекции, в то время как ошибки второго типа не могут быть легко исправлены самостоятельно и продолжают появляться до тех пор, пока не будет инициирована какая-либо форма педагогического вмешательства.

Если обратиться к авторитетным отечественным авторам, то в словаре методических терминов под редакцией И. Л. Колесниковой и О. А. Долгиной можно обнаружить схожее по смыслу, но более детальное определение: «Ошибка – результат ошибочного речевого действия, типичное отклонение от правил и норм иностранного языка, которое допускается обучаемым в ходе овладения этим языком. Ошибки такого рода не поддаются самокоррекции, поскольку они являются отражением определенной стадии освоения языка. Ошибка или оплошность представляет собой отклонение от нормы в потоке речи вследствие усталости, возбуждения, рассеянности и т. п., когда возможно быстрое само-исправление со стороны говорящего (пишущего)» [18].

Наконец, в словаре методических терминов под редакцией Э. Г. Азимова и А. Н. Щукина можно найти следующую дефиницию ошибки: «Отклонение от правильного употребления языковых единиц и форм. Результат ошибочного действия учащегося. Ошибки классифицируются по аспектам языка (фонетические, лексические, грамматические) и видам речевой деятельности (понимание иноязычной речи, говорение, чтение, письмо)» [19]. 

Соответственно, проанализировав ключевые определения, сразу оговоримся, что в данной работе мы сосредоточимся непосредственно на тех ошибках, которые связаны с отклонением от правил и норм иностранного языка и которые вызваны недостатком, фрагментарностью или отсутствием знаний в сфере профессионально ориентированной лексики.

Вторым важным элементом нашей работы стало применение технологий искусственного интеллекта в рамках обучения иностранному языку в вузе. Ю. Е. Валькова приводит несколько способов использования ИИ для данных целей: 1)  выстраивание адаптированного и персонализированного вектора обучения; 2) автоматизация  проверки; 3) генерация  учебных материалов; 4) развитие различных навыков и умений студентов в сфере ИЯ; 5)  развитие неотъемлемых цифровых метанавыков и умений как преподавателя, так и студента [20]. Соответственно, так как нас интересует оценивание письменных творческих работ, хотелось бы продолжить речь об их автоматизированной проверке.

Говоря об автоматизации процесса оценивания, П. В. Сысоев отмечает одну из отличительных характеристик ИИ, которая заключается в его способности брать на себя некоторые рутинные функции педагога, включая функцию по контролю развития иноязычных речевых умений и формирования языковых навыков речи обучающихся и студентов [21]. Более того, команда ученых под руководством профессора П. В. Сысоева вводит в научный оборот триаду «обучающийся – преподаватель – искусственный интеллект» и отмечает, что «искусственный интеллект, обладающий значительным лингводидактическим потенциалом, способен взять на себя функции преподавателя по оценке письменных работ обучающихся и предоставлению им обратной связи в виде сгенерированного ИИ-инструментом варианта эссе и/или рекомендаций по доработке письменной работы» [22]. Таким образом, мы можем говорить о появлении нового, промежуточного звена между преподавателем и обучающимися.

А. А. Коренев перечисляет среди достоинств данной технологии детальность анализа работ, сопоставление написанного студентом произведения с сотнями тысяч подобных работ, доступных в сети, а также возможности генерации большого объема текста (в том числе металингвистических комментариев) за короткий промежуток времени. Однако А. А. Коренев отмечает также и существенные недостатки проверки письменных работ данным способом: 1) ИИ пока не способен учитывать индивидуальные особенности и оценивать работу в общем контексте развития конкретного обучающегося; 2) технология пока еще не совершенна при оценивании работ по заданным критериям и принятии самостоятельного решения об оценке; 3) механизм ИИ отличает его стремление к «обезличиванию» работы обучающегося и ее приведение к максимально усредненной норме, которая нивелирует индивидуальный авторский стиль; 4) ИИ не вполне хорошо распознает стилистические приемы и зачастую идентифицирует их как ошибки [23].

Что касается качества предоставляемой обратной связи от ChatGPT и других больших языковых моделей, то данный вопрос выступает актуальным предметом для обсуждения в среде преподавателей иностранного языка. Ситуация осложняется и тем, что можно найти довольно противоречивые результаты исследований. Так, например, в работе под руководством П. В. Сысоева эссе 350 студентов проверили и преподаватели, и ChatGPT. Что касается уровня предоставляемой оценочной обратной связи, по результатам, приведенным авторами, ChatGPT сравнялся с преподавателем по таким критериям, как «содержание работы», «организация и структура», «подтверждение идей и аргументов», а по критериям «язык эссе» и «оригинальность эссе» данный инструмент даже превзошел преподавателя (не природного носителя языка), что авторы объясняют фактом разработки языковой модели GPT на основе больших англоязычных текстовых данных [24]. А. Горевски, М. Ли и другие в своем исследовании также сосредоточились на возможности для сотрудничества преподавателя и ИИ при оценивании студенческих работ. Ими был изучен анализ обоснований, предоставленных как оценщиками-преподавателями, так и ChatGPT, для понимания того, насколько хорошо ChatGPT «понял» критерии оценивания на разных уровнях владения языком и могут ли его выводы обеспечить эффективную обратную связь для обучающихся. Результаты показали высокую степень согласованности между оценками, выставленными ChatGPT, и оценкой, выставленной человеком [25].

В то же время подчеркнем, что данные новейших исследований, проведенные Дж. Эскаланте, показывают, что обратная связь, предоставленная ИИ, не привела к значительному прогрессу в изучении иностранного языка среди студентов по сравнению с теми, кто получал обратную связь от преподавателя [26]. Кроме того, при сравнении качества обратной связи, полученной от человека и ChatGPT, другими учеными – Дж. Штайс и его коллегами – было установлено, что проверка работ человеком получила более высокие баллы по четырем критериям (ясность, точность, определение ключевых характеристик работы и ее тон) [27]. Некоторые исследователи, такие как С. Лин и П. Кроссвейт, констатируют, что в отличие от обратной связи, данной преподавателем, ИИ хоть и дает больше металингвистических объяснений-комментариев, но зачастую не обращает внимания на контекст [28]. Кроме того, китайскими коллегами Х. Ву, В. Ванг и другими отдельно подчеркивается, что ChatGPT часто допускает излишнюю коррекцию-перефразирование текстов, меняя изначальную структуру студенческих предложений, сохраняя при этом внешнюю грамматическую правильность, но с риском вредных последствий, если исходный текст обучающегося был действительно адекватным и корректным [29]. Наконец, новейшие данные исследований, проведенных международным научным коллективом под руководством Н. Косьминой, выявили снижение мозговой активности у испытуемых, регулярно использующих языковые ИИ-модели и ассистенты для выполнения творческих задач – написания эссе. Более того, в статье было также отмечено, что пользователи, применявшие для указанной цели ИИ, испытывали трудности с цитированием собственных работ и придавали им меньше значимости при последующем обсуждении в классе [30].

Принимая во внимание все вышеперечисленное, мы решили провести собственный эксперимент, направленный не только на выявление частотных ошибок, но и некоторое сравнение оценивания студенческих работ преподавателем и двумя генеративным языковыми моделями, о чем и пойдет речь далее.

Материалы и методы / Materials and methods

Материалами исследования послужили письменные работы студентов третьего курса бакалавриата лингводидактического профиля подготовки в МГУ имени М. В. Ломоносова и РГПУ имени А. И. Герцена, которые проходили опытное обучение (очно и дистанционно), направленное на развитие их профессионально ориентированной лексической компетенции как субкомпонента профессионально-коммуникативной компетенции. Общее количество полученных работ участников составило 78 экземпляров.

По окончании первого модуля “Background to language teaching”, состоящего из трех тем (Methods and approaches; SLA, Learning and the learner; Teaching language skills vs Modes of communication), студентам было предложено написать аналитическое эссе “Focus on the learner” (минимальное количество слов – 250), в рамках которого будущие педагоги должны были продемонстрировать  не только свои профессионально-коммуникативные, но также и методические умения. Предварительно обучающиеся проводили интервью у собственных учеников с целью получения информации об их предыдущем опыте обучения, анализировали и выявляли основные проблемные зоны. Предполагалось, что по окончании данного модуля студенты смогут правильно использовать профессиональную терминологию, имеющую отношение к описанию системы языка, его аспектов, языковых и речевых навыков и умений, стилей обучения, типов мотивации, а также демонстрировать осведомленность о том, как предыдущий опыт обучения влияет на процесс овладения ИЯ; уметь определять потребности обучающихся, давать конкретные рекомендации по устранению ошибок и намечать дальнейшие пути развития. При отсутствии у студентов педагогического опыта им предлагался альтернативный вариант: либо проинтервьюировать своих коллег, либо проанализировать собственный опыт обучения; и в том и в другом случае предложить соответствующие методические решения.

Как можно заметить, данная работа является несколько видоизменным аналогом письменного задания в рамках кембриджского курса CELTA (Certificate in English Language Teaching to Adults), который ориентирован на начинающих преподавателей, вне зависимости от того, является для них английский язык родным или нет. Основными требованиями для прохождения данного курса к кандидатам является возраст не менее 20 лет, уровень образования, эквивалентный требуемому для поступления в высшее учебное заведение, и владение английским языком на уровне C1 и выше в соответствии с CEFR. Если первые два пункта полностью подходили нашим испытуемым, то третий также не показался нам противоречивым в плане задач нашего исследования с учетом того, что, согласно CEFR, владение профессиональной терминологией начинается с уровня B2.

Первоначальные критерии оценивания состояли из восьми пунктов:

1) письменная работа показывает, как подготовка обучающегося, предыдущий опыт и индивидуальный стиль обучения влияют на учебный процесс овладения АЯ;

2) адекватно определены потребности/проблемы обучающегося относительно аспектов языка, соответствующих навыков и умений, ВРД;

3) правильно использует профессиональную терминологию, относящуюся к описанию системы языка, его аспектов, а также языковых и речевых навыков и умений;

4) выбирает подходящие материалы и/или ресурсы для полноценного и адекватного языкового развития обучающегося;

5) предоставлено обоснование для использования определенных типов упражнений/заданий с обучающимся;

6) структура и логика изложения;

7) грамотность письменной речи;

8) ссылается на информацию из одного или нескольких источников.

На момент проведения опытного обучения (2021–2022 годы) процедура оценивания работ состояла из ручной проверки (преподавателем) по приведенным выше критериям. Тем не менее в настоящее время можно наблюдать развитие технологии автоматизированной оценки письменных работ, которая получила собственное название (AWE – automated writing evaluation) и, по словам Х. Ляо, вызвала закономерно растущий интерес к применению этой технологии преподавателями [31]. Однако если еще пять лет назад для этих целей предлагались варианты использования относительно простых инструментов, в частности Microsoft Word, как, например, в работе Л. Макдауэлл [32], то в реалиях стремительного развития современного общества и массового использования инструментов на базе ИИ нами было принято решение также подвергнуть полученные работы машинному анализу и оцениванию большими генеративными языковыми моделями – DeepSeek и ChatGPT. 

Качественная вычитка и проверка 78 эссе с последующим написанием подробного комментария от преподавателя с перечислением сильных и слабых сторон работы, а также рекомендациями на будущее является довольно трудоемким и времязатратным процессом, где мы допускаем, что первичная обработка текстов может быть осуществлена искусственным интеллектом, однако, как будет показано далее, мы не можем полностью принять применение ИИ в качестве альтернативы проверки письменных работ преподавателем, так как ИИ сам совершает довольно серьезные ошибки.

В нашем случае предоставление обратной связи не было главной целью исследования (хотя отметим, что она была предоставлена в письменном виде всем участникам опытного обучения), мы решили сосредоточиться на способности ИИ находить, маркировать ошибки в специфической сфере, а также обрабатывать большой массив текстовых данных за короткий срок. Данная процедура была избрана для сравнения и получения потенциально более обстоятельных результатов, устранения возможной доли субъективности при проверке работ человеком, а также переосмысления способов обучения.

Результаты исследования / Research results

При автоматической проверке особый фокус в промпте (запросе) был сделан на нахождение ошибок в сфере профессионально ориентированной лексики. Полученные данные приведены в табл. 1, из которой видно, что обе нейросети не увидели примерно половину ошибок, найденных человеком.

Таблица 1

Сравнение общего количества ошибок, найденных
при проверке преподавателем и генеративными языковыми моделями DeepSeek и ChatGPT

Что касается ручной проверки преподавателем, отметим, что лидирующими ошибками стали ошибки в названии, описании и применении методов и подходов в обучении ИЯ – 28 ошибок на 78 эссе. Приведем некоторые примеры (орфография, пунктуация и т. п. принадлежит авторам эссе, дословные отрывки из студенческих работ здесь и далее выделены курсивом). В эссе 1 автор приравнял грамматико-переводной метод обучения и прямой (“At school I was taught to the grammar-translation method (direct)”.). В эссе 4 студент допускает целых три ошибки в одном предложении: в артикле, в правописании, и в самом термине (“To correct that I can use ppp method for her…”), называя модель “Presentation, Practice, Production” («Презентация, Практика, Применение») методом обучения. Далее, в эссе 6 автор утверждает, что использовал технологию обучения на основе данных (“I can admit that I used to practice DDL method with him as he had a Student Book with new vocabulary which he had to learn during the summer”), что является неверным, исходя из предоставляемого им контекста (не говоря о других ошибках в данном предложении). Кроме этого некоторые авторы «изобретали» новые методы и подходы к обучению иностранным языкам; так, в эссе 58 появился “Audio-linguistic method”, в эссе  67 – “the intensive learning method”, в эссе  77  – “text translation method”, а в эссе 78 – “topic-based learning”.

Сюда же мы относим использование неверной терминологии в отношении стиля обучающегося – 22 ошибки из 78 эссе. Приведем некоторые примеры: эссе 10 (“an auditor and analyst who wants to see the language put into practice immediately”); эссе 45 (“Mostly she prefers audio-visual style”) и эссе 23 (“Masha has a standard learning style”).

Следующее место в рейтинге допущенных ошибок, найденных человеком (28 ошибок на 78 эссе), стало прибегание к тяжеловесному и длинному описанию ситуации/явления вместо употребления конкретного термина из сферы методики обучения ИЯ.  Мы маркируем это как ошибку ввиду того, что обучающиеся не смогли привести названия терминов и иных концептов, что свидетельствует о недостатке знаний в данной сфере либо их фрагментарности. Так, например, в эссе 11 (“We discuss only the most frequently repeated mistakes”) и 41 (“The problem of her case is that she got used to using English grammar in a particular way (with mistakes) and cannot get rid of her habits. Even though she was explained, for instance, Past Simple and Present Simple hundreds of times, she still may say “I’m was”) обучающиеся могли употребить термин “fossilized errors”. Аналогично, в эссе 24 (“…so you need to open the exercises and perform one after another”) автор имел в виду такое понятие, как “drilling” – отработку определенных грамматических структур.  Или же в эссе 11 (“…allowed us to work with grammar by studying examples and deriving rules from them”) можно было лаконично выразить идею при помощи терминов “guided discovery”/“inductive grammar learning”, обозначающих указанный способ введения грамматического материала. 

Невозможно не упомянуть и особую категорию ошибок в сфере профессионально ориентированной лексики, вызванную интерференцией – многочисленными кальками с русского языка (“сontrol works” вместо “tests”; ошибки в коллокациях (“make exercises” вместо “do exercises”) и другие.

Здесь хотелось бы отдельно отметить, что нейросетями никак не были освещены ошибки, возникшие из-за интерференции русского языка, который является для обучающихся родным. Ни одна модель не обнаружила проблему с использованием понятия «школа с углубленным изучением английского языка». Благодаря ручной проверке можем сказать, что только в одном эссе из 78 студентом был правильно использован вариант “school with advanced study of English”. В англоязычном пространстве можно найти термин очень схожий с данным понятием – “magnet school”, но все же не являющийся абсолютным аналогом. Еще одним незамеченным моментом стало использование слова “groupmate” в значении одногруппник. Данная лексическая единица не встречается ни в одном англоязычном словаре. Для выражения данного понятия используются два варианта – либо “fellow student”, либо “classmate”. Наконец, нейросети практически никак не отреагировали на использование некорректной синонимии, когда были взаимозаменяемо использованы такие понятия, как “diagnostic test”, “placement test”, “grammar test”, “entrance test”, “initial test”.

Переходя к результатам проверки работ инструментами искусственного интеллекта, отраженными в табл. 2, можно сказать, что в качестве главных категорий ошибок для языковых моделей выступили следующие:

1. Методологическая путаница.
2. Некорректное употребление аббревиатур.
3. Теоретические гибриды.
4. Неправильная идентификация стиля обучающегося.
5. Избыточное употребление терминологии.

Таблица 2

Пример анализа работ нейросетью DeepSeek

Как можно заметить из приведенной таблицы, определенные замечания были вполне правомерны (как, например, в первой и пятой категориях), но, несмотря на довольно детальную разбивку от нейросетей, некоторые найденные ошибки таковыми, по сути, не являлись. Так, нейросеть DeepSeek не обращала внимания на контекст, а сразу маркировала «увиденное» как ошибку в случае со словосочетанием “CEFR level” (категория 2), требуя указать конкретный уровень, хотя, исходя из эссе, где автор писал: “…that would give me a brief idea of his hypothetical level of English (according to CEFR)”, по смыслу это не требовалось. Более того, данная сеть не указала на ошибку в отсутствии предлога перед данным документом (что, впрочем, можно списать на слепое следование промпту). Далее, категория «теоретических гибридов» и те примеры ошибок, которые нашла нейросеть, не всегда соответствовали действительности. Затем приведенный в таблице пример с якобы «неверным» выбором CLIL в пользу ESP – в эссе шла речь об обучающемся с высоким уровнем С1, которому нужны были непосредственно знания по предмету –  “There’s no need for her to take special classes to improve her English level, so she can be taught through the CLIL method to learn something about business as well…”, однако опять же контекст был проигнорирован нейросетью, а псевдоошибка обозначена. Наконец, выделение категории «использование избыточной терминологии» нейросетью DeepSeek не было до конца оправданным, так как, исходя из рубрики задания (которое было отдельно обозначено в промпте), обучающимся нужно было аргументировать свой выбор, а не навешивать ярлыки по своему усмотрению. Кроме того, иногда ошибку в терминологии допускали и сами нейросети. К примеру, DeepSeek предложил заменить термин “Learning style” на “Learning preferences”, что является не совсем некорректным.

Продолжая разговор о недостатках использования нейросетей, можно отметить следующее. При первом запросе детальной разбивки ошибок с примерами из самих эссе генеративная сеть DeepSeek придумывала примеры, которых не существовало ни в одном эссе, но при указании пользователя на данный факт в следующем промпте не стала отрицать выдуманные примеры и предложила исправить свой анализ-обзор. Подчеркнем, что то же самое наблюдалось и при работе с ChatGPT, что является прямой фальсификацией данных.

Рис. 1. Пример фальсификации DeepSeek

Более того, при самом первом запросе нейросеть решила сократить количество работ для проверки из 78 до 60 по только ей ведомым причинам. Опять же, как и в предыдущем случае, при сигнале пользователя о некорректном и неполном анализе нейросеть признает свою неправоту и предлагает более качественный вариант проверки. Истоки таких флуктуаций остаются без объяснений.

Рис. 2. Пример ответа DeepSeek

Что касается ChatGPT, модель была замечена в аналогичных крайностях: в некоторых случаях данная нейросеть маркировала как ошибку абсолютно верное использование терминов в контексте (рис. 3), либо зачастую не приводились конкретные примеры допущенных ошибок, что можно назвать избирательной «слепотой», либо, как отмечалось выше, примеры ошибочных отрывков из работ были выдуманы.

Рис. 3. Пример галлюцинаций ChatGPT

Тем не менее, говоря непосредственно о неправильном употреблении самих терминов, по мнению нейросетей, топ-5 ошибок (отображены в табл. 3) были связаны с базисными терминами методики обучения иностранным языкам, что также было установлено и при ручной проверке:

1)     “method” vs. “approach” vs. “technique”;

2)     “ability” vs. “skill”;

3)     “fluency” vs. “accuracy”;

4)     “lexis” (instead of “vocabulary”);

5)     ‘error” vs. “mistake” vs “slip”.

Таблица 3

Пример анализа ошибок, выполненного нейросетью DeepSeek

С другой стороны, к достоинствам упомянутых нейросетей можно отнести довольно адекватные предлагаемые методические рекомендации для устранения найденных реальных ошибок, а также попытку выйти за задание-промпт, предложенный пользователем (в т. ч. для улучшения визуальной репрезентации данных).

Рис. 4. Пример рекомендаций для преподавателя, данных моделью DeepSeek

Подводя итог и сравнивая использование нейросетей DeepSeek и ChatGPT, безусловно, мы отдаем предпочтение первой в силу относительно более глубокого и качественного анализа данных и их визуального представления.  По нашему опыту, ChatGPT пока не способен проводить всесторонне адекватный анализ данных, даже при помощи последующих промптов-уточнений, а также склонен к излишнему перефразированию текста-исходника. Мы обращаем на это особое внимание, так как, по нашему мнению, постоянное переформулирование отвлекает от первоначально допущенной студентом ошибки, что потенциально вредно для языкового прогресса обучающегося. В любом случае маркирование абсолютно верных высказываний как неверных и допуск самими нейросетями довольно грубых ошибок и откровенных фальсификаций данных при проверке работ дают пищу для методических размышлений. Помимо этого нами наблюдались существенные различия в формах обратной связи, объеме и фокусе при работе с одним и тем же массивом текстовых данных в нескольких сеансах чата с нейросетями.

Нам видится, что преподаватели иностранного языка, используя те или иные технологии ИИ в своей работе, должны не только применять критическое мышление, но и проявлять внимательность и осознанность в своем выборе, ведь, несмотря на кажущуюся фасилитацию процесса и снижение нагрузки за счет избавления от рутинных задач, есть риск «деавтоматизации» определенных навыков (и, как следствие, распада умений) и потери профессионального чутья из-за стремления постоянной сверки с мнением нейросетей и делегирования им части своих трудовых функций.

Предоставление педагогической корректирующей обратной связи в виде комментария к работе с индикацией ошибок является сложной задачей, ведь, по сути, каждая студенческая работа уникальна и требует адресных рекомендаций преподавателя и особого способа обозначения ошибки (а иногда ее игнорирования), не говоря уже о выборе способа ее коррекции, что в целом важно для выстраивания оптимальной индивидуальной образовательной траектории. А так как ИИ не является человеком, он лишен педагогической интуиции и не может целиком «видеть» условия и ситуацию, в которых находится обучающийся, т. е. принимать во внимание иные факторы, которые могли повлиять на успеваемость.

Тем не менее первичная машинная обработка данных может помочь преподавателю сосредоточиться на серьезном и глубоком критическом разборе выполненной работы и повышении качества предоставляемой персонализированной педагогической обратной связи. Таким образом, существует насущная необходимость в составлении методических рекомендаций по грамотной работе преподавателей (и самих обучающихся) с технологиями ИИ наряду с их безопасной и эффективной интеграцией в учебный процесс.

Заключение / Conclusion

Как мы выяснили, использование исключительно нейросетей для проверки работ обучающихся без участия преподавателя является невозможным. Нейросети склонны обнаруживать локальные проблемные места, игнорируя контекстуальные нюансы и общую картину относительно прогресса или регресса обучающегося, которую отчетливо наблюдает ведущий преподаватель.  Тем не менее союз генеративных языковых моделей на базе искусственного интеллекта, где последний может выступать в качестве вспомогательного инструмента и помощника для преподавателя, который, в свою очередь, использует естественный интеллект, накопленный педагогический опыт и традиционный (вручную) способ оценивания, имеет определенный потенциал. Проанализированная смешанная модель оценивания требует более тщательного рассмотрения в будущих работах.

Если говорить о задачах нашего иссле­дования, то нам удалось выявить типичные ошибки относительно профессионально ориентированной лексики в письменной педагогической речи на англий­ском языке у студентов бакалавриата третьего кур­са. К основным категориям найденных ошибок и слабых мест у будущих преподавателей английского языка можно отнести: неправильное употребление терминов (сюда же отнесем активное создание терминологических гибридов – смешение двух разных понятий), непроизвольное игнорирование профессиональной терминологии (прибегание к парафразу, избыточному описанию вместо употребления конкретного термина) и ошибки, совершенные из-за интерференции. В методической области – некорректное описание и выбор метода/подхода обучения ИЯ и траектории дальнейших педагогических действий (в т. ч. отсутствие аргументации собственной методической позиции).

Проведенный нами анализ ошибок может послужить ценнейшим инструментом для диагностики, профилактики и терапии ошибок в рамках профессионально-коммуникативной подготовки будущих педагогических кадров. Ограничением исследования выступил тот факт, что мы оставили за рамками общую сферу владения английским языком и сосредоточились на профессионально ориентированном лексическом аспекте. Перспективным представляется анализ совершенных данной категорией обучающихся ошибок в других областях языка (грамматика, синтаксис, пунктуация, орфография и т. п.), чтобы получить полные сведения. За рамками также остались ошибки в контексте преподавания, связанные с не совсем верными и адекватными методическими решениями.

Что касается причин появления данных оши­бок, требуется дополнительный анализ выполненных контрольных и тестовых работ для более точного и детального описания, но, на наш взгляд, в первую очередь это вызвано интерференцией родного языка обучающихся и несовпадением некоторых элементов терминологического аппарата специальности в русском и английском языках.

Соответственно, в качестве дальнейших задач исследования можно обозначить выявление способов предупреждения обнаруженных частотных ошибок: разработку памяток, практических рекомендаций, упражнений и заданий, способствующих устранению данных ошибок в речи на англий­ском языке у студентов лингводидактического профиля подготовки; создание профессионально ориентированного лексического практикума для обеспечения дополнительной отработки и практики употребления лексических единиц, вызывающих наибольшие затруднения, а также внесение последующих корректировок в содержание обучения нашей целевой аудитории.

Невозможно предупредить и спрогнозировать все ошибки – они являются естественной частью любого учебного процесса, но крайне важным нам видится обучение студентов стратегиям внутреннего лингвистического самоконтроля и самокоррекции. Предоставление обучающимся возможности замечать собственные языковые пробелы и перестраивать свое речевое поведение, учась не только на своих, но и на чужих ошибках, определенно является полезным как для повышения уровня владения иностранным языком в целом, так и развития учебной автономии в частности.