Assessment of AI Generated Lesson Plans for Foreign Language Teaching

Введение / Introduction

В образовательной практике все чаще используются платформы искусственного интеллекта (ИИ) в разных целях и с разными функциями. А. А. Колесников отмечает «усиление роли ИИ как ведущего средства обучения, которое воздействует на все остальные компоненты системы» [1]. По результатам опросов в разных странах, проведенных в 2024 году группой исследователей под руководством А. Эдметта, учителя применяют ИИ для разработки материалов (57%) и планов уроков (43%), 65% полагают, что ИИ может стать полезным помощником учителя в планировании [2]. В РФ опросы преподавателей вузов, описанные в исследовании В. И. Токтаровой, О. В. Ребко, И. И. Хабибрахмановой, Р. А. Мусина, показали, что 32,7% респондентов используют инструменты ИИ изредка. Только 4,1% педагогов обращаются к сервисам ИИ практически ежедневно, ИИ применяется ими для генерации текстового контента – 36,7%. При этом 66,3% опрошенных готовы использовать цифровые инструменты в образовательной деятельности [3].

Системный анализ потенциала ИИ-технологий в целях оптимизации административных процессов, персонализации обучения и повышения эффективности образовательного менеджмента приводится в исследовании И. Н. Глазуновой и др. [4]

Делаются попытки, как, например, в статье С. В. Титовой, разработать обобщенную типологию технологических решений с применением ИИ, используемых в обучении иностранным языкам, при организации самых разных сторон дидактической деятельности (контроль и оценивание, обеспечение обратной связи и рефлексии, разработка дидактических материалов и индивидуальной траектории обучения, управление учебным процессом) [5].

В научном арсенале методики обучения иностранным языкам уже складываются содержательные и структурные модели применения ИИ в данной области. Так, П. В. Сысоев и М. Н. Евстигнеев предлагают пятиблочную модель, конкретизируя задачи, содержание и набор инструментария ИИ для каждого из них (рис. 1) [6]. Авторы приводят примеры инструментов ИИ в каждом структурном компоненте модели, однако не описывают качество разработанных материалов и их соответствие методическим и дидактическим принципам обучения иностранному языку.

Рис. 1. Модель интеграции инструментов ИИ в лингвометодическую подготовку

учителей иностранного языка

Проблемы интеграции сервисов ИИ в подготовку будущих учителей иностранного языка привлекают внимание многих ведущих методистов РФ.  При этом Н. И. Алмазова и Л. П. Халяпина, анализируя «преобразующий потенциал программ ИИ», отмечают недостаточное внимание исследователей к методическим аспектам подготовки учителей с учетом существующих в методической науке концепций и подходов для исследования дидактических возможностей ИИ [7].

В нашей работе рассматриваются конкретные вопросы использования разных платформ ИИ при генерировании планов урока иностранного языка и проведения их оценки на базе методической теории, что открывает определенные возможности для использования таких продуктов ИИ в профессиональном образовании учителей иностранного языка.

Несмотря на значительный интерес исследователей к различным аспектам применения ИИ в образовательной деятельности и, соответственно, наличию широкого спектра публикаций, в практике подготовки будущих учителей иностранного языка и повышения квалификации наблюдается отсутствие апробированных и четко обоснованных рекомендаций в данном направлении. А. Эдмет, признавая позитивный вклад инструментов ИИ в деятельность учителя, тем не менее отмечает и определенные риски, обусловленные некритичным использованием его продуктов и неразработанностью процедур их оценивания [8]. Очевидно, что речь идет не столько о факте применения ИИ в учебном процессе, сколько, по мнению Л. Ши, о необходимости «критичного оценивания продуктов на предмет их точности, уместности и предвзятости» [9].  Как показало предыдущее исследование Е. В. Борзовой и М. А. Шеманаевой, сгенерированные ИИ планы уроков иностранного языка нуждаются в корректировке на предмет их соответствия ряду требований, разработанных и апробированных методистами [10]. Аналогичные выводы делает и М. Н. Евстигнеев, отмечая множество методических ошибок и неточностей в структуре учебного занятия, связанных с последовательностью этапов работы [11].

Важной целью подготовки современного учителя, таким образом, становится развитие компетенции по качественному использованию ИИ. Л. Ши определяет данные компетенции как «знания, умения и подходы, необходимые для педагогически и этически осмысленного внедрения генеративного ИИ в образовательную практику» [12].  Их специфика проявляется в комплексном характере, предполагающем пересечение с другими компетентностями, с которыми они взаимосвязаны в профессиональной деятельности.  Компетентности целесообразного применения ИИ всегда включаются в разнообразные виды деятельности учителя, что, как следствие, определяет значительную зависимость эффективного использования ИИ от определенных дидактических задач, целей, содержания, контекста и т. д.

Хотя работа с ИИ требует от пользователя гибких технических навыков, несомненно, содержательное наполнение его продукта каждый раз будет оцениваться с учетом вышеупомянутых факторов. Очевидно, что развитие соответствующей компетентности должно быть тесно связано с развитием других профессиональных компетенций, в первую очередь с методической, если речь идет о разработке и оценивании планов уроков и учебных материалов.

В статье ставится цель исследовать связи между задаваемыми промптами и получаемыми результатами, сгенерированными разными платформами ИИ, с учетом теории обучения иностранным языкам. Авторы делают попытку выявить чувствительность разных генеративных платформ к поставленной методической задаче и наметить возможные способы развития умений оценивания конечного продукта (плана урока) учителями посредством использования специально разработанных чек-листов. В исследовании были поставлены следующие проблемные вопросы: 1) Влияет ли изменение в промпте на конечный продукт ИИ, сгенерированный разными доступными учителям платформами? 2) С помощью каких инструментов можно оценивать эффективность сгенерированного продукта ИИ на предмет его соответствия устоявшимся в методике обучения иностранному языку методическим требованиям? Ожидаемые результаты могут быть в определенной степени полезны для последующей разработки способов взаимосвязанного развития профессиональных компетенций учителя по применению ИИ в конкретных методических целях.

Обзор литературы / Literature review

В нашем исследовании мы исходим из тезиса А. М. Виериу и Дж. Петреа о том, что «эффективная интеграция ИИ в сферу образования требует глубокого понимания и технологий, и самого процесса учения» [13]. Положения, значимые для оценивания учебных материалов, заданий и форм учебного процесса, сгенерированные ИИ, должны опираться на фундаментальные идеи организации овладения иностранным языком.

Анализ литературы позволяет заключить, что можно условно определить две основные группы требований к дидактическим инструментам: обобщенные, характеризующие эффективные инструменты в целом, отражающие базовые условия успешной учебной деятельности, и специфические, соответствующие условиям достижения конкретных предметных целей.

К первой группе можно отнести условия, обусловливающие вовлеченность обучающихся в учебную деятельность. Так, например, В. Клафки выделяет три группы факторов, характеризующих тот или иной дидактический инструмент, влияющих на вовлеченность обучающегося. Категориальная (или адресная) значимость предполагает соотнесенность его содержания с актуальными для обучающегося ситуациями и интересами, обеспечивающими быструю вовлеченность в деятельность. Она определяется за счет соотнесенности с возрастным опытом, социальным контекстом и коммуникативными потребностями. Следующий фактор – значимость для будущего – означает направленность на развитие компетентностей (например, медийной грамотности и критичности, умения реализовывать межкультурное общение и т. п.), важных для социализации.  Эти задачи предлагается решать за счет наличия в инструментах значимого социального содержания. Третий фактор предполагает образцовость материалов, предъявляемых в дидактическом инструменте, т. е. их способность служить паттерном для последующей деятельности [14].

Б. Лауфер и Дж. Халстидж разрабатывали гипотезу степени вовлеченности (Involvement Load Hypothesis) обучающихся применительно к овладению иноязычной лексикой, в соответствии с которой значимым для данной цели условием выступает степень вовлеченности обучающихся в учебную деятельность [15]. По мнению исследователей, степень вовлеченности зависит от того, насколько задание обеспечивает потребность и мотив к действию, обусловливая поисковые усилия обучающихся в выборе нужного слова и оценивание уместности сделанного выбора. Мы полагаем, что степень вовлеченности обучающихся в выполнение целесообразных и успешных учебных действий выступает обобщенным условием, обеспечивающим качество учения в любой сфере, а не только при овладении лексикой изучаемого языка.

Важный фактор для овладения иностранным языком, согласно П. Д. Макинайр, – это идея вызова у обучающихся стремления к общению, которое рассматривается как появление готовности включиться в коммуникативное взаимодействие, обусловленное в том числе чувством уверенности, тревоги, ориентацией на собеседника [16].

Ряд исследователей, например О. В. Володина, подчеркивают также значимость когнитивного компонента в содержании дидактических инструментов, активизирующих мышление, память и воображение обучающихся [17]. Другие же, например С. В. Чернышов, подчеркивают значимость эмоционального компонента [18].

Суммируя, можно выделить несколько групп факторов, определяющих обобщенную эффективность дидактического инструмента (рис. 2):

Рис. 2. Факторы, определяющие обобщенную эффективность дидактических инструментов

Современные концептуальные модели разработки учебных материалов по иностранным языкам опираются на личностно ориентированный подход, в котором лингвистический материал, когнитивная вовлеченность и эмоциональная отдача пересекаются для создания развивающей языковой среды. Б. Томлинсон [19] формулирует этот подход через три взаимосвязанных принципа:

‒      эмоциональную вовлеченность (учебные материалы должны вызывать эмоциональный отклик и обладать личной значимостью для удержания внимания);

‒      богатый языковой субстрат (обучающимся необходим большой объем аутентичного материала на целевом языке в значимых контекстах для формирования имплицитных (подсознательных) знаний);

‒      личный вклад обучающегося (материалы должны позиционировать учащихся как активных субъектов смыслопорождения, а не пассивных получателей информации, стимулируя их автономию через предоставление выбора, персонализацию заданий и возможности для творческого самовыражения).

Эти принципы находят свое структурное воплощение в Европейском языковом портфолио (CEFR Companion Volume) [20], где использование языка переосмысливается через призму деятельностного подхода. В рамках этой модели учащиеся выступают в роли социальных субъектов, решающих реальные жизненные задачи. Этому способствуют дескрипторы языковой медиации (посредничества), которые служат опорой для совместного конструирования смыслов (например, при передаче информации, реферировании, содействии коммуникации), а также многоязычный и поликультурный аспекты, которые признают ценность всего лингвистического репертуара учащихся, вместо того чтобы рассматривать их родной язык как источник интерференции.

На микроуровне сбалансированная архитектура учебных материалов обеспечивается концепцией «Четырех направлений» И. С. П. Нейшна (Nation's Four Strands), включающей:

‒      смыслоориентированное восприятие (обильное чтение и аудирование) [21];

‒      смыслоориентированное продуцирование (говорение и письмо ради коммуникации);

‒      обучение с ориентацией на языковую форму (целенаправленное внимание к языковой форме);

‒      развитие беглости речи (автоматизация уже знакомого языкового материала посредством упражнений на время) [22].

Автор данной концепции полагает, что в идеале на каждое направление должно выделяться примерно равное количество учебного времени (по 25%).

Для анализа качества того или иного инструмента Е. В. Борзова предлагает учитывать комплекс эффектов: новизны (Е. И. Пассов), личностной вовлеченности, успешности, интеллектуальной напряженности, эмоциональной вовлеченности. Автором выявляются способы и средства реализации каждого эффекта в контексте иноязычного образования [23]; таким образом, обобщенные требования соотносятся со специфическими. Отмечается, что эффективность дидактических инструментов определяется их потенциальной возможностью реализовывать выявленные эффекты: чем больше эффектов реализуется, тем выше обучающий и учебный потенциал дидактического инструмента.

Специфические требования, соответствующие условиям достижения конкретных предметных целей, варьируются в зависимости от самой цели (формирование или совершенствование языковых навыков и развитие речевых умений на иностранном языке). В методике обучения исследуется совокупность необходимых и достаточных характеристик, которые следует моделировать в комплексах релевантных упражнений для достижения конкретной задачи. Вслед за Е. И. Пассовым основным специфическим критерием эффективности образовательных средств (учебных материалов, упражнений) мы считаем их адекватность как «потенциальную способность служить наиболее эффективным средством достижения конкретных целей в конкретных условиях» [24]. Именно задача определяет методическое «наполнение» дидактического инструмента, т. е. характер последующих действий обучающегося, условия выполнения этих действий: например, наличие опор, режим взаимодействия с другими участниками учебного процесса и т. п., в совокупности обеспечивающих получение запланированного результата.

Можно выделить перечень специфических требований-условий для формирования или совершенствования иноязычных грамматических навыков, которые были выбраны в качестве объекта усвоения обучающимися в данном исследовании и которые подробно разработаны в методике обучения иностранным языкам. К этим условиям Е. И. Пассов относит многократность и регулярность повторений речевого образца, осознанность (понимание особенностей формы, условий применений и значения), однотипность образца, безошибочность повторений, учет возможных процессов интерференции и трансференции, использование простых речевых ситуаций и речевых задач, последовательность действий в цепочках упражнений (от восприятия к самостоятельному использованию) [25]. В совокупности данный перечень конкретизирует обобщенные условия-требования применительно к материалам грамматической направленности, рассмотренные выше, которые необходимо смоделировать в языковых и условно-речевых упражнениях для обеспечения их адекватности.

Указанные условия следует учитывать при оценивании дидактических инструментов, используемых учителем для формирования/совершенствования иноязычных грамматических навыков, независимо от того, предлагаются они учителем, автором учебника или разработаны ИИ. Ранее в методике обучения предлагались разные критерии оценки педагогического инструментария. Для оценивания учебников Дж. Макдоноу, С. Шоу и Х. Масухара применяли перечни критериев с акцентом на структурные характеристики, например организацию параграфов, визуальный дизайн, на лингвистическую корректность, предъявление культуры и интеграцию умений [26]. Дж. Майкли предложил использовать чек-листы, разработав 30 пунктов, сгруппированных по следующим группам: а) лингвистическая правильность, б) интеграция умений, в) визуальное оформление, г) поддержка действий учителя [27]. В инструментах оценивания, предложенных в последнее время Ф. Хуанг и А. Деракшан, в фокусе внимания исследователей – особенности цифровых учебных ресурсов, обусловленные их техническими возможностями (доступ, интерактивность, интегративная мультимедийность) с акцентом на удобство применения [28]. Однако предложенные авторами критерии не позволяют оценить соответствие (адекватность) конкретных материалов или планов урока поставленной методической задаче, ориентируясь на обобщенную оценку. В них не всегда учитываются педагогически значимые факторы, необходимые для получения качественных результатов обучения и учения в определенных ситуациях, задаваемых методической задачей.

Пока остается спорным вопрос: требуются ли особые инструменты оценивания продуктов ИИ, сгенерированных для образовательных целей? Е. В. Борзова и
М. А. Шеманаева подчеркивают, что необходимо выявить возможности ИИ реагировать на изменения в промптах, чувствительность платформ к переформулированию установок для создания вариативных продуктов, поскольку проведенный авторами критический анализ показал, что для инструментов ИИ свойственно расположение заданий без учета степени сложности действий обучающихся [29]. А. А. Колесников также выделяет среди слабых сторон ИИ отсутствие способности «выстроить корректную последовательность упражнений в соответствии с этапами формирования навыка» [30], что требует тщательного анализа генерируемых ИИ продуктов. Разработка гибких инструментов оценивания предполагает учет как специфических предметных задач и условий, так и обобщенных, обусловливающих вовлеченность обучающихся в учебную деятельность.

Обобщая, мы приходим к выводу, что эффективная интеграция искусственного интеллекта в иноязычное образование требует оценки генерируемых им дидактических инструментов на основе фундаментальных методических принципов, которые условно разделяются на обобщенные и специфические. Исторически сложившиеся подходы к оценке материалов (на основе чек-листов или анализа цифровых ресурсов) зачастую ориентированы на структурно-технические параметры и не позволяют в полной мере оценить адекватность контента конкретной методической задаче. В контексте применения ИИ данная проблема обостряется, поскольку современные исследователи указывают на неспособность нейросетей самостоятельно выстраивать корректную последовательность упражнений с учетом этапов формирования навыка. Это обусловливает необходимость разработки гибких критериев оценки ИИ‑контента, сочетающих в себе как общие психолого-педагогические, так и частнометодические факторы. При этом профессиональная подготовка учителей ИЯ, соответственно, должна включать в себя развитие способности студентов педагогического направления подготовки к аргументированной оценке получаемых результатов ИИ, сгенерированных разными платформами, с акцентом на применение методических и педагогических знаний как ориентировочной основы качественной профессиональной деятельности.

Материалы и методы / Materials and methods

Исследование проводилось в 2025/2926 учебном году. Целью авторов было определить качество сгенерированных разными платформами продуктов (планов, этапов урока иностранного языка), направленных на совершенствование грамматических навыков (далее – ГН) владения the Present Perfect Tense у обучающихся 7–8-х классов. Фрагменты рассчитаны на 20 минут урока, для проведения которых платформы ИИ предлагали от 4 до 7 упражнений.

Выбор формы The Present Perfect Tense для повторения на уроке средней ступени обусловлен, по мнению А. С. Дружинина, ее сложностью для русскоязычных обучающихся и, как следствие, трудностями для учителя, от которого требуется разработка таких упражнений, где обеспечивается сбалансированное соблюдение условий для четкого понимания учащимися языковых и коммуникативных особенностей данного явления [30]. Качество продуктов ИИ оценивалось  на предмет их адекватности поставленной методической задаче, т. е. степени соответствия  разработанных ИИ фрагментов специфическим условиям формирования и совершенствования иноязычных ГН, рассмотренным в обзоре литературы.

 Для разработки комплексов упражнений использовались пять платформ ИИ (DeepSeek, Qwen, Gigachat, ChatGPT and Perplexity), которым предлагались одинаковые промпты (четыре комплекта):

Промпт 1 ставил задачу разработать фрагмент урока с целью совершенствования иноязычных ГН владения the Present Perfect Tense у обучающихся 7–8-х классов.

Промпт 2 включал формулировку промпта 1 с добавлением уровня владения английским языком обучающихся (A2).

Промпт 3 повторял формулировки предыдущих вариантов с добавлением основной стратегии учителя (коммуникативный подход).

Промпт 4 дополнял все прежние формулировки необходимостью учитывать в упражнениях условия совершенствования иноязычных ГН.

Предполагалось, что изменение формулировок промптов позволит выявить чувствительность платформ ИИ к уточнению разных факторов при организации учебного процесса.

Оценивание конечного продукта ИИ на предмет адекватности поставленной в промпте методической задаче осуществлялось посредством разработанных нами чек-листов. Чек-лист определяется толковым словарем Коллинз как перечень различных критериев, значимых для сравнения или контроля [31], который широко используется в разных видах деятельности, позволяя достаточно точно верифицировать соответствие сопоставляемых объектов определенным требованиям. Алгоритм разработки чек-листа состоит из постановки конкретной задачи, выбора комплекса значимых условий для ее достижения и четкого переформулирования каждого условия в отдельный вопрос/утверждение. В нашем исследовании это совершенствование ГН владения the Present Perfect Tense у обучающихся 7–8-х классов с учетом методических условий достижения данной задачи, зафиксированных в каждом вопросе чек-листа, общего для оценивания всех продуктов, разработанных платформами ИИ.

Чек-лист для оценивания этапа урока иностранного языка с целью совершенствования грамматических навыков

Предлагается припомнить правило (один балл).

 Предлагаются визуальные опоры (один балл за каждую).

 Правило предлагается на родном языке обучающихся (один балл).

Обучающиеся припоминают сложные грамматические формы до начала их использования в речи, например неправильные формы глаголов, исключения из правил (один балл). 

В упражнениях предлагаются опоры для предупреждения ошибок (один балл для каждой).

Соблюдается связь «форма иностранного языка – ее значение» (один балл для каждого упражнения).

Даются примеры каждого речевого образца с учетом возможных трудностей: согласование по лицу, утвердительное, отрицательное и вопросительное предложения (один балл для каждого образца).

Содержание всех высказываний на иностранном языке соотносится с реальным личным опытом обучающихся (один балл для каждого упражнения).

Даются задания для работы в парах и группах (один балл для каждого варианта).

Условно-речевые упражнения преобладают над языковыми (один балл за каждое условно-речевое упражнение).

Используются записи рукой для закрепления речевого образца (один балл).

Предлагаются несколько упражнений (один балл за каждое упражнение).

Активизируется механизм самоконтроля за правильностью использования речевого образца (один балл за каждый).

Значимые условия для совершенствования ГН условно были объединены в четыре группы, каждое из этих условий фиксировалось в вопросах чек-листа:

– Осознание обучающимися взаимосвязи формы, значения и функции (критерии 1, 2, 3, 4, 6, 7, 13).

– Обеспечение когнитивного, аффективного и коммуникативного вовлечения обучающихся в деятельность (критерии 8, 9, 11, 12).

– Предупреждение ошибок в действиях обучающихся (критерии 1, 2, 3, 4, 5, 7, 11, 13, 14).

– Вариативность установок и ситуаций (критерии 9, 10, 11, 12, 14).

При оценивании результатов соответствие критерию оценивалось одним баллом (вопросы 1–4), но есть вопросы с оценкой в несколько баллов (5–8): ко второй группе относятся те условия, которые могут соблюдаться или нет в ряде упражнений.  Итоговые баллы показывают соответствие продукта (фрагмента урока) общепринятым в методике требованиям для решения поставленной задачи (в нашем случае – совершенствования иноязычных ГН). Мы предположили, что, опираясь на результаты по отдельным пунктам чек-листа и итоговую оценку, можно выявить степень адекватности сгенерированного ИИ продукта и при необходимости вносить изменения в него. Соответственно, такой чек-лист может стать эффективным средством развития методической компетенции будущих учителей ИЯ, поскольку его многоразовое применение для анализа продуктов ИИ, сгенерированных разными платформами ИИ, дает возможность глубже рассмотреть и понять связи теоретических знаний с практикой обучения и усвоить их.

Результаты исследования / Research results

Итоговые результаты оценивания сгенерированных каждой платформой ИИ продуктов по каждому промпту представлены в табл. 1.

Таблица 1

Итоговые данные по всем промптам

Как следует из табл. 1, все платформы ИИ менее чувствительны к промпту № 1, в котором ставится обобщенная задача, и к промпту № 2, указывающему на уровень владения ИЯ обучающимися. В последнем случае (№ 2) Qwen, Gigachat and Perplexity показывают даже небольшое снижение адекватности фрагмента, что позволяет предположить, что уточнение уровня владения иностранным языком обучающимися для данных платформ может быть отвлекающим от главной задачи условием. Наибольший итоговый прирост соответствия продуктов, предложенных DeepSeek and Qwen, поставленной задаче проявился в промпте № 3 (почти в полтора-два раза по сравнению с первым). Эти платформы продемонстрировали чувствительность к уточнению подхода, которому нужно было следовать в продукте при совершенствовании ГН. При этом ChatGPT и Perplexity показали минимальный рост (2 балла), а у Gigachat результат даже снизился на 3 балла.

Лучший результат достигнут Qwen (40 баллов по промпту № 4), что показывает чувствительность данной платформы к методическим уточнениям относительно поставленной задачи. При этом ChatGPT слабо отреагировал на данные уточнения.

В целом продукты, сгенерированные Qwen по поставленной задаче, представляются более адекватными, а продукты ChatGPT – наименее соответствующими   выделенным в чек-листе условиям по сравнению с другими платформами. Продукты ChatGPT показывают наименьшую чувствительность к изменениям в промпте (от 22 до 26 баллов) в контексте цели данного исследования. Самый высокий итоговый балл адекватности продуктов продемонстрировала платформа Qwen (122 из возможных 180 баллов), а самый низший – Gigachat (89).

По полученным данным можно заключить, что использованные платформы ИИ пока не могут создать фрагменты урока ИЯ с целью совершенствования ГН с высокой степенью адекватности, которая определена по разработанному чек-листу в среднем в 45 баллов (максимально возможное количество баллов по каждому промпту). Очевидно, что генеративные системы ИИ пока не проявляют стабильности и чувствительности к адекватным условиям решения методической задачи, поставленной в данном исследовании. Этот вывод демонстрирует и рейтинг платформ по количеству набранных результатов (табл. 2).

Таблица 2

Рейтинг платформ по количеству баллов

Продукты одной и той же платформы могут занимать по степени их адекватности задаче от первого до пятого места, за исключением Qwen и Perplexity. В общем, фрагменты Qwen в большей степени соответствуют требованиям, хотя содержательный анализ данных результатов показывает необходимость их частичной коррекции. Степень чувствительности данной платформы к промпту в два раза превышает результаты Gigachat. Табл. 2 подтверждает предыдущее заключение об отсутствии стабильности в разработке качественных продуктов ИИ.

Относительно чувствительности ИИ к промптам отметим ее наибольшую степень к уточнению в задании подхода обучения, который ожидается в продукте (№ 3), и наименьшую чувствительность при обобщенном характере поставленной задачи (№ 1) и указании уровня владения иностранным языком обучающимися (№ 2).

В исследовании мы также определяли частотность соблюдения выделенных в чек-листе условий (приложение) разными платформами ИИ.

Таблица 3

Частотность соблюдения каждого критерия (по номерам в чек-листе)

Критерии 6, 8, 10, 12 соблюдаются во всех фрагментах у каждой платформы ИИ. Наиболее проблемным для всех платформ является соблюдение критерия № 4. Припоминание особенностей формы и использования тренируемого образца до выполнения упражнений – важное, неоспоримое требование, особенно в случаях таких сложных явлений, как The Present Perfect Tense. В целом Qwen продемонстрировал самую высокую степень соблюдения всех критериев, разработанных с учетом условий формирования/совершенствования иноязычных ГН.

Выявленные результаты по отдельным критериям показывают, какие конкретные методические решения ИИ в продуктах требуют коррекции и, соответственно, на что необходимо обращать особое внимание при подготовке будущих учителей ИЯ.

С этой позиции мы также проанализировали количественное несоответствие предложенных ИИ упражнений по каждому критерию.

Таблица 4

Количество несоответствий по каждому критерию

Отсутствие стабильности в разработке методического продукта проявляется и в результатах, суммированных в табл. 4. Один и тот же критерий у одной и той же платформы может соблюдаться и нет в сгенерированных ею продуктах по одной общей задаче (совершенствование ГН), повторяющейся во всех промптах. Например, DeepSeek не учитывает пункт 1 в продукте по промпту 4, а во всех остальных учитывает.  Аналогично происходит и с ChatGPT в промпте 1. Таких примеров можно найти множество.

Все платформы игнорируют пункт 1 (припоминание правила), пункт № 4 (предварительное повторение сложной формы), № 3 (использование родного языка при объяснении правила) и № 13 (активация механизмов самоконтроля). Соблюдение данных условий при отработке такого трудного для обучающихся средней ступени грамматического явления, как The Present Perfect Tense, представляется обязательным для достижения успешности учебных действий [29]. 

С другой стороны, ряд требований всегда соблюдается всеми платформами (6 – реализации связи «содержание – форма»; 8 – актуализация в репликах реального опыта обучающихся; 10 – превалирование коммуникативно направленных упражнений над языковыми и 12 – направленность упражнения на отработку целевого речевого образца). Три из этих условий соотносятся с положениями коммуникативного подхода в обучении иностранным языкам [30], а пункт 12 показывает определенную достаточность предлагаемой тренировки. Очевидно, что данный подход широко используется в практике учителей, что отражено в базе накопленных платформами ИИ образцов урока иностранного языка.

Qwen продемонстрировал учет большинства необходимых условий совершенствования ГН (обобщенных и специфических), хотя пункты 3 и 4 требуют коррекции. Самые высокие баллы данная платформа получила за фрагменты № 3 и № 4. Несколько поправок требуют и фрагменты, сгенерированные Perplexity. Продукты остальных ИИ следует корректировать в большей степени, поскольку многие положения не соблюдаются. Соответственно, степень адекватности сгенерированных продуктов почти в два раза ниже возможной максимальной (от 45 баллов). GigaChat показал самый низкие данные по степени адекватности продукта за фрагменты № 3 и № 4. По другим промптам его результаты не отличаются значительно от других вариантов. 

Содержательный анализ планов уроков показывает, что платформы, казалось бы, учитывают характеристики современных уроков иностранного языка. В большинстве предложенных продуктов предлагаются актуальные речевые ситуации и речевые задачи; в ряде случаев используются приемы геймификации; предусматривается вариативность приемов, ситуаций, режимов взаимодействия обучающихся и опор; стимулируется рефлексия обучающихся по полученным результатам. В планах, разработанных по промптам № 3 и № 4, даются краткие методические комментарии с обоснованием выбора педагогических инструментов. Однако, как демонстрирует количественный анализ, ряд значимых для совершенствования иноязычных грамматических навыков условий, рассмотренных в обзоре литературы, не учитываются. Недостаточно реализуются обеспечение посильности и успешности действий обучающихся, переходы от более простых к более сложным действиям, что требует тщательной коррекции полученных продуктов ИИ.

Заключение / Conclusion

Проведенное исследование продуктов разных платформ ИИ по совершенствованию иноязычных грамматических навыков в основной школе выявило однозначную нестабильность результатов. Все предложенные ИИ разработки нуждаются в корректировке для обеспечения их соответствия (адекватности) выделенным методистами требованиям. Изменение в формулировке промпта (уточнение уровня владения иностранным языком обучающимися) не ведет к явному повышению качества продукта с точки зрения соответствия поставленной задаче. При этом уточнение поставленной задачи по требуемым условиям (учет в упражнениях условий совершенствования иноязычных ГН) и по методическому подходу (коммуникативный подход) обеспечивает очевидный рост адекватности упражнений.  Наибольшую степень адекватности продукта для данной задачи показала платформа Qwen, хотя и предложенные ею варианты нуждаются в корректировке.

Полезным инструментом для оценивания продуктов ИИ могут быть чек-листы, составленные с ориентацией на положения современной методики обучения иностранным языкам. Очевидно, что для каждой группы практических задач потребуются специальные чек-листы, разработанные по определенным условиям их достижения.

Требуются совместные усилия программистов и методистов для качественного улучшения образовательных продуктов ИИ и повышения чувствительности платформ к промптам.

Разработки ИИ необходимо использовать при подготовке будущих учителей иностранного языка и повышении квалификации работающих учителей как материалы методического анализа, направленного на определение и обоснование степени адекватности сгенерированных продуктов.  Практика в формулировании промптов, генерации упражнений с помощью платформ ИИ и анализе продуктов по релевантным чек-листам, составленным на основе методической теории, должна стать обязательным компонентом при развитии всех профессиональных компетенций современного учителя иностранного языка.