Specific aspects of using chatbots based on large language models in the training of students-philologists

Введение / Introduction

Значимым событием последнего десятилетия для развития филологии в цифровом обществе является то, что ведущие эксперты ЮНЕСКО [1] и Международной федерации библиотечных ассоциаций начали реализацию совместной инициативы по интеграции двух самостоятельных направлений: медиаграмотности и информационной культуры. Как результат – определение нового объединяющего понятия, что медиаинформационную грамотность следует трактовать как совокупность знаний, установок, умений и навыков, позволяющих [2]:

‒         получать доступ к информации;

‒         анализировать, оценивать, использовать, создавать и распространять полученные данные с наибольшей эффективностью в рамках действующего законодательства и норм этики.

С. Г. Давыдов, А. В. Замков, М. А. Крашенинникова, М. М. Лукина отмечают, что системы искусственного интеллекта (далее – ИИ), в частности большие языковые модели, становятся активным субъектом конкуренции и профессионального становления цифровых специалистов в области лингвистики и филологии [3]. В свою очередь, осуществление национальных проектов по цифровизации экономики и образования в России, как отмечают Н. Л. Караваев и Е. В. Соболева, предполагает проведение комплекса мероприятий, направленных на выявление влияния и последующий анализ внедрения ИИ на рынок труда [4]. Например, Институт ЮНЕСКО по информационным технологиям и Международный центр инноваций в 2024 году в коллаборации разработали и презентовали для преподавателей, сотрудников университетов и других образовательных организаций новый онлайн-курс по медийной и информационной грамотности [5]. В частности, были затронуты такие важные направления: ориентация в сложном информационном мире, устойчивость к виртуальным манипуляциям, пропаганде и дезинформации. Действительно, автоматизация информационных процессов поиска, сортировки и классификации позволяет цифровым специалистам в области филологии больше времени уделять творчеству и сочинению. Однако, как настаивают Д. Н. Грибков, Н. В. Бодрова, понимание принципов функционирования виртуальных помощников и диалоговых агентов – важные знания, умения, навыки для филолога в цифровом обществе [6].

По выводам М. Хуснайн, А. Имран, Х. К. Тарин значимость ИИ особенно явно прослеживается в следующих направлениях деятельности специалистов по медиакоммуникациям: обработка данных, генерация контента, составление подборки фактов и предъявление информации в соответствии с интересами пользователей [7]. Авторы проводят опрос, в ходе которого они устанавливают, что большинство журналистов (будущих и работающих по профессии) весьма оптимистично настроены относительно того, что ИИ может привнести в медиакоммуникации. Однако ученые признают, что мнения респондентов по поводу того, насколько часто (интенсивно) и в каких видах профессиональной деятельности можно использовать ИИ, существенно разделились. По мнению авторов, более подробное изучение причин такого несогласия, негативных факторов влияния ИИ на медиакоммуникации заслуживает особого внимания научного сообщества. А. Рауф, С. Мохаммед представляют исследование, в котором ими предпринята попытка разработать современный учебный курс, интегрирующий элементы ИИ в сферу журналистики. Однако авторы учитывают только опыт обучения в Ираке [8].

Содержание программ обучения студентов Белгородского государственного национального исследовательского университета включает дисциплины, в рамках которых возможно эффективно подготовить будущих цифровых филологов к использованию LLM для поддержки аналитической, научно-исследовательской, творческой деятельности [9], в частности к осознанному применению возможностей чат-ботов для менеджмента и коммуникации в социальной журналистике. Такая осознанность, по заключениям Дж. Раджик, пока еще недостаточно сформирована среди участников образовательного процесса [10]. Многие педагоги испытывают опасения как на стадии самостоятельного применения LLM, так и в процессе обучения студентов применению ИИ для решения будущих трудовых задач.

Таким образом, существует объективная необходимость дополнительного исследования вопросов включения чат-ботов на основе LLM в реализацию программ подготовки цифровых филологов. Гипотеза исследования: применение чат-ботов на основе LLM в обучении будущих филологов обеспечит дополнительные ресурсы для повышения качества их подготовки. Цель работы – выявить особенности применения чат-ботов на основе больших языковых моделей данных в обучении студентов-филологов.

Задачи исследования:

‒         уточнить проблемы и возможности применения чат-ботов на основе LLM при обучении будущих цифровых филологов;

‒         описать варианты применения чат-ботов на основе LLM для поддержки различных видов учебной и профессиональной деятельности студентов с учетом специфики их подготовки;

‒         выявить факторы, влияющие на качество применения чат-ботов на основе LLM в обучении цифровых филологов;

‒         экспериментально проверить эффективность предлагаемой интеграции чат-ботов на основе LLM в обучение студентов.

Обзор литературы / Literature review

Экспертами ЮНЕСКО в 2024 году составлены и опубликованы материалы, описывающие спектр возможностей ИИ и список навыков, на которые необходимо ориентироваться, в первом случае, наставникам цифровой школы, а во втором – обучающимся. Эти указания (в рекомендательной форме) касаются того, как эффективно использовать ресурсы ИИ (в том числе и чат-боты на основе LLM) для повышения качества образовательного процесса [11]. E. A. Мамаева, Е. К. Герасимова, О. Ю. Заславская, Л. А. Шунина исследуют дидактический потенциал и возможности ИИ для повышения качества подготовки цифровых специалистов будущего. Авторы на примере моделирования диалогов участников образовательного процесса в виртуальном пространстве чат-бота выявляют особенности деятельности в рамках моделирования блоков ответов разного типа, например открытый текст и предсказуемый ответ [12].

К. Гонсалес Бармен, Н. Вуд, Натан, П. Павловски утверждают, что пользователей LLM необходимо обучать применять эти инструменты в образовательных целях. Более того, следует разрабатывать и предоставлять методические указания о том, с какими задачами LLM могут справляться хорошо [13]. Д. Чжао определяет, что ИИ произвел революцию в сфере образования в области преподавания и изучения языков. В  этом исследовании изучается потенциал инструментов обработки естественного языка на основе ИИ для повышения уровня грамотности, уделяя особое внимание точности языка, обобщению контента и содействию творческому письму [14]. А. Сонни, В. Путри, И. Ирванто определяют, что растет число исследований, посвященных влиянию ИИ на медиарынок, сферу информационных услуг [15]. Авторы указывают, что большая доля из встречающихся терминов – это «фейковые новости», «алгоритмы» и «цифровая журналистика». Более того, увеличился интерес мирового научного сообщества и к проблемам этики применения инструментов ИИ. Как следствие, справедливо вести речь о совершенствовании программ подготовки участников медиарынка к информационному взаимодействию в условиях развития ИИ в рамках обучения в университете.

Дж. Павлик отмечает, что внедрение ИИ определило начало эры трансформации журналистики и филологии [16]. В частности, инструменты ChatGPT уже позволяют пользователям создавать запросы и быстро получать сгенерированные ответы в виде текстовых сообщений. В основе таких действий – алгоритмы машинного обучения. Также автор оценивает спектр ресурсов языковых моделей и последствия их активного применения в медиаобразовании. Л. Меллер, Х. Кулс, М. Сковсгаард определяют различные роли цифровых филологов, использующих ИИ в своей профессиональной деятельности [17]. Например, одни могут выискивать ограничения новых технологий, риски и потенциальные угрозы. Другие специалисты могут применять ИИ для генерации уникального контента и привлечения новой читательской аудитории.

Возможности LLM, по выводам Э. Каснечи и соавт., отражают прогресс в области ИИ [18]. Авторы заключают, что, несмотря на критические взгляды и ограничения, LLM будут развиваться и совершенствоваться применительно к дидактическому процессу. Ученые предполагают, что LLM можно использовать для создания образовательного контента, повышения мотивации и вовлеченности, качества информационного взаимодействия участников дидактического процесса. Что касается проблем и рисков, авторы утверждают, что LLM в образовании предполагает сформированность соответствующих наборов компетенций и определенного уровня цифровой грамотности. Эти наборы необходимы как для понимания сущности технологии, так и учета возможных ограничений таких систем. Более того, повышаются требования к соблюдению принципов научности и проверки фактов, развитию критического мышления. Авторы утверждают, что при разумном подходе указанные требования могут определить новые возможности в образовательных сценариях для раннего ознакомления обучающихся с функционалом и преимуществами ИИ. К. Л. Зуйкина, Д. В. Разумова указывают, что массовое внедрение технологий ИИ в работу цифровых филологов, помимо преимуществ, предусматривает и учет следующих рисков: отсутствие указания авторства, распространение недостоверной информации, нарушение конфиденциальности [19].

Р. Айссани, Р. Абдаллах, С. Сайд, М. Н. Аль Адван заключают, что технологии, функционирующие на базе ИИ, позволяют анализировать большие объемы данных, выявлять тренды, проверять факты [20]. Внедрение LLM открывает возможности для быстрой генерации образовательного контента и интенсификации обратной связи. Однако следует понимать и учитывать следующий спектр рисков: этические вопросы и потенциальная предвзятость, возможность сокращения и потери рабочих мест, обеспечение конфиденциальности и безопасности данных, проблемы обучения/переобучения сотрудников. Также существуют трудности интерпретации результатов от разных LLM, источников информации. В качестве перспективы авторы отмечают возможность эмоциональной интерпретации текстов. С. Ву говорит о том, что инструменты ИИ могут быть дидактически полезными при сборе информации, поиске источников, составлении списков литературы [21].

В. Герхес, М. Фаркасиу, М. Черникова, С. Коман изучают реакцию читателей на материалы статей и заголовки, сгенерированные ИИ и написанные цифровыми филологами [22]. К исследованию были привлечены студенты университета в Румынии. Аналитическая работа позволила авторам утверждать, что тексты, созданные ИИ, вызывали положительный отклик у респондентов, наибольшее доверие. Доля таких читателей – более половины всех участников эксперимента. И только применение специальных лингвистических методов позволило убедить респондентов, что эти тексты полностью сгенерированы ИИ.

А. Сонни рассматривает направления цифровых изменений в филологии и лингвистике за последние десять лет [23]. Он акцентирует внимание на включении элементов ИИ в трудовые задачи специалистов. Автор определяет три основных направления инноваций: интеграция технологий в генерирование содержания, изменение моделей поведения участников медиакоммуникаций и новые алгоритмы продвижения новостей в информационной ленте.

Э. Динсер, отталкиваясь от положения, что ИИ изменяет основные процессы обработки информации в деятельности филологов и лингвистов (например, автоматизирует выполнение рутинных задач и повышение скорости анализа данных), предъявляет и дополнительные требования к навыкам соответствующих специалистов [24]. Например, навыки освоения новых сервисов, формулирования запросов, анализа полученных данных и их интерпретации в целостном контексте материала. Кроме того, необходимы умения, составляющие основу этики, информационной безопасности, критического мышления и эмоционального интеллекта.

Р. Гилат, Б. Коул отмечают, что ИИ влияет на написание, рецензирование и редактирование научных материалов [25]. Авторы определяют следующие направления для анализа: упрощение оценки и редактирования текстов, помощь в отборе значимых статей и прогнозе их цитирования в журналах. Однако, по выводам исследователей, ИИ не заменит высококвалифицированных филологов и лингвистов, а скорее предоставит дополнительные инструменты для повышения качества их работы. По прогнозам авторов, в будущем ИИ будет лучше понимать контекст, эмоциональную тональность текстов. З. Харб, Р. Арафат оценивают эффективность применения LLM на этапе поиска и анализа данных из различных источников [26]. Э. Котенидис, А. Веглис уточняют способы использования технологий ИИ, в частности LLM, для развития цифровой филологии [27]. Авторы также выявляют и обсуждают проблемы, связанные с внедрением новых средств информатизации.

Т. В. Лягошина анализирует спектр современного программного обеспечения, поддерживающего работу с естественными языками. Она обозначает и пытается решить вопросы, связанные с пониманием природы информационных моделей и сервисов, при помощи которых становится возможным распознавание ими языка человека [28]. М. Тихомиров, Д. Чернышов определяют, что появление универсальных LLM (например, ChatGPT) поспособствовало ускорению развития технологий обработки естественного языка [29], например, в плане анализа и имитации языка человека. М. А. Короткевич предпринимает попытку оценить влияние внедрения LLM на сферу медиакоммуникации [30]. Для этого ученый проводит эксперимент среди студентов соответствующих направлений подготовки, предлагая обучающимся использовать LLM для выполнения дипломной работы. Автор, анализируя успешные, на его взгляд, результаты эксперимента, замечает, что ИИ позволяет значительно повысить скорость написания текста. Как следствие, будущие специалисты смогут больше времени уделить творчеству и научно-исследовательской работе.

Г. Ивэнь изучает потенциал использования LLM для объективной оценки медиаконтекста в процессе обучения студентов-филологов [31]. По выводам А. Окела, ИИ производит революцию в цифровой филологии, требуя переоценки содержания филологического образования [32]. Автор рекомендует выполнить обновление учебных программ, повысить качество работы (подразумевая программы повышения квалификации) самих преподавателей. Только с учетом этих двух факторов, по мнению ученого, возможна эффективная интеграция ИИ в обучение высококвалифицированных филологов. Под руководством Дж. Папп спроектирована схема интеграции методов LLM в адаптивные обучающие системы, что способствует персонализации и дифференциации [33]. М. Мациола, Г. Лаппас, А. Яннакопулу заключают, что развитие ИИ связано с увеличением популярности сервисов, предназначенных для генерации текста, изображений, аудиовизуального контента [34]. Эти инструменты, обладающие высоким уровнем креативности, все активнее находят применение в таких сферах, как искусство, образование и наука. Тем не менее, как настаивают авторы, применение генеративных сервисов в высшем образовании сопряжено с рядом противоречий, например риском генерации фальшивых новостей и распространения дезинформации. Авторы представляют анализ мнений студентов относительно использования инструментов генеративного ИИ в рамках университетских курсов. Ученые подчеркивают необходимость сбалансированного подхода к использованию возможностей ИИ в филологии и лингвистике.

Итак, анализ литературы позволяет заключить, что, с одной стороны, ИИ может быстро и эффективно обрабатывать большие объемы данных и генерировать тексты. При этом значительно повышается продуктивность и эффективность специалистов в области филологии. С другой стороны, алгоритмам машинного обучения все ещё недостает глубины анализа и формулирования оригинальных идей, которые способен предоставить опытный филолог. Кроме того, существуют нормативно-этические, методические трудности применения чат-ботов на основе LLM в обучении будущих цифровых филологов.

Материалы и методы / Materials and methods

В исследовании применяется сервис LMSYS Chatbot Arena (по данным на декабрь 2025 года активная ссылка – https://chat.lmsys.org/, с февраля 2026 года сайт перемещен по адресу https://arena.ai/ru). Это краудсорсинговая открытая платформа для оценки LLM. Ресурс может обеспечивать только ограниченные меры безопасности. Сервис собирает данные о диалогах пользователей, включая как текст, так и изображения, и оставляет за собой право их распространять по нормам лицензии.

База опытно-экспериментальной работы (далее – ОЭР) – Белгородский государственный национальный исследовательский университет (г. Белгород, Российская Федерация). В эксперименте задействовано 112 студентов Института межкультурной коммуникации и международных отношений, обучающихся по программе подготовки 45.03.01 Филология (профили: Отечественная филология; Русский язык как иностранный). Средний возраст студентов – 21 год (65% – девушки, 35% – молодые люди). Информационное взаимодействие будущих филологов с чат-ботами на основе LLM реализовано при изучении дисциплины «Информатика и информационные технологии». Материалы фонда оценочных средств, составленные авторами, согласно требованиям вуза и содержанию рабочей программы дисциплины, – база для распределения респондентов по контрольной и экспериментальным группам. В тесте – 60 вопросов (30 вопросов открытого и 30 вопросов закрытого типа). Количество вопросов определялось согласно индикаторам (формируемым профессиональным компетенциям по дисциплине). Правильный ответ на вопрос открытого типа оценивался в 2 балла. На вопрос закрытого типа – 1 балл. По результатам контрольного теста студенты могли набрать от 0 до 90 баллов. Уровни профессиональной подготовки: «низкий» (от 0 до 39 баллов), «средний» (от 40 до 79 баллов), «высокий» (от 80 до 90 баллов). Были сформированы контрольная и экспериментальная группы. В каждой из них по 56 будущих цифровых филологов. При статистической обработке данных использован критерий χ2 Пирсона (онлайн-калькулятор – https://medstatistic.ru/calculators/calchit.html). Ограничения и условия критерия выполняются: объем выборки больше 30 респондентов, пересечения в них отсутствуют, сумма респондентов по каждой группе совпадает с общим числом студентов по направлению подготовки.

Результаты исследования / Research results

Уточнение основных понятий

Цифровой филолог (в представленном исследовании) – это специалист, который обладает комплексом междисциплинарных навыков, знает несколько иностранных языков, понимает принципы психолингвистики, риторики и межкультурного общения. Кроме того, такой профессионал владеет навыками программирования и разработки цифровых информационных ресурсов дидактического назначения.

LLM – большая языковая модель, позволяющая получать новые сочетания текстов, имитирующие естественный язык на основе своих обучающих данных.

На начальном этапе работы с сервисом LMSYS Chatbot Arena пользователь сразу получает сообщение о том, что сервис находится на стадии предварительного исследования. Ресурс может обеспечивать только ограниченные меры безопасности. Платформу не следует применять в каких-либо незаконных, вредных, насильственных целях. Разработчики предупреждают: не загружайте персональную информацию. Сервис собирает данные о диалогах пользователей, включая как текст, так и изображения, и оставляет за собой право их распространять по нормам лицензии.

Промпт – это запрос к нейросети для получения желаемого текстового сообщения или картинки. Четко сформулированный промпт – гарант адекватного ответа от нейросети.

В рамках лекционных занятиях дисциплины студенты изучали теоретические основы современных информационных технологий, инструментарий ИТ (текстовые документы, электронные таблицы, средства визуализации, специализированные программные системы). На изучение дисциплины отведено 16 лекционных и 32 практических часа. Далее студенты рассматривали примеры популярных LLM: серия GPT (Generative Pre-trained Transformer), Gemini, Claude, Mistral. Будущие филологи оценивали спектр применения LLM в реальном мире: виртуальные помощники и диалоговые агенты; помощь в написании текстов и создании контента; перевод текстов. Например, участниками информационного взаимодействия было выявлено, что такие сервисы, как Google Translate и DeepL, используют LLM для перевода, который учитывает не только отдельные слова, но и контекст и смысл предложений. Благодаря этому переводы становятся более естественными и точными, особенно при работе с идиомами или специфическими для определенной культуры выражениями, с которыми старые методы перевода справлялись не очень хорошо.

Участниками ОЭР были выявлены преимущества и ограничения включения чат-ботов в будущую трудовую деятельность. Вариант информационного взаимодействия: «Приведите примеры того, как виртуальные помощники (например, Siri, Alexa и Google Assistant) используют LLM для понимания и обработки голосовых команд, чтобы управлять напоминаниями и умными устройствами». Далее обсуждались проблемы этики, сохранения конфиденциальности и оценки достоверности информации, получаемой пользователем по запросу от чат-бота.

Организация работы цифровых филологов по применению чат-ботов на основе LLM

Участники информационного взаимодействия работали с чат-ботом на основе LLM. Целью предлагаемого варианта деятельности цифровых филологов экспериментальной группы является:

‒     получение знаний о работе с «умными» чат-ботами;

‒     приобретение навыков формулирования «правильных» промптов для получения необходимой (достоверной, полной) информации;

‒     получение опыта написания научной и проектной работы.

Далее опишем пошагово логику информационной деятельности цифровых филологов в среде ресурса LMSYS Chatbot Arena.

Шаг 1. При открытии стартовой страницы студентам предлагалось ознакомиться с предупреждением по работе с ресурсом. Обучающиеся были предупреждены, что, нажимая на кнопку «Закрыть», они соглашались со следующими условиями:

1) сервис представляет собой предварительную исследовательскую версию. Он обеспечивает лишь ограниченные меры безопасности и может создавать оскорбительный контент. Его нельзя использовать в каких-либо незаконных, вредных, насильственных, расистских или сексуальных целях;

2) служба собирает данные диалогов пользователей, включая текст и изображения, и оставляет за собой право распространять их по лицензии Creative Commons Attribution (CC-BY) или аналогичной лицензии. Поэтому не следует загружать личную информацию.

Студенты-филологи определяли, что на странице ресурса располагаются следующие вкладки: Arena (battle), Arena (side-by-side), Direct Chat, Leaderboard и About Us. На вкладке Arena (battle) можно анонимно пообщаться с двумя любыми моделями из 48 предложенных. Можно отдать голос модели, которая дала самый подходящий (по мнению пользователя) ответ. Не обязательно ставить оценку после ответа на первую реплику. Можно продолжить диалог и сделать вывод по нескольким ответам. На вкладке Arena (side-by-side) можно выбрать собеседников (две конкретные модели из 48 предложенных). Здесь также можно отдать голос понравившейся модели. На вкладке Direct Chat можно пообщаться с одной выбранной сетью. На вкладке Leaderboard представлен рейтинг моделей, подробно о сервисе можно узнать на вкладке About Us.

Методическая рекомендация 1. Если пользователь не может сразу определиться с выбором модели, то он может выбрать первую вкладку, чтобы одновременно поработать сразу с двумя моделями.

Взаимодействие с моделью реализуется следующим образом: необходимо набрать промпт в окно ввода текста и нажать Enter. Следует дождаться ответа от собеседника (или сразу двух собеседников).

Диалог можно продолжать до тех пор, пока пользователь не поймет, что ответ его устраивает. После первого ответа на первой и второй вкладках появится возможность оценить работу моделей.

Методическая рекомендация 2. Если вам не нравится ответ, его можно сгенерировать заново (Regenerate). Если хотите поменять модели, начните новый раунд (New Round). На второй вкладке модель можно выбрать вручную. Один и тот же запрос (промпт) можно задавать разным моделям.

Шаг 2. Выполнение заданий, при выполнении которых студенты-филологи экспериментальной группы изучали принципы работы сервиса и учились формулировать пропты.

Задание 1. Сформулируйте промпт для объяснения понятий, названий, конкретных фраз. Методическая рекомендация 3: их подбор ведется каждым цифровым филологом с учетом личных потребностей и интересов.

1.1. Например, «искусственный нейрон». Промпт можно сформулировать так: «Объясни, пожалуйста, понятие искусственный нейрон». Продолжите диалог и задайте следующий вопрос, например: «Что такое обучение нейронной сети? Как это обучение происходит?» Проголосуйте за модель, чье объяснение вам больше понравилось.

1.2. Название салата. Один из студентов сделал запрос «селедка под шубой». Промпт был сформулирован так: «Что такое селедка под шубой? Какое отношение к ней имеют русские люди?» В продолжение диалога наставник посоветовал задать следующий вопрос, например: «Какие еще народы готовят селедку под шубой?» Далее: «Подскажите, пожалуйста, чем можно заменить селедку в этом салате?» Далее: «Я не ем майонез. Чем мне пропитывать слои в этом салате?» Студент далее самостоятельно продолжал этот диалог.

1.3. Фраза «Да нет, наверное». Промпт можно сформулировать так: «Здравствуйте, как понять фразу “Да нет, наверное”?». Продолжите диалог самостоятельно.

1.4. Фраза «Устаревшие слова». Промпт можно сформулировать так: «Какое значение в русском языке означает слово “вестимо”?» Далее: «Какое значение в русском языке означает слово “баско”?»

1.5. Фраза «Скороговорки». Промпт можно сформулировать так: «Карл у Клары украл кораллы, а Клара у Карла украла кларнет. Что у Клары украл Карл?» В отчет по работе студент вставлял скрин наиболее понравившегося диалога.

Задание 2. В известном художественном произведении будущему филологу необходимо было выделить сущности.

2.1. Сущность «Основные мысли автора в произведении». Промпт у одного из студентов был сформулирован так: «Выделите три основные мысли в романе “О дивный новый мир” автора Олдоса Хаксли. В ответе должно быть не менее 100 слов».

2.2. Сущность «Ход событий в произведении». Промпт у одного из филологов был сформулирован так: «Перечислите основные события, которые происходят в романе “О дивный новый мир” автора Олдоса Хаксли, в хронологической последовательности. В ответе должно быть не менее 100 слов».

2.3. Сущность «Основные герои и их отношения в произведении». Промпт у одного из цифровых филологов был сформулирован так: «Расскажи об основных героях романа “О дивный новый мир” автора Олдоса Хаксли и их характерах. Опиши отношения между героями романа. В ответе должно быть не менее 100 слов».

2.4. Сущность «Отзыв на произведение». Промпт у одного из участников ОЭР был сформулирован так: «Как литературный критик напиши, пожалуйста, негативный отзыв на роман “О дивный новый мир” автора Олдоса Хаксли. В ответе должно быть не менее 100 слов».

2.5. Сущность «Цитаты из произведения». Промпт у одного из цифровых филологов был сформулирован так: «Приведи семь знаменитых цитат из романа “О дивный новый мир” автора Олдоса Хаксли». В отчет по работе студент вставлял скрин наиболее понравившегося диалога.

Шаг 3. Самостоятельный подбор сущностей для взаимодействия с учетом специфики подготовки, например филология, библиография, корпус, литературоведение, база данных, т. е. многие исследуемые термины – это понятия из вопросов контрольного тестирования.

Шаг 4. Осмысление полученных навыков информационного взаимодействия с сервисом. Здесь было предложено участникам самостоятельно написать эссе на тему «Обращение к первокурснику» о дисциплине «Информатика и информационные технологии», своем отношении к ней, своих впечатлениях о ее преподавании, советах и рекомендациях по изучению этой дисциплины (минимум 1000 знаков). В эссе обязательно использовать не менее 10 из предложенных фраз и словосочетаний: научное исследование, публикация, библиография, неосторожное использование, разумный подход, многочисленные проблемы, и это здорово, к изумлению, большой корабль, настоящее приключение, роль огромна, значительные изменения, эффективность, что за чудеса такие, широкие возможности.

Следующий вариант работы: написать эссе при помощи LMSYS Chatbot Arena. Материал для обсуждения: какие эссе вам понравились больше? Ответы какой нейросети?

Шаг 5. Применение сервиса LMSYS Chatbot Arena (https://chat.lmsys.org/) при написании курсовой работы. При выполнении заданий студенты опирались на тему их курсовой работы (или направление научного исследования).

Задание 1. Сформулировать цель и задачи, а также обосновать актуальность исследования.

1.1. Попросите нейросеть сформулировать цель и задачи по направлению вашего исследования в рамках курсовой работы. Промпт можно сформулировать так: «Я пишу курсовую работу по теме “Название темы”. Сформулируй в научном стиле цель и задачи работы». Далее можно уточнить какие-то пункты в списке задач.

1.2. Попросите нейросеть обосновать актуальность вашей научной работы. Сформулируйте промпт самостоятельно.

Методическая рекомендация 4. Для этого подробно опишите, для чего нужна актуальность, о чем в ней должно быть написано. Можно сделать несколько попыток, используя разные нейросети, чтобы добиться более подходящего результата.

Методическая рекомендация 5. Необходимо напомнить студентам-филологам следующий факт: после формулирования текста моделью его нужно обязательно подвергнуть сомнению, анализу, критике и новой формулировке. Обязательно проверить полученный текст на оригинальность.

Задание 2. Определить ключевые слова.

2.1. Выясните, какой объем текста можно записать в промпт. Можно ли, например, отправить пять страниц формата A4?

2.2. Отправьте небольшой кусок текста (начните с одной страницы) и попросите выделить в тексте несколько ключевых слов.

Методическая рекомендация 6. Если запрос пройдет, то увеличьте объем текста. В противном случае попробуйте «обмануть систему», добавляя текст последовательно. При этом просите модель добавить новую порцию информации к предыдущей.

2.3. Отправьте в качестве промпта фрагмент текста по теме вашего исследования и попросите нейросеть выделить ключевые слова. Меняя нейросети или прося переформулировать, добейтесь качественного результата. Вставьте в отчет скрин результата выполненного задания.

Задание 3. Выводы и заключение. Аналогичным образом отправьте небольшой кусок текста по теме вашего исследования (начните с одной страницы) и попросите нейросеть сделать выводы, написать заключение. Вставьте в отчет скрин результата выполненного задания.

Цифровые филологи контрольной группы к целенаправленному применению ресурсов сервиса LMSYS Chatbot Arena на привлекались. Например, работали с конструктором в Boris Bot. Примерная задача: «Рассказать студентам первого курса об условиях правильной коммуникации». Возможный план работы: составить текст для сообщения, продумать список вопросов и ответов, спроектировать разные варианты развития беседы, подобрать иллюстрации.

Шаг 6. Написать 2–3 рекомендации для друга/коллеги (того, кто еще только начинает изучать и применять сервисы ИИ) и оформить их в цифровом виде.

Описание опытно-экспериментальной работы

На первом этапе выполнен анализ литературы, опыта включения генеративного ИИ и чат-ботов на основе LLM в деятельность филологов. Выявлено, что чат-боты на основе LLM – важные составляющие индустрии ИИ. Проанализированы положения федерального стандарта по направлению подготовки. Выделены индикаторы оценки уровня профессиональной подготовки согласно рабочей программе дисциплины, и составлено 30 вопросов для контроля (до и после эксперимента), т. е. на три индикатора из рабочей программы по 10 вопросов закрытого и открытого типа.

1-й индикатор: для постановки и при решении учебных и профессиональных задач умеет применять актуальные информационные технологии и цифровые сервисы. Пример вопроса открытого типа: «Напишите о функциональных возможностях одного из известных вам сервисов для создания сайтов (конструкторов сайтов)».

Пример вопроса закрытого типа: «Какой символ нужно использовать в поисковом запросе, чтобы исключить из результатов поиска страницы, содержащие нежелательные слова? Варианты ответов: кавычки, плюс, минус, знак вопроса, звездочка».

2-й индикатор: критически исследует информацию, адаптируя ее к поставленным целям. Пример вопроса открытого типа: «Перечислите известные вам сервисы для обмена сообщениями. Представьте их классификацию в виде ментальной карты».

Пример вопроса закрытого типа: «К техническим средствам, обеспечивающим информационную безопасность, относится: система считывания биометрических данных, система контроля качества информационных продуктов, сетевая операционная система, акустическая система».

3-й индикатор: формирует содержательное решение задачи путем осмысленного синтеза ключевой информации о ее составляющих.

Пример вопроса открытого типа: «Назовите виды словарей по назначению и адресату словаря».

Пример вопроса закрытого типа: «Как называется словарь, в котором представлена лексика всех территорий России? Варианты ответов: Словарь русских народных говоров, Толковый словарь русских говоров, Областной словарь полного типа, Русский областной сводный словарь».

Правильный ответ на вопрос открытого типа оценивался в 2 балла. На вопрос закрытого типа – 1 балл. По результатам авторского теста были определены уровни подготовки будущих цифровых филологов. Сформированы контрольная и экспериментальная группы.

Высокий уровень: студенты полностью подготовлены к деятельности по использованию чат-ботов на основе LLM для решения учебных и профессиональных задач в соответствии с вызовами филологии. Они безошибочно используют ресурсы цифровых технологий при сборе и анализе информационных фактов, интерпретации результатов, проектировании образовательных мероприятий. Обучающиеся вносят элемент творчества при выполнении заданий.

Средний уровень: подготовленность студентов к самостоятельной деятельности по использованию чат-ботов на основе LLM для решения учебных и профессиональных задач в соответствии с вызовами филологии носит устойчивый характер. В стандартных ситуациях они успешно применяют ресурсы цифровых технологий для сбора и анализа информационных фактов, интерпретации результатов запросов, разработки образовательных проектов.

Низкий уровень: студенты мало подготовлены к самостоятельной деятельности по использованию чат-ботов на основе LLM для решения учебных и профессиональных задач в соответствии с вызовами филологии. Они нуждаются в интенсивной поддержке наставника (руководителя) на этапе применения ресурсов цифровых технологий для сбора и анализа информационных фактов, интерпретации результатов запросов, продумывания сценариев для образовательных проектов.

Далее было уточнено место работы с чат-ботами на основе LLM в структуре дисциплины.

На втором этапе исследования студенты изучали материалы дисциплины и применяли LLM для решения учебных и профессиональных задач. После информационного взаимодействия с чат-ботами на основе LLM вновь проводилось контрольное тестирование и повторно определялись уровни профессиональной подготовки цифровых филологов.

На третьем этапе исследования были определены факторы, влияющие на качество применения чат-ботов на основе LLM для повышения качества подготовки обучающихся.

В таблице представлены результаты анализа уровней подготовки студентов-филологов.

Уровень подготовки студентов-филологов

Были приняты гипотезы: Н0: уровень подготовки в экспериментальной группе статистически равен уровню в контрольной; H1: уровень в экспериментальной группе выше уровня контрольной группы. Для α = 0,05, χ2крит равно 5.991. Определено, что χ2набл.1 < χ2крит (0.047 < 5.991), а χ2набл.2 > χ2крит (6.650>5.991). Следовательно, изменения уровня профессиональной подготовки не являются случайными.

Сравнение результатов показывает, что обучение с использованием чат-ботов на основе LLM обеспечивает персонализированный и эффективный опыт информационного взаимодействия, способствующий повышению качества подготовки студентов-филологов. В отличие от простых алгоритмов, которые опираются на заранее заданные сценарии, LLM могут анализировать сложные запросы пользователей, учитывать тональность и даже предыдущие сообщения в диалоге.

Заключение / Conclusion

Итак, применение чат-ботов на основе LLM в обучении будущих цифровых филологов можно рассматривать как дополнительный ресурс для повышения качества их подготовки. В исследовании описана деятельность студентов с чат-ботами на основе LLM, проводимая по следующему плану:

1-й этап. Изучение основных понятий, практических примеров вариантов применения инструментов ИИ в работе цифровых филологов.

2-й этап. Изучение интерфейса и возможностей LMSYS Chatbot Arena. Понимание правил (и прав) пользования сервисом.

3-й этап. Отработка навыков и понимание принципов формулирования промптов на простых (бытовых) примерах.

4-й этап. Применение чат-ботов на основе LLM при решении учебных и реальных профессиональных задач.

5-й этап. Формулирование правил/методических рекомендаций для другого пользователя, начинающего изучать возможности Chatbot Arena.

Участниками взаимодействия выделены следующие особенности применения чат-ботов на основе LLM в обучении будущих цифровых филологов: способность инструментов ИИ к более глубокому пониманию контекста филологического материала; генерация персонализированных ответов; поддержка многоязычности и межкультурной коммуникации; активизация познавательной деятельности студентов; разнообразие средств обучения; интенсификация обратной связи. Персонализация при обучении и познании поддерживается в представленном информационном взаимодействии следующим образом: при формулировании промптов студентами (или выборе изображения для запроса); при выборе модели из рейтинга на вкладках программного средства; при выборе ответа, предложенного моделями платформы; при написании эссе. Трудности организации диалогов студентов-филологов с чат-ботами на основе LLM: проблемы доступа к сети; разный уровень цифровой грамотности обучающихся; этические проблемы; настороженное отношение пользователей к новым технологическим решениям; необходимость времени на понимание принципов работы платформы; недостаточность понимания практических возможностей чат-ботов для решения задач филологии.

В качестве направлений развития и уточнения результатов, сформулированных в данном исследовании, можно предложить: добавление альтернативного программного решения для работы с чат-ботами на основе LLM; внесение изменений в оценку уровня подготовки цифровых филологов. Полученные результаты могут быть использованы для совершенствования подготовки студентов Института межкультурной коммуникации и международных отношений.