System for conducting entrance and final tests in English at a technical university

Введение / Introduction

В современной образовательной среде методы оценивания играют важнейшую роль в обеспечении качества учебного процесса, а их выбор напрямую влияет на успех обучения. Существующая система контроля, по мнению Е. И. Пассова, не только неэффективна, но и зачастую приносит больше вреда, чем пользы [1], что требует принципиально иного подхода к управлению учебным процессом, а не просто к контролю. Ш. А. Амонашвили [2] пишет, что традиционный подход в преподавании предполагает систематические опросы при проверке домашних заданий. К. А. Москаленко [3] отмечает, что в рамках традиционного подхода систематические опросы и проверка домашних заданий занимают большую часть урока. Полноценные опросы по проверке домашних заданий вытесняют другие виды деятельности. Очевидно, что для преодоления противоречий между современными требованиями и существующей практикой необходимы новые подходы к оцениванию.

П. Ур называет адекватность, валидность, открытость для преподавателя и одновременно некоторую «закрытость» для обучающихся важнейшими характеристиками эффективного контроля [4]. Е. И. Пассов, конкретизируя управление учебным процессом, включает в него последовательность этапов: контроль, самоконтроль, взаимоконтроль, наблюдение, учет, коррекция, оценка, самооценка, взаимооценка и, наконец, отметка [5], что способствует гуманизации контроля.

Среди различных подходов к оцениванию выделяют формирующее и суммативное. Формирующее оценивание, ориентированное на поддержку обучения в процессе, и суммативное, предназначенное для подведения итогов, взаимодополняют друг друга, помогая преподавателям и студентам отслеживать прогресс и достигать поставленных целей. Пол Блэк, один из основоположников этих подходов, иллюстрировал их различие на примере приготовления супа: повар, пробуя суп в процессе готовки, использует формирующее оценивание, определяя, какие ингредиенты необходимо добавить. Когда же суп подается гостю, который оценивает его вкус и принимает окончательное решение о качестве блюда, применяется суммативное оценивание [6]. Безусловно, метафора достаточно прямолинейна, но она создает образ гармоничного результата, содержащего множество ингредиентов в сбалансированном единстве. Такое отношение к процессу тестирования позволяет увидеть все ингредиенты, оценить их необходимость с точки зрения сообразности по отношению друг к другу.

Данноеисследование рассматривает уровень владения иностранным языком (далее – ИЯ) студентов технического вуза. При поступлении на технические специальности основное внимание уделяется профильным техническим предметам, поэтому уровень владения ИЯ у студентов, поступающих в технический вуз, достаточно низкий. В процессе обучения при небольшом количестве часов и непрофильности ИЯ владение им остается на низком уровне. В дальнейшем это является препятствием для успешного освоения технических дисциплин и дальнейшей профессиональной деятельности в сфере освоения специальности, осуществления международной коммуникации, знакомства с передовыми технологиями и изобретениями. Процесс обучения может стать более эффективным при создании системы преподавания на основе реальной картины знаний студентов. В техническом вузе существует проблема отсутствия систематической оценки динамики развития языковых компетенций как в начале, так и в течение обучения, что затрудняет понимание и корректировку образовательной траектории студентов.  В рамках существующей проблемы была сформулирована гипотеза: систематическое проведение входного и итогового тестирования по английскому языку позволяет получить объективную информацию о динамике развития языковых компетенций студентов технического вуза и выявить факторы, влияющие на эффективность обучения, что, в свою очередь, может служить основой для разработки рекомендаций по оптимизации образовательного процесса и повышению уровня владения английским языком у выпускников. Цель исследования – анализ системы преподавания английского языка в техническом вузе на основе результатов входного и итогового тестирования для выявления проблемных зон и разработки рекомендаций по совершенствованию образовательного процесса и выбора наиболее эффективных средств и метолов обучения. Для реализации цели были поставлены следующие задачи: провести анализ существующей системы оценки уровня владения английским языком в техническом вузе; адаптировать инструменты для проведения входного и итогового тестирования, соответствующие требованиям программы обучения; провести входное и итоговое тестирование студентов первого курса для определения их уровня владения английским языком и оценки приобретенных языковых компетенций; проанализировать и сравнить результаты входного и итогового тестирования для выявления динамики развития уровня владения английским языком; выявить факторы, оказывающие влияние на динамику развития языковых компетенций студентов; разработать рекомендации по совершенствованию образовательного процесса на основе результатов анализа. Очевидно, что процесс обучения может стать более эффективным при создании системы преподавания на основе реальной картины знаний студентов.

Обзор литературы / Literature review

В условиях современной образовательной среды, где качество обучения имеет первостепенное значение, важна эффективная и объективная оценка знаний и навыков учащихся. Системно организованное тестирование снижает стресс для учащихся и упрощает процесс проверки для педагогов. Лингводидактическая тестология предоставляет научно обоснованные инструменты для создания тестов, позволяющих объективно измерить уровень знаний, выявить сильные стороны и области для развития, а также систематизировать знания и выявить причины трудностей.

Слово «тест» (от английского test – «испытание», «эксперимент», «проверка», «проба») в методической литературе трактуется чрезвычайно широко. По словам В. С. Аванесова, под ним понимаются как простые контрольные работы, так и контрольно-тренировочные упражнения, а также собственно процесс контроля, а иногда все взятое вместе [7]. С точки зрения А. Н. Майорова, тестирование в широком смысле – это совокупность всех процедурных этапов, а именно: планирование, составление, апробация, обработка и интерпретация результатов первичного, предварительного теста (предтеста) [8]. Далее – перепланирование, оформление и подготовка спецификаций, инструкций окончательного теста. О. Г. Поляков рассматривает тестирование как формальный инструмент проверки знаний, указывая на проблемы его ограниченной способности оценивать комплексные языковые умения и творческие навыки учащихся [9]. Н. В. Рыбакова, в свою очередь, считает тесты эффективным средством контроля конкретных знаний и умений, акцентируя внимание на их стандартизированном характере и возможности объективного измерения учебных результатов [10]. В узком смысле устный контроль рассматривается Н. В. Елухиной как проверка правильности и точности речевых навыков, при этом подчеркивается, что тестирование должно учитывать коммуникативные аспекты языка [11]. И. А. Рапопорт анализирует тесты как инструмент измерения отдельных компонентов языковой компетенции, отмечая, что в узком понимании тесты часто ограничиваются проверкой знаний, не охватывая всех аспектов владения языком [12].

Таким образом, под тестом будем понимать «измерительную процедуру, направленную на выявление и измерение специфических проявлений языкового поведения, составляющих компоненты языковой компетенции». По мнению Л. Г. Денисовой и В. Н. Симкина, внешне это может быть выражено в специальной системе вопросов и заданий [13]. И. А. Цатурова выделяет тестовое задание как основную единицу теста. Тестовое задание, своего рода минимальная единица теста, предусматривает определенную вербальную или невербальную реакцию тестируемого [14]. Э. М. Муртазина рассматривает тесты как инструмент объективной оценки знаний учащихся, подчеркивая важность разработки адекватных тестовых заданий, которые отражают реальные компетенции и способствуют диагностике уровня владения материалом [15]. Позднее, совместно с коллегой Г. Г. Амировой, Э. М. Муртазина акцентирует внимание на методологических аспектах тестирования, обсуждая необходимость баланса между качеством тестов и их практической применимостью, а также важность учета психолого-педагогических факторов при создании тестовых форм [16]. Функциональная направленность контроля, включая тестирование, рассматривается А. П. Старковым как средство систематической проверки обученности. Автор подчеркивает, что тесты должны не только оценивать знания, но и способствовать развитию учебной деятельности и мотивации учащихся [17].

Таким образом, тест может использоваться для проведения как текущего, тематического, так и рубежного и итогового контроля, в значительной степени устраняя субъективизм в оценках и снижая время, затрачиваемое преподавателем на проверку заданий. Это позволяет нам говорить о таких функциях тестов, как контролирующая, диагностирующая, прогностическая, дифференцирующая и функция самоконтроля.

Стоит отметить, что основные теоретические и практические положения тестологии были разработаны для психологических тестов и позднее перенесены на педагогические тесты. Отличия педагогических тестов от психологических изложены И. А. Рапопортом и состоят в следующем: во-первых, с точки зрения сферы применения психологические тесты предназначены для выявления и измерения соответствующих свойств психики, в то время как педагогические применяются для измерения уровня усвоения конкретного учебного предмета (дисциплины), изучаемого в данном учебном заведении; во-вторых, стандартизация и разработка норм оценки результатов психологических тестов обычно осуществляются на основе кривой нормального распределения [18]. Это позволяет выделить педагогические тесты в отдельную группу, частным случаем которых являются лингводидактические тесты. Ученый соотносит лингводидактический тест с комплексом учебных заданий, которые: разработаны в соответствии с определенными требованиями; прошли предварительную проверку с целью выявления показателей качества; позволяют определить у тестируемых уровень их языковой (лингвистической) и речевой (коммуникативной) компетенций, результаты поддаются определенной оценке по заранее установленным критериям [19].

Неоднозначность понимания тестирования привела к разнообразным классификациям тестов. Так, входное тестирование с точки зрения отечественной лингводидактики можно отнести к тестам общего умения, позволяющим проверить уровень владения языком согласно деятельности, к которой готовит себя испытуемый, а итоговое тестирование – к тестам успешности или, как часто их называют, тестам учебных достижений. Э. А. Штульман пишет, что они позволяют педагогу оценить успешность овладения конкретными знаниями и даже отдельными разделами учебных дисциплин. Данный вид тестирования является более объективным показателем обученности, чем оценка [20].

А. Дэвис, в свою очередь, включает входной тест в более общую группу тестов возможностей (General Proficiency Tests). Итоговый тест является разновидностью тестов прогресса и достижений (Achievement Tests, Progress Tests), цель которых – определение уровня знаний, умений и навыков, приобретенных в процессе обучения за определенный период [21]. К нему предъявляются иные требования, нежели к тесту на определение уровня знаний языка: он не столько проверяет знания учеников, сколько дает преподавателю обратную связь об уровне усвоения материала и успешности применения выбранных методик. Важность определения знаний студентов отмечается многими исследователями. Т. Д. Рожина и О. С. Степанова отмечают проблему разноуровневых групп, где ориентация на «среднего» ученика приводит к потере мотивации у продвинутых и слабых обучающихся [22]. Это подчеркивает необходимость точного определения уровня владения языком для формирования гомогенных групп. В свою очередь С. А. Бейсханова и Н. А. Свич рассматривают уровневый подход как способ обеспечения прогресса студентов на соответствующем им уровне владения языком, где основная цель уровневого подхода в преподавании иностранному языку – стремление обеспечить условия, позволяющие студентам добиться прогресса на уровне, выявленном по результатам placement test [23]. Исследователи особо подчеркивают важность формирования групп на основе результатов входного тестирования для эффективного применения уровневого обучения.

С 2001 года, со времени первой публикации CEFR (Общеевропейских компетенций владения иностранным языком), многие языковые экзамены были пересмотрены или разработаны с ориентиром на этот многоаспектный документ [24]. Основываясь на его материалах, Ассоциация ALTE (Ассоциация европейских экзаменаторов языков) разработала единые стандарты тестирования с однозначным распределением компетенций по уровням владения языком [25]. Ассоциация EALTA (Европейская ассоциация лингвистического тестирования и оценки) также внесла значительный вклад в трансформирование системы тестирования иностранных языков как вторых или как иностранных [26]. Развивая многоуровневость и вариативность дескрипторов SEFR, С. Дж. Сиречи и М. Фолкнер-Бонд говорят об обеспечении валидности и учета особенностей в тестах и оценках для носителей английского как иностранного языка [27]. А. Н. Марина указывает на важные требования к информационным системам мониторинга качества обучения, включая соответствие конкретным группам пользователей, анализ результатов с использованием методов математической статистики и автоматизацию отчетности [28]. В рамках вопросов оценки качества образования и тестирования в высшей школе И. П. Твердохлебова отмечает возможность использования компетентностного подхода в оценке знаний студентов-лингвистов и предлагает критерии оценки различных видов учебной деятельности (письменной, устной, проектной). Особое внимание автор уделяет коммуникативно-направленному тестированию на уроках иностранного языка [29]. Опыт разработки системы оценивания уровня владения японским языком описан в работе Е. Г. Таревой, В. А. Федяниной и М. Н. Мизгулиной [30]. Отмечается, что разработанная система может использоваться как модель при оценивании уровня владения иностранным языком школьников при проведении школьных олимпиад по восточным языкам с иероглифической письменностью. Проблемы российской государственной системы тестирования заслуживают отдельного внимания. Л. Н. Некрасова отмечает необходимость актуализации методических материалов как для тестируемых, так и для тесторов, проводит анализ целесообразности введения дистанционного тестирования при проведении экзамена [31]. Л. Мими и A. Хэнс рассматривают тестирование в рамках анализа применения искусственного интеллекта в преподавании английского языка [32]. Тестирование, наряду с преподаванием, может проводиться с помощью нейросетей. Авторы обращают особое внимание на возможные риски и нежелательные последствия. А. Аль-Кади рассматривает современные подходы к тестированию с точки зрения глобальной доминанты вариантов английского языка (World Englishes) [33]. Учитывая вариативность глобального английского, автор указывает на необходимость разработки тестов с позиций определенного контекста для не носителей языка – именно в этом проявляется плюрицентричный подход к тестированию на современном этапе. Э. Г. Леон Абад, M. Гарсиа Виллао и соавт., анализируя кейс-стади по тестированию студентов в процессе подготовки к итоговому сертификационном экзамену [34], рассматривали как традиционные факторы знания английского, так и психологическое состояние студентов: умение работать с тестовыми материалами, тревожность. В результате целенаправленной работы преподавателей по подготовке студентов к тестированию фокус внимания студентов сместился с тревожности на тренировку знаний и определенных элементов содержания теста. К. Динушика и М. Джаятисса, в свою очередь, рассматривают отношение преподавателей к тестированию [35]. Преподаватели при подготовке обучающихся к финальному тестированию большое внимание уделяют текущему состоянию знаний. Именно такой подход, по мнению авторов исследования, позволяет максимально персонализированно подготовить обучающихся к финальному тестированию.

С появлением искусственного интеллекта (далее – ИИ) его использование в оценке знаний становится все более актуальным. Де Сантис и соавт. проводят обзор исследований, посвященных применению ИИ в стандартизированном тестировании, в котором делают вывод о разноплановых вариантах ИИ тестирования: системное тестирование, выставление оценок, создание элементов тестирования, валидность ИИ‑тестов. Из всего набора современных вариантов наиболее востребованными и частотными являются системное тестирование и оценивание. При этом отмечается недостаточное внимание к возможностям ИИ в генерации тестовых заданий [36]. Исследования, связанные с автоматизацией оценки качества обучения английскому языку, также актуальны в современном образовательном пространстве. В. В. Ерохин рассматривает общую тенденцию к автоматизации мониторинга успеваемости студентов в вузах [37]. По мнению Б. Ю. Беляковского, Н. Г. Витковской, З. А. Усмановой, использование информационной системы мониторинга оценки качества обучения английскому языку является актуальной проблемой современного образования [38]. Б. Ю. Беляковский, Н. Г. Витковская, З. А. Усманова в своей статье ставили целью определение концептуальных положений информационной системы мониторинга оценки качества обучения английскому языку. Под мониторингом оценки качества обучения при обучении английскому языку авторы понимали наблюдение и анализ процесса обучения английскому языку, предусматривающего оценку полученных промежуточных результатов для принятия и реализации необходимого управленческого решения по коррекции процесса обучения. Главным требованием к информационной системе является обеспечение эффективного наблюдения и анализа процесса обучения английскому языку, а также оценивание результатов учебной деятельности администрацией, научно-педагогическими работниками вуза для содействия принятию управленческого решения по регулированию и коррекции образовательного процесса. Использование онлайн-тестирования в информационной системе позволяет зафиксировать и сравнить результаты определенных пользователей; обработать имеющиеся входные данные (например, результаты тестирования) и получить необходимые выходные данные, которые будут способствовать мониторингу организации и осуществления процесса обучения английскому языку. Также использование онлайн-тестирования в информационной системе позволяет преподавателю значительно сократить затраты времени на осуществление контроля и лишить его трудоемкой работы при обработке результатов тестирования. Опыт внедрения системы компьютерного тестирования знаний в Ростовском государственном строительном университете описан в статье В. В. Мисюры: дается описание методики проведения тестирования, характеристика созданного банка заданий, предпринимается попытка решения технологических и организационных вопросов [39].

Таким образом, основной целью функционирования информационной системы является автоматизация информационных процессов данных, характеризующих процесс обучения английскому языку, и содействие в принятии управленческого решения по организации, регулированию и коррекции учебной деятельности. Основные международные онлайн-тесты могут обеспечивать результаты тестирования для объективной оценки уровня владения английским языком студентов вуза. Они являются удобным инструментом в процессах преподавания английского языка и обучения, поскольку обеспечивают: преподавателю – удобную быструю проверку уровня владения студентом английским языком, возможность пересмотреть типичные ошибки и обсудить их со студентами для корректировки их дальнейшего плана обучения, повысить уровень преподавания английского языка благодаря использованию онлайн тестов; студенту – возможности непрерывного обучения английскому языку и постоянного повышения своего уровня владения языком для получения в дальнейшем необходимого сертификата.

Итак, современные исследования отмечают возможности автоматизации тестирования в сравнении данных промежуточного и итогового тестирования для целостной оценки результативности обучения английскому языку. Автоматизация оценки качества обучения английскому языку с использованием информационных систем является актуальным и необходимым направлением в современном образовании. Такие системы позволяют автоматизировать анализ результатов тестирования, предоставлять студентам обратную связь и отслеживать прогресс, что в конечном итоге способствует повышению результативности обучения. Общая тенденция автоматизации мониторинга успеваемости в вузах подтверждает значимость разработки и внедрения таких систем.

Материалы и методы / Materials and methods

Методологической основой исследования является анализ результатов проведения входного и итогового тестирования студентов I курса кафедры «Иностранный язык» Российского университета транспорта (РУТ (МИИТ). В рамках цели исследования по оценке динамики развития уровня владения английским языком студентов технического вуза на основе результатов входного и итогового тестирования были использованы следующие методы исследования.

– Анализ документации, включающий изучение рабочей программы «Моноязык», разработанной на кафедре «Иностранный язык» РУТ (МИИТ), методических материалов по проведению тестирования, отчетной документации преподавателей.

– Организация и проведение входного и итогового тестирования студентов I курса бакалавриата. Использовались следующие инструменты тестирования: письменный тест  “Oxford University Press and University of Cambridge Local Examinations Syndicate: Quick Placement Test Version 1, Version 2” (в электронном виде); устный тест (входное тестирование) “Oral Placement Test”, представляющий собой беседу преподавателя со студентом с последующей оценкой ответов по шкале от 1 до 5 баллов. Статистический анализ включал обработку и анализ результатов тестирования для определения уровня владения языком студентов на входе и на выходе, а также для отслеживания динамики развития языковых компетенций. Сравнительный анализ позволил сравнить результаты двух лет тестирования входного и итогового этапов для оценки эффективности применяемого формата тестирования и определения зон роста студентов.

Процедура исследования состояла из нескольких этапов.

1. Подготовительный этап. Ознакомление с программой «Моноязык», разработка и утверждение графика проведения тестирования, информирование студентов о целях, задачах и процедуре тестирования.

2. Проведение входного тестирования: письменный тест (электронный формат) и устный тест (индивидуальная беседа с преподавателем).

3. Распределение студентов по группам на основе результатов входного тестирования в соответствии с уровнем владения языком по системе CEFR.

4. Проведение итогового тестирования: письменный тест (электронный формат).

5. Сбор и анализ данных: обработка результатов тестирования, анализ динамики развития уровня владения языком, оценка эффективности используемых методов и инструментов тестирования.

6. Интерпретация результатов: формулирование выводов и рекомендаций по совершенствованию методики преподавания и учебных материалов.

Использование стандартизированных тестов (Quick Placement Test, Oral Placement Test) было важной частью обеспечения надежности тестирования. Как было указано выше, General Proficiency Tests является тестом возможностей [40], определяя стартовый уровень дальнейшего развития. Для преподавания ИЯ в вузе этот тип теста позволяет решить множество проблем, от разделения студентов на группы с близким уровнем знания языка до выбора соответствующих учебных материалов. Более того, обучение в группе с близким уровнем знания языка снимает стрессовость ситуаций, повышает мотивацию студентов, облегчает работу преподавателя, стабилизирует психологический климат в процессе обучения. Итоговый (Achievement) тест, являясь разновидностью тестов прогресса и достижений, дает возможность определения уровня знаний, умений и навыков, приобретенных в процессе обучения за определенный период. Этот тип теста дает обратную связь преподавателю в рамках усвоения материала, применения методик, обучения по определенным пособиям. Для студентов более важен не сам результат итогового теста, а именно сравнение с начальным этапом, динамика роста или потеря уровня, недостаточность или, наоборот, эффективность занятий. Для преподавателей кафедры ИЯ были важны оба эти фактора. Студенты могли сравнить свои результаты, преподаватели – проанализировать общую картину работы с определенным уровнем студентов и использования учебных пособий. Табл. 1 отражает факторы обеспечения валидности и надежности исследования.

Основным ресурсом для письменного варианта входного и итогового тестирования выступает Oxford University Press and University of Cambridge Local Examinations Syndicate: Quick Placement Test Version 1, Version 2, оформленный в электронном виде, что позволяет сразу по завершении тестирования перевести полученные студентом баллы в уровень согласно шкале данного теста. Тем не менее необходимо отметить, что этот тест рассчитан на проверку знаний общего английского и не дает возможности проанализировать уровень знаний в сфере технического английского какой-либо специальности English for Specific Purposes (ESP).

Таблица 1

Основные характеристики входного и итогового тестирования

В качестве устного теста в рамках входного тестирования используется аутентичный Oral Placement Test, который представляет собой беседу преподавателя со студентом по темам, распределенным на уровни владения языком, и оценку ответов студента по шкале от 1 до 5 баллов. По окончании процедуры опроса преподаватель фиксирует итоговый уровень владения языком по системе CEFR каждого студента в группе. Четкое определение критериев оценки устного теста, который проводился по заданной структуре с некоторыми формами адаптации в соответствии с социокультурными особенностями, позволило скорректировать результаты письменного теста. Для многих студентов устное тестирование стало испытанием, привело их в замешательство, но позволило при этом оценить реальный уровень знания языка во всей его полноте. Таким образом, организация тестирования проводится с использованием электронных инструментов для автоматической оценки результатов письменного теста, является стандартизированной процедурой проведения тестирования для всех студентов, что обеспечивает контроль за соблюдением процедуры тестирования преподавателями.

Входное и итоговое тестирование осуществляется преподавателями кафедры «Иностранный язык», за которыми закреплена данная дисциплина в индивидуальном плане. Преподаватель обязан довести до сведения обучающихся информацию о целях и задачах тестирования, процедуре проведения тестирования, содержании и видах работ.  Мероприятия по входному и итоговому тестированию могут проводиться:

– с использованием инструментов электронного обучения, дистанционных образовательных технологий в электронной информационно-образовательной системе университета как во время контактной работы с преподавателем, так и во время самостоятельной работы обучающихся, в том числе и с автоматической оценкой результатов (письменное тестирование);

– во время контактной работы с преподавателем в соответствии с расписанием занятий в присутствии преподавателя (устное тестирование).

Результаты тестирования отражаются в отчетных документах преподавателя (бланк устного тестирования – приложение 1, распределение студентов по уровням – приложение 2). При использовании тестовых инструментов электронной образовательной среды результаты тестирования студентов оцениваются автоматически и документально подтверждаются данными в таблице Excel, которая хранится в электронном виде на почте тестирования. Тестирование студентов проводится ежегодно по фиксированному расписанию. Входное тестирование – 1-я неделя каждого учебного года (письменный тест), 2-я неделя – устное тестирование, 3-я неделя резервная. Итоговое тестирование – 20–25 мая каждого учебного года (письменный тест). В 2023/2024 учебном году было проведено тестирование студентов для определения их уровня владения английским языком. В сентябре 2024 года было проведено входное, в мае 2025 года – итоговое.

Результаты исследования / Research results

Целью тестирования являлось определение исходного уровня знания английского языка и измерение результатов после двух семестров обучения для исследования эффективности материалов нового учебного пособия “Maximum”, в основу которого был положен принцип использования адаптированных аутентичных материалов и основанных на них упражнений. Представленные результаты тестирования позволяют оценить процесс изменения уровня владения английским языком на протяжении учебного года, а также сделать выводы об эффективности применяемых методик и материалов преподавания.

Таблица 2

Результаты входного и итогового тестирования студентов
в 2023/2024 учебном году (сентябрь и май)

Общая динамика тестирования в 2023/2024 году в табл. 2 характеризуется тем, что количество протестированных студентов уменьшилось с 3181 в начале года до 2548 в конце, то есть на 633 человека меньше (20% студентов). Это связано с различными факторами, такими как отсев студентов, переводы на другие направления обучения или неявка на итоговое тестирование. Это можно учитывать при интерпретации результатов, но в нашем исследовании важна прежде всего динамика распределения между уровнями. Если рассматривать результаты с этой точки зрения, то наблюдается значительное перемещение студентов между уровнями в направлении их повышения, что свидетельствует об активном процессе обучения. Динамика по уровням представлена посредством круговых диаграмм на рис. 1 и 2 и столбчатой диаграммы на рис. 3. В процессе обучения удалось повысить уровень студентов уровня А0, о чем свидетельствует отсутствие студентов с начальным уровнем (A0) к концу учебного года. Все студенты, поступившие с этим уровнем, продвинулись далее, что является положительным результатом. Количество студентов с уровнем A1 значительно сократилось (с 11,1% до 1,7%). Это указывает на то, что большинство студентов с базовым уровнем смогло перейти на более высокие ступени. Также наблюдается значительное снижение доли студентов с уровнем A2 (с 59,01% до 14,9%). Это свидетельствует об успешном продвижении значительной части студентов среднего уровня на более высокие уровни владения языком. Уровень B1 показал небольшой рост в количестве студентов (с 21,75% до 23,8%). Это может указывать на то, что данный уровень является «переходным», и студентам требуется больше времени для его освоения и перехода на следующий уровень. Зафиксирован существенный рост числа студентов с уровнем B2 (с 5,94% до 21,6%) и C1 (с 2% до 24%). Это является ключевым показателем эффективности обучения, поскольку демонстрирует значительное повышение уровня владения языком у значительной части студентов. Почти четверть студентов в конце учебного года продемонстрировала профессиональный уровень владения языком. Четырнадцать процентов студентов (14) к концу года смогли освоить язык на уровне, близком к носителю. Необходимо учесть, что в формате этого теста оценивается уровень знаний грамматики, лексики, скорость восприятия текстов и их понимания. Стандартизированный письменный тест этого формата не оценивает аудирование, письмо и говорение.

Рис. 3. Сравнительная диаграмма уровней английского языка студентов РУТ в 2023/2024 учебном году

(сентябрь и май)

Таблица 3

Результаты входного и итогового тестирования студентов
в 2024/2025 учебном году (сентябрь и май)

В 2024/2025 учебном году тестирование студентов на определение их уровня владения языком было проведено второй год подряд без изменений заданий тестирования. Помимо основной цели тестирования – исследование эффективности материалов нового учебного пособия “Maximum”, в основу которого был положен принцип использования адаптированных аутентичных материалов и основанных на них упражнений, ежегодное тестирование позволяет выделить динамику изменения входного и итогового уровней студентов на протяжении нескольких лет, проанализировать незаметные за один год тестирования данные и скорректировать методику преподавания и учебные материалы на их основе.

Табл. 3 и диаграмма на рис. 4 демонстрируют результаты тестирования, проведенного в 2024/2025 учебном году, где также наблюдается общая динамика уменьшения количества протестированных студентов с 2412 в начале года до 2175 в конце, то есть на 237 человек меньше (9,8 % студентов) по аналогичным прошлому году причинам (отчисление студентов, переводы на другие направления обучения или неявка на итоговое тестирование). Как и в 2023/2024 учебном году, наблюдается динамика перераспределения студентов между уровнями в сторону повышения уровня владения английским языком, что свидетельствует об активном процессе обучения и эффективности используемых материалов.

Рис. 4. Сравнительная диаграмма уровней английского языка студентов РУТ
в 2024/2025 учебном году (сентябрь и май)

Динамика по уровням отражает тенденции, выявленные в 2023/2024 учебном году. Даже при значительно увеличившемся количестве студентов уровня А0 в сентябре 2024/2025 учебного года (3,15% против 0,19%) наблюдается положительный результат их обучения в течение года, что приводит к отсутствию ответов, удовлетворяющих критериям уровня А0 к концу года. В 2024/2025 учебном году продолжает наблюдаться тенденция сокращения количества студентов с уровнем A1 к концу года (с 33.,7% до 1,1%) благодаря переходу студентов на более высокие ступени. Также сохраняется существенное снижение доли студентов с уровнем A2 (с 40,75% до 12%), что подтверждает успешное продвижение значительной части студентов среднего уровня на более высокие уровни владения языком. Как и в прошлом году, уровень B1 показывает наименьшее изменение в динамике изменения уровней владения иностранным языков в течение года, однако, в отличие от небольшого роста в количестве студентов (с 21,75% до 23,8%) в прошлом году, демонстрирует незначительное уменьшение числа студентов этого уровня на 1% (с 16,83% до 15,82%). Самое заметное изменение числа студентов к окончанию года происходит на уровнях B2 (с 4,44% до 18,99%) и C1 (с 1,08% до 52,05%), как и в прошлом году. Такой рост продолжает демонстрировать эффективность обучения в течение года, так как существенное изменение количества студентов высоких уровней свидетельствует о повышении уровня владения языком.

Рис. 5. Сравнительная диаграмма уровней английского языка студентов РУТ
в 2023/2024 и 2024/2025 учебных годах (сентябрь и май)

Сравнение результатов тестирования в начале и конце двух учебных годов (2023/2024 и 2024/2025) на рис. 5 свидетельствует об эффективном преподавании английского языка в техническом университете, поскольку студенты показали заметные успехи в изучении языка, перейдя на более продвинутые уровни.

Результаты тестирования демонстрируют эффективность применяемых методик преподавания английского языка и созданных материалов. Это подтверждается следующими факторами:

– Отсутствие студентов с начальным уровнем (A0) к концу учебного года свидетельствует об успешном стартовом обучении.

– Значительное снижение доли студентов с уровнями A1 и A2 говорит об активной динамике продвижения студентов на более высокие уровни.

– Существенное увеличение числа студентов с уровнями B2 и C1 является основным показателем эффективности обучения, демонстрирующим значительное повышение уровня владения языком у значительной части студентов.

Сравнение результатов тестирования в начале и конце учебного года показывает, что преподавание английского языка в техническом университете в 2023/2024 учебном году было в целом эффективным. Студенты продемонстрировали значительный прогресс в освоении языка, переходя на более высокие уровни.

Перспективными направлениями для тестирования следующих лет являются анализ причин небольшого роста количества студентов на уровне B1 и корректировка методики преподавания и учебных материалов для этого уровня. Также стоит обратить особое внимание на причины сокращения общего количества протестированных студентов к концу года, изучить их, а также выработать стратегию отслеживания таких изменений.

Опыт проведения тестирования в данном формате на протяжении двух лет (2023/2024 и 2024/2025 учебные годы) показал следующие результаты. Согласно табл. 3 общий уровень владения английским языком студентов РУТ в 2024/2025 учебном году снизился по сравнению с предыдущим периодом. Несмотря на то что уровень А2 является основным для студентов РУТ, наблюдается сокращение количества студентов, продемонстрировавших данный уровень на 2%, а также увеличение количества студентов с уровнями А0 и А1.

Напротив, сравнение результатов входного и итогового тестирования в 2023/2024 учебном году и в 2024/2025 учебном году выявило улучшение показателей студентов всех уровней (рис. 1–5), что в очередной раз свидетельствует об эффективности учебника “Maximum”, модули 1–7, для студентов I курса. Таким образом, результаты входного и итогового тестирования свидетельствуют об эффективности применяемого формата тестирования, его объективности и соответствии поставленным целям и задачам. Трудности, возникшие при реализации данных видов тестирования, а именно: трудности технического характера с проведением письменного тестирования в электронном виде, сложности субъективного оценивания устного теста, не исключение возможности нечестного выполнения письменной части студентами, намечают пути дальнейшего совершенствования предлагаемой процедуры, открывают перспективы для разработки устного и письменного тестов рабочей группой кафедры.

Заключение / Conclusion

Проведенное исследование было направлено на оценку динамики развития уровня владения английским языком у студентов технического вуза на основе результатов входного и итогового тестирования. В статье рассмотрены теоретические аспекты тестирования как инструмента оценивания, описаны этапы и специфика проведения тестирования в Российском университете транспорта (РУТ (МИИТ), а также проанализированы результаты двухлетнего мониторинга уровня языковой подготовки студентов.  Обозначены особенности современных подходов к тестированию, включая формирующее и суммативное оценивание, а также их роль в образовательном процессе. Ключевые функции тестов, такие как контролирующая, диагностическая, прогностическая и функция самоконтроля, рассмотрены как лингводидактический материал в преподавании иностранного языка в высшей школе.

Разработанная и апробированная система входного и итогового тестирования с использованием стандартизированных инструментов (Quick Placement Test, Oral Placement Test) среди студентов I курса бакалавриата обеспечила валидность и надежность тестирования благодаря четким критериям оценки и автоматизированной обработке данных. В ходе двухлетнего тестирования была выявлена положительная динамика в освоении языка: к концу учебного года уровень A0 не наблюдался; значительно сократилось число студентов на уровнях A1 и A2; существенно выросло количество студентов, достигших уровней B2 и C1. На основе детального анализа результатов тестирования были обнаружены зоны для дальнейшего развития, в частности, необходимость корректировки методики преподавания для уровня B1. Таким образом, результаты тестирования позволяют адаптировать учебные материалы под индивидуальные потребности студентов.

Систематическое проведение входного и итогового тестирования доказало свою эффективность как инструмент мониторинга языковых компетенций. Полученные данные свидетельствуют о высоком потенциале применяемой методики, однако указывают на необходимость дальнейшей работы по коррекции преподавания студентов уровня В1, развитию автоматизированных систем тестирования для повышения объективности оценки. Проведенное исследование подтверждает гипотезу о том, что регулярное тестирование способствует повышению качества языковой подготовки студентов и позволяет своевременно корректировать образовательную траекторию. В перспективе планируется продолжить мониторинг динамики уровня владения языком с учетом выявленных закономерностей и разработать рекомендации по оптимизации учебного процесса.

Эффективный контроль знаний – неотъемлемый элемент современного обучения иностранным языкам, позволяющий отслеживать прогресс, выявлять пробелы и своевременно корректировать учебный процесс. Современные методы, включая интерактивные задания, проекты и устные опросы, делают проверку более объективной и интересной, способствуют развитию самооценки и саморефлексии. Результаты контроля помогают преподавателям адаптировать материалы и методики под индивидуальные потребности студентов, а своевременная обратная связь мотивирует учащихся к достижению поставленных целей. Использование технологий, таких как онлайн-тесты, повышает гибкость и доступность контроля. В современной методике акцент делается на проверке коммуникативных навыков и способности применять язык на практике, а не только на знании теории. Таким образом, результативный и постоянный контроль знаний способствует подготовке конкурентоспособных специалистов, готовых к успешному использованию иностранного языка в различных сферах.