Organization of students’ learning quality control in a university through a system of automatic testing of knowledge and practical skills

Введение / Introduction

Информатизация образования является важным аспектом трансформации современного образования. Это отражено в национальном проекте «Образование», в который входит проект «Цифровая образовательная среда» [1]. Согласно понятийному аппарату информатизации образования, предложенному в работе И. В. Роберт и А.А. Касторновой, информатизация подразумевает использование информации на основе формирования информационных ресурсов, информационных систем и др. [2] Также авторы отмечают, что информатизация обеспечивает: разработку форм, методов и средств обучения в соответствии с новыми технологиями; развитие методологии и практики создания и использования ЭИОС; создание и использование функционирующих педагогических программных комплексов и др. Информатизация образования направлена, в частности, на управление образовательным процессом с использованием учебно-методических и программно-технологических разработок. Кроме того, знакомство с опытом применения ИКТ в профессиональной деятельности является важным аспектом профессиональной подготовки студентов, что отражено в федеральных образовательных стандартах.

Практика проведения занятий со студентами вуза подтверждает необходимость разработки информационных систем, обеспечивающих поддержку образовательного процесса, функционирующих в ЭИОС образовательного учреждения. Современные ИКТ позволяют преподавателям не только использовать готовые системы, но и осуществлять самостоятельную разработку информационных систем для решения определенных образовательных задач. В настоящей статье будет описан опыт применения автоматизированной системы проверки знаний и практических навыков студентов – будущих медиков, разработанной с использованием таких технологий.

Обзор литературы / Literature review

В работах отечественных и зарубежных исследователей показана значимость проблемы применения ИКТ в системе профессиональной подготовки. Интерес к ней не ослабевает с течением времени, так как ИКТ обладают большим потенциалом в образовании, а появление новых возможностей лишь усиливает этот интерес.

И. Н. Айнутдинова, Т. М. Трегубова, Дж. Нг и В. А. Копнов рассматривают трансформацию роли преподавателей в электронной учебной среде вузов. Исследуя изменения учебной среды, вызванные распространением ИКТ в образовании, авторы отмечают, что ИКТ влияют и на учебные программы, и на учебное взаимодействие [3]. Важным аспектом новой учебной модели они определяют ее технологизацию.

Р. Р. Аетдинова также отмечает, что цифровизация высшего образования расширяет возможности обучения [4]. Целью профессиональной подготовки, согласно автору, является формирование поликультурной личности, реализующей межкультурные задачи в основном с применением цифровых технологий.

Тенденции в глобальных исследованиях, посвященных изменениям в сфере образования, связанных с новыми технологиями, проанализировали Э. Адаб-Сегура, М.-Д. Гонсалес-Замар и Х. К. Инфанте-Моро [5]. Принятие технологий вузами связано со сменой парадигмы, где технология рассматривается как сложная и взаимосвязанная среда, которая обеспечивает цифровое обучение. Цифровизация является необходимостью для вузов, способных улучшать учебные дисциплины и материалы и процесс обучения в целом. Также авторы отмечают рост поддержки международным научным сообществом изучения различных направлений цифровой трансформации в высшем образовании.

Целью исследования В. В. Бондаренко, В. А. Юдиной, С. В. Полутина, Д. П. Пензиной и М. А. Таниной является оценка необходимости наличия информационных коммуникативных и других компетенций в условиях цифровой трансформации высшего образования [6]. Авторы указывают на важность формирования цифровых компетенций научно-педагогических работников в условиях глобализации и цифровизации. Их мнение согласуется с мнением Х. Риянти и П. Нурхасанах, которые исследовали вопросы формирования цифровой компетентности современных специалистов [7]. Среди востребованных умений они выделяют умение ориентироваться в онлайн-среде, умение использовать цифровые инструменты и программное обеспечение и др.

Значимость профессиональной подготовки студентов в контексте применения знаний и навыков, которые предстоит выполнять в профессиональной деятельности, определяют в своем исследовании П. М. Гомес, М. Л. Родригес и Х. М. Маркос [8]. Кроме того, констатируется рост интереса студентов к самостоятельному онлайн-обучению. Так, А. Д. Мельник отмечает, что развитие элементов самостоятельности в результате освоения цифровых навыков позволяет выпускникам вузов адаптироваться к вызовам неустойчивости в профессиональной деятельности [9].

Такжебыли изучены публикации, в которых рассматриваются проблемы применения ИКТ в профессиональной подготовке будущих врачей.

Анализ мировых тенденций развития медицины и высшего медицинского образования, проведенный А. Г. Мирошниченко, Л. Г. Смышляевой, И. И. Сошенко, Т. Д. Подкладовой, А. О. Окороковым, позволил определить ключевые контексты его развития: цифровизация, готовность постоянно наращивать компетенции современного врача, обеспечение индивидуальных образовательных траекторий будущим врачам [10].

Драйверами мирового развития современного высшего медицинского образования Е. В. Плащевая, О. В. Иванчук считают цифровизацию, гуманистический подход к пациентам, индивидуализацию, применение проектного подхода и раннюю интеграцию теории и практики [11].

На важность умения работы медиков с информацией, необходимость эффективности работы в условиях информационных перегрузок указывается в исследовании, проведенном Т. Д. Подкладовой, Л. Г. Смышляевым, А. О. Окороковым и И. И. Сошенко [12].

По мнению Е. М. Антоновой, при формулировке целей обучения целесообразно использовать систему типовых профессиональных задач, решаемых с помощью современных информационных технологий и напрямую относящихся работе всех врачей-специалистов и более «профильных» медицинских работников: «врач-статистик» и «врач-кибернетик» [13]. При этом ситуационный подход выделяется Д. А. Забелиным как наиболее эффективная методика обучения, а одной из ситуационных задач является «анализ данных и исследование», что предполагает решение исследовательских задач статистическими методами. В исследовании смешанного обучения при изучении медицинской информатики рассматривались: важность и эффективность применения учебных ресурсов дистанционного доступа в учебном процессе медицинского вуза; мотивация создания и использования онлайн-курсов; готовность к применению смешанного обучения [14]. В результате автором формулируется вывод о большом потенциале смешанного обучения в системе высшего медицинского образования. М. Аль-Балас, Х. И. Балас, Х. М. Жабер и другие также показывают положительный опыт дистанционного обучения студентов-медиков. Авторы подтверждают оптимальность дистанционного обучения в ряде случаев, несмотря на технические и инфраструктурные проблемы, которые носят временный характер [15].

Рассматривая информатизацию образования, исследователи анализируют средства и способы реализации педагогического дизайна дистанционного обучения. А. В. Беляева и И. А. Аксененко описывают опыт реализации цифровой платформы поддержки образовательного процесса [16]. В медицинском вузе был создан интерактивный сайт, включающий возможности встраивания модулей виртуальной реальности, видеоконференций, симуляторов, аудиопомощников и т. п. Для разработки использовался конструктор сайтов Tilda совместно с облачным сервисом распознавания естественного языка Dialogflow. Авторы особо отмечают, что голосовой интерфейс станет поддержкой при отработке студентами-медиками практических навыков без необходимости использования экрана и клавиатуры.

Кроме того, имеется опыт применения облачных сервисов в высшем медицинском образовании. А. И. Игнатова описывает применение облачных технологий в дизайне дистанционного обучения для совместной работы студентов и преподавателя [17]. Основой является использование облачного хранилища данных Google Drive совместно со статистическими функциями табличного процессора Microsoft Excel и аналитическими возможностями блока «Анализ данных» Google Таблиц. О. А. Ковалева и Н. Е. Копытова описывают опыт изучения дисциплины «Медицинская информатика», при котором все необходимые методические материалы были представлены в электронной образовательной среде университета, созданной на платформе Moodle [18]. Для освоения дисциплины «Основы медицинской статистики» студентам предлагается выполнить статистическую обработку данных медицинского эксперимента с помощью Google Sheets и Microsoft Excel. В работе Н. Г. Сабитовой и Н. М. Поповой показано применение среды обучения, основанной на платформе EMS «Русский Moodle 3KL», в научно-исследовательской работе студентов [19]. Авторы делают вывод, что для подготовки компетентных медицинских кадров, применяющих ИКТ в профессиональной деятельности, требуется доступность ЭИОС. Л. А. Дешина и Д. К. Баранова также отмечают, что цифровые технологии позволяют быстро создавать онлайн-курсы и организовывать дистанционное обучение по различным дисциплинам высшего медицинского образования [20]. Платформа Learning Management System предоставляет для этого широкий набор цифровых возможностей, необходимых для проведения автоматизированной проверки знаний. Среди наиболее эффективных цифровых инструментов контроля знаний авторы выделяют сервисы вебинарных платформ и интерактивные тренажеры. Однако их разработка и реализация требует больших временных затрат и привлечения технических специалистов, поэтому преподаватели обычно практикуют автоматизированный контроль.

Следует отметить значительную информационно-методическую поддержку обучения студентов-медиков применению ИКТ в профессиональной деятельности. Так, имеются учебно-методические материалы, содержащие теоретические сведения, например цикл лекций С. Н. Обманчевской по медицинской информатике [21]. Представлено описание применения прикладных программных средств в профессиональной деятельности, например учебно-методическое пособие И. В. Сафроновой и А. А. Мукашевой [22]. В учебном пособии Г. Н. Царик приводятся  практические задания по медицинской статистике [23]. В настоящее время популярными становятся медицинские информационные системы, описание которых дается в учебном пособии Е. А. Квашниной и Е. Е. Трубилиной [24]. Имеются работы, посвященные применению интеллектуальных технологий в медицине, например книга Э. Тополя [25].

Также современные исследователи обращают внимание на важность организации контроля учебного процесса, в том числе с применением ИКТ. Так, А. И. Бокарев, Е. С. Денисова, И. А. Игнатович, А. Ю. Казаков предлагают метод оценки управления образовательным процессом вузов по результатам подготовки и выпуска специалистов [26]. Полученные результаты измерений образовательного процесса показывают уровень обучения специалистов сравнительно с заданиями по их подготовке. Данный аспект оценивания учитывается в нашем исследовании, так как профессиональная деятельность врача связна с выполнением им статистических расчетов. На зависимость от качества оценочных заданий качества учебной программы бакалавриата указывают М. С. Ибарра-Саис, Г. Родриго-Гомес и Д. Боуд [27]. Авторы выделяют такие важные компоненты, связанные с качеством, как участие, саморегулирование, обратная связь и др. Оценочные задания позиционируют как средство самоконтроля своего обучения и определения его стратегии К. Сэмбелл, Л. Макдауэлл и К. Монтгомери [28]. Действительно, быстрая обратная связь по оцениванию качества выполнения заданий стимулирует студента к самоконтролю, выражающемуся в поиске причин выявленных при проверке ошибок и недочетов. Применение разработанной нами системы подразумевает определенный уровень самостоятельности студентов при получении и решении предлагаемых практических задач, ответственности при подготовке готового решения к автоматизированной проверке.

Таким образом, информатизация образования является глобальным процессом, приводящим к изменению подходов к образованию и его содержанию. Преподаватель получает возможность автоматизировать свою деятельность, тем самым высвобождая время для индивидуализации обучения и повышения его качества. В настоящее время имеется обширный инструментарий ИКТ, обладающий определенными возможностями для этого и большим потенциалом дальнейшего развития. Кроме того, актуальной является необходимость формирования опыта применения возможностей ИКТ в будущей профессиональной деятельности различных специалистов. Как показало наше исследование, имеется значительное количество работ, посвященных обучению применению ИКТ в профессиональной деятельности будущих медиков: использование цифровых продуктов, решение прикладных задач, включение систем на основе искусственного интеллекта, реализация самообразования. Полученные результаты исследования были использованы нами при организации контроля качества освоения учебного материала по обучению студентов вуза медицинской статистике посредством системы автоматизации проверки знаний и практических навыков.

Методологическая база исследования / Methodological base of the research

Материалами для данного исследования послужили работы российских и зарубежных исследователей, относящиеся к проблематике определения целей и методов обучения информационным технологиям студентов медицинских вузов, а также способам формирования у них цифровых компетенций в таких курсах, как «Медицинская информатика», «Информационные технологии в медицине», «Введение в современные информационные и интеллектуальные технологии» и «Программное обеспечение профессиональной деятельности».

В качестве методической основы при разработке тестирующей системы использовались научные статьи, учебно-методические материалы, электронные ресурсы и многолетний опыт преподавания коллективом преподавателей кафедры систем автоматизированного проектирования в медицинском институте Мордовского государственного университета дисциплин, связанных с медицинской информатикой и ИКТ. Так, Е. А. Рябухина и С. А. Фирсова [29] приводят алгоритмы, с помощью которых генерируются разнообразные варианты заданий по модулям вышеуказанных дисциплин. Следует отметить, что формулировки заданий, составленных Е. А. Рябухиной и С. А. Фирсовой с применением кейс-метода, направлены на формирование совокупности инновационных и общепрофессиональных компетенций студентов [30]. Кроме того, установление необходимой последовательности заданий было реализовано Е. А. Рябухиной и С. А. Фирсовой с использованием интегративного подхода в обучении [31]. Выполнение лабораторных работ по дисциплине «Программное обеспечение профессиональной деятельности» реализуется в табличном процессоре Microsoft Excel, методические основы применения которого в обучении студентов медицинских вузов представлены С. А. Карпушкиной и Е. А. Рябухиной в [32].

Для построения архитектуры системы применялось UML-моделирование с помощью построения UML-диаграмм. Программная реализация системы проводилась стандартными средствами веб-разработки, включающими:

-     язык гипертекстовой разметки HTML, определяющий структуру и содержание веб-страницы;

-     скриптовый язык программирования PHP, используемый для создания динамических веб-страниц, работы с различными объектами и др.;

-     язык CSS, служащий для оформления внешнего вида веб-страницы;

-       систему управления базами данных реляционного типа MySQL, используемую для обработки запросов разрабатываемой системы, формируемых с использованием PHP.

Статистический анализ результатов, полученных по итогу применения разработанной тестирующей системы, выступил в качестве ведущего метода при проведении данного исследования.

Результаты исследования / Research results

Результатом данного исследования является разработанная авторами тестирующая система для автоматизированной проверки знаний и практических навыков студентов по дисциплине «Программное обеспечение профессиональной деятельности». Она применяется при выполнении ими лабораторных работ, относящихся к модулю «Статистический анализ данных в медицине». Данный модуль содержит шесть лабораторных работ, каждая из которых содержит определенный перечень практических заданий (табл. 1), выполняемых в табличном процессоре Microsoft Excel.

Как видно из приведенного описания лабораторных работ, они подразумевают выполнение большого объема вычислений, что, соответственно, требует от преподавателя большой работы при их проверке и оцениванию.

Таблица 1

Тематика лабораторных работ с описанием заданий

На начальном этапе разработки системы было проведено ее проектирование. Для определения функциональных возможностей тестирующей системы и описания ее архитектуры было использовано UML-моделирование и проектирование процессов с помощью построения UML-диаграмм. Приведенная на рис. 1 диаграмма вариантов использования показывает различные типы пользователей, имеющихся в системе, и их возможные действия с ней.

Со стороны студента основными действиями в тестирующей системе являются:

-     прохождение тестирования, включающее загрузку excel-файла, содержащего шаблон лабораторной работы, и его последующую выгрузку в систему после выполнения;

Рис. 1. Диаграмма вариантов использования

-     просмотр результатов тестирования с возможностью отправки запроса на получение правильных ответов или запроса на подробное разъяснение причины определения ошибочных ответов (в случае обнаружения тестирующей системой ошибок).

Так как использование данной автоматизированной системы предполагает ее интеграцию с ЭИОС вуза, то функции администрирования, включающие ведение и актуализацию базы данных преподавателей, учебных групп студентов, дисциплин и т. п., а также предоставление доступа к ней со стороны тестирующей системы, возлагаются на администратора ЭИОС. Диаграмма размещения, отражающая физические взаимосвязи между программными и аппаратными элементами тестирующей системы, представлена на рис. 2.

Рис. 2. Диаграмма размещения

Рассмотрим последовательность действий преподавателя и студента при работе с автоматизированной системой на примере размещения и выполнения лабораторной работы № 6 «Проведение дисперсионного анализа».

При добавлении нового задания (теста) преподаватель заполняет в личном кабинете соответствующую форму. Она включает следующие поля: название теста и срок его прохождения; формулировку заданий и вопросов теста с указанием максимального количества баллов за их выполнение; шаблон excel-файла для выполнения лабораторной работы (рис. 3).

Рис. 3. Добавление задания «Проведение дисперсионного анализа»

Шаблон для выполнения задания № 1 «Проверка гипотезы о равенстве математических ожиданий в градациях однофакторного дисперсионного комплекса» представлен на рис. 4.

Рис. 4. Шаблон для выполнения задания № 1

Экспериментальные данные в формулировках заданий, как правило, берутся из научных источников, находящихся в открытом доступе. Так, для составления задания, представленного на рис. 4, использовались данные, приведенные в статье И. Б. Цорина, посвященной применению дисперсионного анализа в экспериментальной фармакологии [33].

После добавления в систему нового теста преподаватель имеет возможность прикрепить его в личном кабинете к определенной учебной группе (см. рис. 5).

Рис. 5. Прикрепление теста к группе в личном кабинете преподавателя

Студент в личном кабинете может посмотреть все доступные ему тесты, выполнить их, а также посмотреть предыдущие результаты. Кнопка «Пройти тестирование» выделяется темным цветом, что означает отсутствие попыток прохождения тестирования. При активации данной кнопки загружается шаблон excel-файла для выполнения лабораторной работы (рис. 6).

Рис. 6. Личный кабинет студента

Студент выполняет работу, вводя в выделенные ячейки необходимые расчетные формулы и формулируя выводы по полученным результатам расчетов. Затем он загружает заполненный шаблон excel-файла посредством личного кабинета в тестирующую систему (см. рис. 7).

Так как проверка правильности выполнения загруженной лабораторной работы происходит в тестирующей системе автоматически, то студент сразу же получает результаты прохождения тестирования. Результаты содержат оценку правильности выполнения каждого задания и количество набранных баллов. Также система позволяет ему просмотреть детали проверки в виде пометок словами «ВЕРНО» или «НЕВЕРНО!» для каждой заполняемой студентом ячейки шаблона лабораторной работы (см. рис. 8).

Рис. 7. Выполнение лабораторной работы и загрузка excel-файла для проверки

Рис. 8. Просмотр результатов тестирования с детализацией проверки

При несогласии с результатами тестирования, полученными с помощью автоматизированной системы, студент может из личного кабинета подать запрос на получение правильных ответов к данной лабораторной работе. Ответы автоматически присылаются тестирующей системой в виде сообщения, содержащего расчетные формулы только для ячеек, отмеченных в детализации словом «НЕВЕРНО!». Если и после этого у студента остаются вопросы по поводу корректности проверки его работы, имеется возможность отправки сообщения преподавателю с целью пересмотра результатов тестирования ручным способом.

Представленная в статье автоматизированная система прошла успешную апробацию при проведении практических занятий со студентами медицинского института Мордовского государственного университета. Как было указано выше, рассматривается дисциплина «Программное обеспечение профессиональной деятельности», содержащая практические задания по применению статистических методов в медицине. Для оценки успешности апробации были использованы автоматически фиксируемые тестирующей системой показатели:

-     количество обучающихся по каждой специальности и количество загруженных ими на проверку файлов;

-     определенное системой число файлов с лабораторными работами, выполненными без ошибок;

-     количество отправленных системой автоматических сообщений студентам с правильными ответами в ответ на их запросы о несогласии с результатами тестирования;

-       количество работ, перепроверенных преподавателями вручную по просьбам студентов, с указанием числа работ, оценка по которым была исправлена по итогам такой проверки.

Количественные значения перечисленных показателей представлены в табл. 2.

 Таблица 2

Результаты апробации автоматизированной системы

Анализ представленных в табл. 2 результатов позволяет сделать следующие выводы.

1. С учетом большого контингента студентов (530 человек) и количества загруженных ими файлов с выполненными практическими заданиями (3020 excel-файлов) преподавателям понадобилось значительное меньшее количество времени на их проверку и оценивание, чем при традиционном подходе. Кроме того, при таком объеме работ возрастает вероятность появления ошибок проверки и неверного расчета баллов.
2. Количество работ, определенных автоматизированной системой как правильно выполненные, составляет 47% на специальности «Лечебное дело», 32% – «Педиатрия», 21% – «Стоматология», 24% – «Фармация» от общего количества загруженных работ по каждой из специальностей. Таким образом, после первого этапа работы тестирующей системы осталось 1826 файлов (60% от первоначального количества), по которым студенты, возможно, захотят получить пояснения о найденных ошибках в своих лабораторных работах.
3. На втором этапе по запросу студентов системой было автоматически разослано 1625 сообщений с правильными ответами, в результате чего только в 95 случаев (или в 3%) у студентов остались сомнения в правильном оценивании их работ, а от преподавателя потребовалось проведение ручной проверки с последующим разъяснением выявленных спорных ситуаций.
4. На третьем этапе взаимодействия с тестирующей системой только у 26 работ (что составляет менее 1% от первоначального количества) преподавателем были изменены автоматически выставленные оценочные баллы.

Заключение / Conclusion

Наличие автоматизированной проверки практических навыков студентов может существенно упростить труд преподавателей, сократить их временные и ресурсные затраты. Это достигается благодаря освобождению от рутинной работы по проверке выполнения большого объема практических заданий и их оцениванию. Возможности представленной в данной статье системы позволяют преподавателю сфокусироваться на анализе результатов выполнения лабораторных работ, индивидуальном взаимодействии со студентами и оказании при необходимости дополнительной консультативной поддержки. Отметим, что к разработке тестирующей системы активно привлекались студенты профильных специальностей в рамках курсового проектирования по дисциплинам «Проектирование и архитектура программных систем», «Конструирование программного обеспечения» и «Разработка веб-приложений».

Интеграция автоматизированной системы проверки знаний и практических навыков с электронной информационной образовательной средой вуза снимает проблему повышенной нагрузки на профессорско-преподавательский и студенческий составы при работе с несколькими информационными системами и необходимости повторного ввода одних и тех же данных, используемых, например, при регистрации в системах. Стоит отметить, что разработанная система может применяться при проведении лабораторных занятий как при очной, так и при дистанционной или смешанной форме обучения в синхронном и асинхронном режимах. К достоинствам системы также следует отнести ее несложную расширяемость, связанную с включением в процесс проверки новых лабораторных работ, что предполагает создание преподавателем нового шаблона excel-файла.

Таким образом, автоматизированная система позволяет повысить эффективность процесса обучения и объективного контроля успеваемости студентов, обеспечить оперативную информационную поддержку участников образовательных отношений, сформировать набор информационных сервисов с возможностью получить доступ к образовательным ресурсам вуза посредством единой точки доступа, что соответствует основным целям и задачам цифровой трансформации образования.