Analysis of the quality of masters’ special engineering training educational programs

Введение / Introduction

Современное развитие отечественной экономики тесно связано с совершенствованием научно-исследовательской и инновационной деятельности, которую практикуют ведущие научные центры в регионах, в частности опорные университеты России. Как отмечают в работе О. В. Опрятова с соавторами, опорные вузы могут трансформировать систему подготовки кадров и содержание образовательных программ, в том числе осуществлять опережающую подготовку кадров высокой квалификации для региональной экономики [1]. Однако А. С. Жилин показывает, что определенная инертность развития и значительное преобладание в региональных университетах устаревших бизнес-моделей образования, не отвечающих ключевым требованиям текущего момента, являются серьезным препятствием для эффективного участия данных университетов в современных наукоемких высокотехнологичных проектах [2].

Другими словами, динамично меняющаяся научно-техническая и технологическая оснащенность современных предприятий создает определенную нестабильность для функционирования и устойчивого развития региональных вузов, особенно в сфере требуемой трансформации инженерной подготовки. В связи с этим, по словам И. И. Шолиной и соавт., важнейшей задачей модернизации подобных высших учебных заведений является осуществление их максимальной включенности в инновационные программы научно-технического развития как для своих регионов, так и для национальной экономики в целом [3].

Для осуществления подобных задач возникла принципиальная необходимость определенных организационных преобразований в системе высшего инженерного образования за счет создания специально разработанных трансдисциплинарных обучающих программ, способствующих эффективному внедрению передовых научных исследований в практику профессиональной подготовки студентов, особенно по программам магистратуры; выделим работу Д. П. Хитрых [4]. И здесь необходимо учитывать, что подобные программы требуют повышенного внимания к качеству образования, так как они должны обеспечивать квалифицированную подготовку выпускников к деятельности в условиях интеграции новых высокотехнологичных производств и наукоемких технологий с фундаментальными и прикладными разработками в соответствии с вызовами современной индустрии [5].

Для современных высших учебных заведений понятие «качество образования» приобретает все большее значение, поскольку оно напрямую связано с их конкурентоспособностью на рынке образовательных услуг. Под качеством образования М. С. Целик и Д. А. Чернышев понимают совокупность потребительских характеристик образовательной услуги, которая обеспечивает удовлетворение, во-первых, внутренних потребностей в развитии личности обучающегося, во-вторых, запросов профессионального сообщества и экономики региона [6]. В связи с этим все более очевидной и важной становится необходимость управления качеством образования на уровне образовательной программы. Эта задача является одной из ключевых для университета, а также для каждого руководителя структурного подразделения, руководителя образовательной программы и непосредственно преподавателя.

Проблематика работы заключается в необходимости разработки и апробации системы управления качеством образования и планирования соответствующих мероприятий на уровне образовательной программы для оценки качества подготовки студентов. Важно создать нормативную, организационную, методическую и инструментальную базу, которая обеспечит достижение необходимого уровня качества. В процессе построения такой системы необходимо анализировать запросы потребителей образовательных услуг, что предполагает оценку и сопоставление текущего уровня качества с целевыми показателями. Также важно наладить обратную связь со всеми заинтересованными сторонами, своевременно вносить корректировки в деятельность и совершенствовать систему управления.

Цель данного исследования состоит в педагогической диагностике и мониторинге качества профильно-специализированной инженерной подготовки магистрантов в федеральном (опорном) университете с использованием методов квалиметрического моделирования и инструментов статистики при обработке экспериментальных результатов.

Научная новизна определяется прогрессивным подходом в разработке и апробации интегрированной квалиметрической модели педагогического мониторинга, позволяющей не просто оценивать текущее состояние системы, но и направленно прогнозировать изменения во времени с учетом динамики процесса и, как следствие, корректировать программу в реальном времени, что обеспечивает гибкость и эффективность образовательного процесса.

Обзор литературы / Literature review

Квалиметрический мониторинг программ высших учебных заведений представляет собой важный инструмент обеспечения качества образования, соответствия образовательных стандартов и требованиям рынка труда [7]. Н. В. Давкуш призывает учитывать, что качество образования, будучи ключевым фактором достижения образовательных целей, требует системного анализа, измерения через управленческие механизмы и интеграции критериев, объединяющих академические, профессиональные и нормативные аспекты [8].

Основы педагогической квалиметрии рассмотрены многими российскими исследователями, такими как В. С. Черепанов, Ю. А. Шихов, Н. А. Селезнева и
А. И. Субетто, работы которых посвящены принципам оценивания различных педагогических объектов в процессе образования и воспитания [9]. Одним из успешных подходов к решению проблемы эффективного мониторинга, по словам В. А. Казинец и О. А. Тринадцатко [10], можно считать применение оценочных моделей, созданных с использованием квалиметрического подхода, который позволяет обосновать структуру, содержание оценочных средств, сформировать экспертные группы и алгоритмизировать необходимые процедуры оценки.

 Весьма перспективно, как показано в работах Ю. А. Ильиной, О. Ф. Шиховой, использовать квалиметрические методы к оценке сформированности профессиональной компетенции у выпускников вузов [11]. В этом случае различные методы оценки компетенции выпускников, как, например, метод критериев оценки качества сопровождения и поддержки непрерывного образования педагогических кадров, предложенный А. Е. Марон, Л. В. Резинкиной и А. А Моштаковой [12], позволяют не только оценивать приобретенные компетенции, но и трансформируют непрерывное образование в инструмент управления качеством, сочетающий прогностическую функцию с практико-ориентированной оптимизацией образовательных систем.

В последние годы, в связи с расширением практики использования сетевых форм реализации образовательных программ, вопросам оценки их качества уделяется все больше внимания. В частности, данная проблематика рассматривается в ряде исследований, предлагающих различные подходы и критерии оценки эффективности сетевого взаимодействия в образовании, примером таких работ являются исследования А. А. Курбанова и С. Ю. Ланиной [13]. Анализ И. С. Вашуковой позволяет сделать вывод, что система образования сетевого взаимодействия способствует более быстрому развитию инноваций, обмену знаниями и распространению практики, укреплению имиджа образовательных организаций [14]. В работе Е. А. Ходыревой [15] показан практический опыт оценки внутренней системы качества реализуемой сетевой программы.  Подробный анализ данных исследований, как свидетельствует работа А. В. Нужиной и В. А. Табишева, позволяет выявить ключевые факторы, влияющие на успешность реализации сетевых образовательных программ, и разработать инструменты для их оценивания [16].

Современные зарубежные исследования в области оценки качества образования подчеркивают тенденцию к усилению практической составляющей. Как показали работы Ф. Похленза и соавторов [17], эффективность программ напрямую зависит от внедрения практико-ориентированных кейсов и разработки объективных методов оценки их результативности. Важным аспектом модернизации образования выступает межотраслевое взаимодействие. Дж. Бенгсон и Дж. Ланнеблад [18] в своем исследовании аргументируют, что сотрудничество между вузами и представителями промышленности является ключевым механизмом генерации инновационных решений. Такой подход, по их мнению, позволяет согласовать академические программы с динамикой технологического развития, минимизируя разрыв между теорией и практикой. Особое внимание уделяется междисциплинарной подготовке инженеров; так, К. Ламмрет и соавторы [19] акцентируют, что современные инженерные программы требуют интеграции знаний из смежных областей. При этом Дж. Шляйсс с соавторами [20] выявляют структурную проблему, предлагая пересмотреть структуру компетенций, включив в нее межпредметные навыки и основываясь на требованиях работодателей обеспечить синергию между техническими и прикладными дисциплинами. Эмпирическое подтверждение данного тезиса представлено в работе М. И. Захир [21]. Посредством смешанного метода (качественный и количественный анализ) авторы выявили ключевые ожидания работодателей: управленческие компетенции, владение отраслевыми стандартами, техническая экспертиза и soft skills. На основе этих данных предложена модель адаптации учебных программ, которая предусматривает: внедрение модулей по проектному менеджменту, актуализацию содержания дисциплин в соответствии с технологическими трендами, развитие личностных качеств через интерактивные форматы обучения.

Многообразие авторских подходов к педагогической квалиметрии подтверждает актуальность разработки комплексных систем мониторинга, охватывающих все этапы предоставления образовательных услуг. Так, С. А. Барашкова, Е. Ю. Березнева и Д. Б. Авдеев подчеркивают, что ключевыми элементами такой системы являются, во-первых, оценка достижения образовательных результатов и уровня сформированности компетенций, во-вторых, анализ используемых студентами вспомогательных средств для повышения объективности оценивания [22]. Согласно А. В. Лапшовой, С. А. Зиновьевой, О. Ю. Зайцевой [23], также следует уделить внимание интеграции социально-педагогических аспектов, таких как развитие профессиональной мобильности, позволяющей выпускникам адаптироваться к требованиям рынка труда.

Определенный интерес представляют работы В. А. Фёдорова и соавторов [24], в которых при оценке качества образования весьма важное значение отводится мониторингу уровня преподавательского состава, что требует выявления и устранения профессиональных дефицитов через непрерывное педагогическое образование. Проектирование образовательных программ и оценка их качества также должны учитывать государственный заказ и региональные потребности в инженерно-технических кадрах. Например, исследование, проведенное А. С. Жилиным и другими учеными среди предприятий Уральского федерального округа, выявило востребованность таких компетенций, как математико-экономические и инженерные навыки, цифровые компетенции, включая работу с большими данными и моделирование процессов, применение нейросетей, программирование для импортозамещающего ПО [25].

Таким образом, в научной литературе существует достаточно много авторских подходов к оценке образовательных программ, но, как правило, они не учитывают специфическую направленность программ, охватывающих широкий спектр знаний, (таких как биоинженерия), определяемую материально-технической базой университетов и потребностями региональных предприятий. Следует признать, что профильно-специализированная инженерная подготовка нуждается в разработке системы унифицированного мониторинга, адаптированной к динамично меняющимся потребностям рынка труда и учитывающей последние достижения науки и техники с ориентацией на региональные запросы, что способствует не только повышению качества подготовки выпускников, но и укреплению позиций высшего учебного заведения в конкурентной образовательной среде.

Методологическая база исследования / Methodological base of the research

Методологической основой исследования стал ряд работ Г. А. Бордовского,
А. А. Нестерова, С. Ю. Трапицына, посвященных мониторингу качества образования профильной инженерной подготовки с применением квалиметрического подхода [26]. В нашей более ранней работе [27] была предложена универсальная модель мониторинга качества образования профильно-специализированной инженерной подготовки магистров. В данной работе модель применена к образовательной программе 12.04.04 «Биотехнические системы и технологии» и проведен анализ применения инструментов статистики, таких как ранговая корреляция Спирмена, к возможности попарного сравнения признаков с целью выявления и корректировки слабых мест программы.

Результаты исследования / Research results

Образовательная программа магистратуры 12.04.04 «Биотехнические системы и технологии» реализуется на кафедре экспериментальной физики Физико-технологического института УрФУ. Используемая в работе модель построена по уровневому принципу, где каждому уровню присвоены свои взвешивающие коэффициенты: первый уровень является обязательным для открытия программы и характеризует набор формальных требований, предъявляемых вузом. Второй уровень является характеристикой текущей реализации программы на уровне института и кафедры, и, наконец, на третьем уровне оценивается качество подготовки выпускников с точки зрения готовности их к профессиональной деятельности, обладания необходимым набором компетенций с точки зрения как самих выпускников, так и работодателей региона. Модель оценивания качества программы представлена на рис. 1.

Представленная модель является универсальной и служит опорой для принятия решений о корректировке программы на всех этапах ее жизненного цикла. Рассчитываемый показатель качества лежит в диапазоне 0,47 ≤ K ≤  1, где 0,47 ≤ K < 0,64 – образовательная программа требует срочной доработки для возможности ее дальнейшей реализации; 0,64 ≤ K < 0,85 – образовательная программа частично соответствует требованиям, необходимы корректировки для повышения качества; К ≥ 0,85 – образовательная программа соответствует требованиям.

Рис. 1. Структурно-функциональная модель оценки качества образовательной программы

На рис. 2 представлены результаты мониторинга по итогам двух лет реализации программы магистратуры «Биотехнические системы и технологии» с 2022 по 2024 год.

Цветом на лепестковых диаграммах выделены уровни, соответствующие рис. 1. Если лепестки на диаграмме отсутствуют, это означает, что критерия с таким номером на этом уровне нет либо он не выполнен и по нему выставлен 0 баллов (например, критерий «2.9. Количество иностранных студентов на программе» в 2022/2023 году). Численные показатели по каждому уровню и итоговый показатель качества программы приведены в верхнем левом углу каждой диаграммы.

Рис. 2. Результаты мониторинга уровня качества образовательной программы

Результаты мониторинга – наглядный инструмент для выявления проблемных точек на всех этапах – от проектирования до реализации программы и при последующем ее совершенствовании. Согласно расчету критерия в соответствии с моделью, образовательная программа соответствует требованиям, причем наблюдается положительная динамика ее развития. Более полную характеристику позволяет получить применение статистических метрик для попарного сравнения интересующих признаков, как это показано далее.

Обеспечить эффективность применения квалиметрического подхода к управлению качеством подготовки студентов позволяет мониторинг и анализ его результатов с применением инструментов статистики. Корреляционный метод выступает измерителем качества и инструментом обратной связи, который позволяет численно отследить силу и направление корреляционной связи между двумя признаками. Например, оценив влияние результата освоения студентом одной дисциплины на эффективность освоения другой, можно пересмотреть соответствующие элементы образовательной программы.

В качестве примера рассмотрим оценку влияния баллов вступительных испытаний на формирование профессиональных компетенций в процессе обучения у выпускников 2023/2024 учебного года по программе магистратуры 12.04.04 «Биотехнические системы и технологии», реализованной в Физико-технологическом институте УрФУ. Корреляционный анализ проводился по методике, описанной в работе Л. Н. Романченко и Ю. Н. Косенок [28] на основе ранговой корреляции Спирмена. Коэффициент ранговой корреляции Спирмена относится к числу непараметрических методов, которые не требуют нормального распределения выборки и могут быть применены к малым выборкам.

Набор профессиональных компетенций выпускников формируется в процессе освоения трех модулей образовательной программы, причем уровень сформированности количественно оценивается по степени освоения соответствующих дисциплин в баллах промежуточной аттестации. На лепестковой диаграмме, приведенной на рис. 3, отражены результаты вступительных испытаний и количественный анализ сформированности компетенций у выпускников 2024 года. Технология оценивания сформированности компетенций по модулям образовательной программы описана авторами в статье [29].

Рис. 3. Результаты вступительных испытаний (ВИ)
и показатели сформированности профессиональных компетенций (ПК)

Отметим, что оценка по стобалльной шкале упрощает работу рангового критерия Спирмена, поскольку вероятность встретить одинаковые ранги элементов в выборке мала, а данный метод наиболее точен, когда оба коррелируемых ряда представляют собой последовательности несовпадающих значений. Метод предложен
Н. Н. Кошелевой [30].

Таблица 1

Ранги вступительных испытаний
и показателей сформированности профессиональных компетенций

Коэффициент ранговой корреляции Спирмена  рассчитывается исходя из разности рангов попарно сравниваемых признаков по формуле (1):

                                         ,                                                                (1)

где   – ранги баллов i-го студента;

n – число студентов.

Коэффициент корреляции лежит в интервале [-1;1], знак характеризует направленность связи между двумя признаками, измеренными в ранговой шкале.

Достоверность полученного коэффициента корреляции оценивается с помощью критерия Стьюдента для заданного уровня значимости по формуле (2):

                                                       .                                                                   (2)

Если рассчитанное значение критерия по модулю меньше табличного  при заданном числе степеней свободы и уровне значимости, статистическая значимость наблюдаемой взаимосвязи отсутствует, если больше, то корреляционная связь считается статистически значимой.

В табл. 2 отражены результаты применения метода для оценки связи между результатами вступительных испытаний и каждой из сформированных профессиональных компетенций. Качественно сила корреляционной связи оценивалась по шкале Чеддока, характеристика заимствована из методического пособия Т. М. Сизовой [31].  

Таблица 2

Ранговая корреляция Спирмена

По полученным результатам был сделан вывод о том, что корреляция с уровнем сдачи вступительных испытаний наблюдается для формирования профессиональных компетенций выпускников только в области физики взаимодействия ионизирующего излучения с веществом с учетом акцента в тестовых вступительных испытаниях рассматриваемого набора абитуриентов.

Поступившие с бакалавриата 12.03.04 «Биотехнические системы и технологии» студенты приходят с багажом соответствующих дисциплин, таких как «Дозиметрия ионизирующих излучений», что отражается на результатах вступительных испытаний, и в рамках магистерских модулей углубляют и специализируют знания. Тем не менее высокий уровень сформированности профессиональных компетенций, согласно таблице, в совокупности со статистически незначимой корреляцией между ними и результатами вступительных испытаний позволяет говорить о том, что образовательная программа разработана таким образом, что студенты с других направлений подготовки бакалавриата успешно усваивают фундаментальные понятия в процессе изучения дисциплин.

Таким образом, модель позволяет устанавливать степень корреляционной связи между любыми темами и дисциплинами, разнесенными во времени, тем самым определять возможные причины снижения качества обучения. Реализация данного подхода позволяет корректировать или менять как программу вступительных испытаний, так и методику преподавания и уровень дисциплин реализуемой программы под запросы рынка труда и с учетом будущего поступления в аспирантуру заинтересованных выпускников.

Анализ корреляционной зависимости свидетельствует о том, что изменение заданий вступительных испытаний должно приводить к смене фокуса сформированности компетенций по одному из трех модулей программы. На данный момент на рынке труда ощущается востребованность в специалистах-инженерах, обладающих набором цифровых компетенций, поэтому на предстоящий год поступления необходимо увеличить долю заданий вступительных испытаний, посвященных навыкам использования абитуриентами информационно-коммуникационных технологий [32].  Все большую значимость приобретает также обучение студентов вуза навыкам работы с искусственным интеллектом и обработки больших объемов информации с его помощью, поэтому появляется потребность корректировки учебных дисциплин путем внесения элементов использования искусственного интеллекта. Предполагается модификация курсов магистратуры, нацеленных на формирование компетенции «Способен обрабатывать, анализировать, передавать данные и информацию с использованием цифровых средств для эффективного решения поставленных задач с учетом требований информационной безопасности». Компетенция относится к универсальным, определенно важна для эффективного выполнения профессиональной деятельности и является основой для формирования профессиональных компетенций модуля информационных технологий.

Внедрение в дисциплины методов использования искусственного интеллекта совместно с уже активно используемым проектным обучением предоставит студентам возможность изучать новые технологии через призму различных дисциплин, что обеспечит междисциплинарность и практикоориентированность образования, способность выпускников адаптироваться к быстро меняющимся условиям профессиональной деятельности. Наблюдается повышение доли работающих студентов в магистратуре, это означает, что все больше времени магистранты уделяют своей профессиональной деятельности, фокус внимания на обучение падает, качество усвоения знаний снижается. Ввиду нехватки времени современные студенты пользуются нейросетями для поиска необходимой информации, но часто делают это некачественно, слепо доверяя данным искусственного интеллекта.

С другой стороны, данная ситуация говорит о необходимости повышенного отклика от работодателей, участии потенциальных работодателей в образовательном процессе. Необходимо воспитать навык активных пользователей, которые грамотно формулируют запросы и вычленяют из множества информации истинную и основную мысль, развить навык проверки информации в первоисточниках с ее последующим применением для решения реальных кейсов, предложенных потенциальным работодателем. Таким образом, перспектива корректировки вступительных испытаний с увеличением акцента на цифровые навыки и внесения в дисциплины, которые предусматривают работу с большим объемом информации, литературных источников, а также создание простых алгоритмов, фрагментов кода, функций, работы студентов с искусственным интеллектом, отвечает потребностям современного рынка труда, а потому актуальна и будет реализована в ходе корректировки образовательной программы.

Заключение / Conclusion

В ходе проведения мониторинга качества образования профильно-специализированной инженерной подготовки магистров направления «Биотехнические системы и технологии» по разработанной модели с применением методов педагогической квалиметрии были получены валидные экспериментальные результаты в корреляции с анализом оценочных материалов и было выявлено, что значительное количество студентов демонстрирует высокий уровень освоения ключевых компетенций, необходимых для успешной профессиональной деятельности, по оценке работодателей. При этом стоит отметить положительную динамику в развитии критического мышления и практических навыков у обучающихся, что подтверждается результатами итоговых аттестаций.

Кроме того, определены и некоторые недостатки в подготовке, связанные с недостаточной интеграцией теоретических знаний в практическое применение. Особенно это касается дисциплин, связанных с новыми технологиями и инновациями, цифровыми навыками выпускников. При анализе опросных листов студентов и работодателей отмечается необходимость установления более тесного сотрудничества с работодателями, что способствует выявлению современных тенденций в биотехнологиях и акцентированию на них. Необходимо усилить акцент на формировании навыков работы выпускников с современными информационными технологиями, обратить особое внимание на увеличение количества студентов, занимающихся научными исследованиями и инновационными проектами по заявкам предприятий области, создавая так называемую «экосистему мотивации», где каждый участник чувствует свою ценность и значимость.