Qualimetric approach to building a quality assessment system for network educational programs

Введение / Introduction

Сегодня сетевые образовательные программы в высшем образовании находятся на пике популярности. Интерес университетов к таким программам обусловлен не только административными требованиями, но и уникальными возможностями, создаваемыми для развития передовых практико-ориентированных образовательных программ. Среди основных преимуществ сетевых программ можно отметить: участие в образовательном процессе преподавателей из различных организаций, систематическое привлечение к проведению занятий специалистов-практиков, использование ресурсов и современной материальной базы профильных организаций, возможность совмещения двух и более образовательных программ и пр.

Законодательное оформление сетевая форма реализации образовательных программ получила в 2012 году в рамках федерального закона № 273-ФЗ от 21 декабря 2012 года «Об образовании в Российской Федерации» (статьи 13 и 15) [1]. Однако конкретные механизмы реализации таких программ были выработаны только в 2020 году и оформлены приказом Министерства науки и высшего образования РФ и Министерства просвещения РФ № 882/391 от 5 августа 2020 года «Об организации и осуществлении образовательной деятельности при сетевой форме реализации образовательных программ» [2]. Право образовательной организации реализовывать программу в сетевой форме определяют также федеральные государственные образовательные стандарты высшего образования (далее – ФГОС ВО) в п. 1.6 [3]. Данные документы следует считать базовыми при реализации образовательной программы в сетевой форме.

За последние годы образовательные организации накопили достаточный опыт в сфере проектирования, разработки и реализации сетевых программ, но при этом испытывают серьезные затруднения с оценкой их качества. Перечисленные выше нормативные документы не определяют специфику процедур оценки качества именно сетевых программ. Внешние процедуры контроля качества образования, такие как лицензирование образовательной деятельности, государственная аккредитация, профессионально-общественная аккредитация, независимая оценка качества и другие, также не включают в себя механизмы оценки и показатели качества именно сетевых программ.

Целью данного исследования является разработка модели внутренней системы оценки качества сетевой образовательной программы на основе квалиметрического подхода. Квалиметрический подход наилучшим образом сочетается с сетевой технологией, так как последняя появилась и развивалась на протяжении двух последних десятилетий именно как механизм повышения качества образовательного процесса и его результатов.

Задачи исследования:

1) провести анализ существующих методов оценки качества сетевых программ;

2) разработать динамическую модель системы оценки качества для сетевой программы на основе цикла Шухарта – Деминга PDCA;

3) предложить механизм определения и интерпретации комплексного показателя качества для сетевой образовательной программы.

Обзор литературы / Literature review

Как показывает анализ научных публикаций, изучению вопроса оценки качества образования отечественные и зарубежные исследователи уделяют достаточно много внимания. Ряд исследований посвящен особенностям применения квалиметрического подхода к оценке качества различных этапов и аспектов образовательного процесса. Рассмотрим некоторые из них.

Достаточно большое количество работ посвящено оценке качества высшего и дополнительного образования. Среди них выделим работу А. Е. Марона, Л. В. Резинкиной и А. А. Моштакова, которые предлагают алгоритм оценки качества процесса сопровождения непрерывной подготовки педагогов, включающий критерии и показатели оценки эффективности [4]. Работы В. М. Гребенниковой посвящены исследованию применения методов квалиметрии к оценке качества дополнительного профессионального образования [5]. Г. М. Туйчиева [6] и А. А. Мирошниченко [7] рассматривают возможности применения квалиметрического подхода к процессу воспитания. В. Г. Миненко и соавторы предлагают методику применения методов квалиметрии для оценки качества педагогических технологий [8]. О. Ф. Шихова и Ю. А. Шихов рассматривают квалиметрические методы применительно к оценке сформированности компетенций у выпускников вузов [9].

Среди зарубежных авторов популярен субъектный подход к оценке качества образовательного процесса. Э. Беттинсон и соавторы [10] рассматривают проблему оценки качества выпускников бизнес-школ с точки зрения потенциальных работодателей, Х. Чун [11] – с позиции студента, а А. Топузьян и Н. Маркосьян [12] – с позиции преподавателя. Ряд исследований посвящен авторским концепциям оценки качества образовательного процесса, в том числе в нестандартных ситуациях. М. А. Алдхобайб [13] исследует различные интерпретации понятия «качество» и их влияние на успех контроля качества в образовательной организации. Исследование Дж. С. да Сильва и соавторов посвящено проблеме сохранения и оценки качества образования при реорганизации и объединении университетов [14]. А. Пурванто и Дж. Т. Пурба рассматривают качество электронной виртуальной среды вуза на основе уровня успеваемости студентов и удобства предлагаемых механизмов взаимодействия субъектов [15].

В последнее время в научных кругах проблема оценки качества сетевых образовательных программ начинает обсуждаться все активнее. Рассмотрим некоторые из наиболее важных, на наш взгляд, исследований на данную тему.

Работа авторов Г. С. Джарасовой, В. П. Демкина и Н. А. Испулова [16], которая относится к началу появления сетевых программ, рассматривает сетевую форму как инновационную, посредством которой можно достичь нового (более высокого) качества высшего образования прежде всего за счет лучшего ресурсного обеспечения образовательного процесса. Ю. А. Бурдельная [17] считает, что сетевая форма является действенным механизмом повышения эффективности образовательного процесса, так как позволит сочетать в рамках одной программы не только образовательную, но и воспитательную, развивающую и коррекционную работу с обучающимися.

В ряде работ представлены авторские подходы к оценке качества сетевых программ. Так, в статье А. И. Гусевой и Е. Б. Весны рассмотрена система оценки, включающая количественные показатели и индикаторы результативности и эффективности сетевой программы [18]. В исследовании Е. А. Ходыревой приводятся базовые критерии оценки качества сетевой программы в соответствии с требованиями ФГОС ВО, которые носят достаточно общий характер [19]. А. В. Нужина и Т. А. Табишев в своей работе рассматривают применение методов и процедур международной аккредитации к совместным образовательным программам, выделяя три основных «макроблока требований»: систему управления, ресурсы и обеспечение, компетентностно-квалификационную модель выпускника [20]. Г. Н. Мотова и Н. А. Аносова анализируют технологию общественно-профессиональной экспертизы сетевых образовательных программ профессиональных модулей, при этом для формирования показателей качества предлагается использовать комплексный подход, однако в работе отсутствует методика, в соответствии с которой делается итоговое заключение о соответствии/несоответствии программы [21].

В доступных нам для анализа зарубежных исследованиях акцент делается на оценке качества образовательных программ с позиции усиления их практической направленности. Так, в работе Дж. Бенгсон и Дж. Ланнеблад рассматривается проблема создания совместных обучающих программ в школах Швеции, а также методы их оптимизации и рационализации через введение института координаторов [22]. Исследование К. Ламмерт и Э. А. Акуоки посвящено изучению механизмов совмещения образовательной и профессиональной деятельности с целью улучшения качества практической подготовки студентов педагогических специальностей [23]. В работе Э. Немины и соавторов также приводится анализ эффективности сетевых образовательных программ для подготовки учителей [24]. Исследование Ф. Похленза, С. Берндт и Дж. Хартмана посвящено поиску факторов, определяющих успешность и результативность сетевых программ в высшем образовании [25].

Таким образом, в научной литературе существует достаточно много авторских подходов к оценке качества сетевых программ, но, как правило, они не являются системными и рассматривают только отдельные аспекты программы, чаще всего ресурсное обеспечение. Нормативная база в области оценки качества образовательных программ не содержит специальных требований, распространяющихся на сетевые программы, поэтому для оценки качества таких программ образовательные организации используют общие методики. В то же время следует признать, что сетевая форма имеет свои особенности, поэтому требует разработки особой методологии оценки качества.

Методологическая база исследования / Methodological base of the research

Методологической базой исследования выступает квалиметрический подход, который наилучшим образом сочетается с сетевой технологией, так как последняя появилась и развивалась на протяжении двух последних десятилетий именно как механизм повышения качества образовательного процесса и его результатов.

Квалиметрия – это наука об измерении и количественной оценке качества процессов и объектов любой природы [26]. Поэтому методы квалиметрии могут быть применены и для оценки качества сетевых образовательных программ.

С точки зрения квалиметрии качество – это совокупная характеристика основных свойств объекта, определяющих способность удовлетворять потребности потребителя наиболее приемлемым и экономичным способом [27].

При этом не стоит забывать, что у высшего образования всегда несколько потребителей – это студенты, потенциальные работодатели, государство, общество в целом и прочее, и каждый из них может иметь свои отличающиеся от других потребности. Поэтому квалиметрический подход – это всегда подход комплексный.

Применение квалиметрического подхода в образовании сопряжено с рядом трудностей, так как изначально методы квалиметрии разрабатывались для промышленной продукции, обладающей конкретными и измеримыми характеристиками. Характеристики и свойства образовательной программы не так легко определить количественно, поэтому часто качество оценивают на основе экспертных методов [28, 29], а они всегда приносят в оценку элемент субъективности.

Перечислим основные методологические принципы квалиметрического подхода.

1. Методы квалиметрии должны быть полезными, приводить к правильным результатам, а также включать в себя достоверную систему интерпретации количественных оценок, которая позволит улучшить качество программы.
2. Показатели качества, положенные в основу оценки, должны выбираться с учетом мнения всех заинтересованных сторон.
3. Оценка качества основывается на сравнении с эталоном – базовым объектом, качество которого признано наивысшим в данных условиях. Выполнение этого принципа достаточно сложно обеспечить для сетевой программы, поэтому можно либо выбрать наилучшую из реализуемых сетевых программ, либо прибегнуть к методу экспертной оценки базовых показателей.
4. Показатели качества имеют иерархическую структуру, при этом показатель любого последующего уровня является обобщением предыдущих. Например, единичные показатели качества: результаты текущей и промежуточной успеваемости студентов, контрольных измерений уровня сформированности компетенций и прочие – могут быть объединены в обобщенный показатель более высокого уровня – «качество реализации программы».
5. Все показатели качества должны быть приведены к одной размерности или же выражены в безразмерных единицах, например в баллах по 10-балльной шкале, что удобно как для оценки успеваемости, так и для экспертной оценки.
6. При определении комплексного показателя качества необходимо определить и учитывать весовые коэффициенты единичных показателей, сумма которых должна быть равна единице. Для определения весовых коэффициентов обычно применяется метод экспертной оценки.
7. Качество целого объекта всегда обусловлено качеством его составных частей. Так, качество сетевой образовательной программы зависит от качества студентов, кадрового состава, материально-технического и учебно-методического обеспечения и пр.

Исследование осуществлялось в три этапа.

На первом этапе была построена динамическая модель системы оценки качества для сетевой программы. В основу модели положен итеративный цикл Шухарта – Деминга, получивший название PDCA (Plan-Do-Check-Act) [30].

На втором этапе была разработана иерархическая система показателей качества сетевой программы, определена шкала и методика их оценивания, а также механизм определения и интерпретации значений комплексного показателя качества программы. При разработке системы оценивания мы исходили из предпосылки, что оценка качества должна проводиться систематически и комплексно, поэтому оптимальным методом для ее реализации на практике является мониторинг [31, 32].

На третьем этапе была проведена апробация разработанных подходов и методов на примере одной из сетевых образовательных программ, реализуемых на физико-математическом факультете Смоленского государственного университета.

Результаты исследования / Research results

Для разработки модели системы оценки качества нами был выбран цикл Шухарта – Деминга PDCA, широко известный в практике систем управления качеством и положенный в основу стандарта ГОСТ Р ИСО 9001-2015 «Системы менеджмента качества. Требования» [33]. Цикл PDCA – это итерационный цикл, включающий четыре основных этапа: Plan – планирование, Do – выполнение плана, Check – контроль, Act – улучшение. После того как завершается четвертый этап, начинается первый, но уже на новом, более высоком уровне качества.

Первый этап «Планирование» включает в себя выбор организаций-участников, подписание договора о сетевой форме реализации программы, проектирование и разработку образовательной программы, обеспечение необходимых условий (кадровых, материальных, финансовых и пр.) ее реализации, а также набор студентов на программу. С точки зрения управления качеством на данном этапе необходимо провести следующие мероприятия:

1)   оценка организаций-участников, результатом которой должна стать твердая уверенность в том, что партнеры обладают необходимыми компетенциями и/или ресурсами для реализации совместной программы;

2)   оценка качества образовательной программы, включающая в себя не только проверку соответствия нормативным документам, но и более глубокую экспертную оценку соответствия программы лучшим отечественным и мировым образовательным практикам, достижениям в области науки, запросам экономики региона, в том числе оценка условий реализации программы в части необходимого учебно-методического обеспечения, материально-технических условий и кадров;

3)   оценка качества поступающих на программу, так как именно от уровня контингента студентов во многом зависит успешность реализации программы.

Второй этап «Выполнение» – самый длительный этап цикла, соответствует реализации образовательной программы от приема обучающихся до выпуска. На данном этапе контроль качества должен стать регулярным в форме мониторинга. Основные мероприятия по оценке качества на данном этапе:

1)   текущий контроль деятельности организаций-участников в части соответствия требованиям нормативных документов, сетевого договора и содержанию образовательной программы;

2)   контроль за соответствием хода образовательного процесса требованиям нормативных документов и содержанию образовательной программы, в том числе в части ресурсного обеспечения;

3)   контроль результатов освоения студентами образовательной программы (текущая и промежуточная аттестация, контрольные замеры уровня сформированности компетенций и пр.).

Третий этап «Контроль» предполагает итоговую оценку качества реализации образовательной программы. На данном этапе могут быть запланированы следующие мероприятия по оценке качества:

1)   итоговая оценка эффективности работы организаций – участников сетевой программы;

2)   итоговая оценка образовательной программы, в том числе с позиции ее результативности и эффективности;

3)   итоговая оценка результатов освоения студентами образовательной программы, включающая независимую оценку сформированности компетенций.

Четвертый этап «Улучшение» предполагает пересмотр сетевого договора, образовательной программы и условий ее реализации, требований к поступающим на программу на основании результатов контроля качества, полученных на всех предыдущих этапах. Основные мероприятия данного этапа:

1)   обновление перечня организаций – участников сетевого взаимодействия, а также требований к таким организациям;

2)   актуализация и обновление образовательной программы, в том числе коррекция и улучшение ресурсного обеспечения;

3)   обновление требований к поступающим на программу, а также контрольных материалов и процедур проведения текущего, промежуточного и итогового контроля.

Основными механизмами оценки качества на всех четырех этапах будут мониторинг и анализ его результатов, внутренние аудиты, тестирование и иные формы оценки уровня сформированности компетенций, опросы основных стейкхолдеров.

Для каждого из этапов должны быть разработаны показатели оценки качества и методика их определения. На наш взгляд, наиболее пристального внимания требует методика проведения мониторинга на этапе реализации программы.

Показатели качества сетевой программы должны удовлетворять ряду условий.

1. Показатели должны отображать требования нормативных документов, прежде всего ФГОС ВО.
2. Показатели должны быть измеримыми (или оцениваемыми).
3. Система не должна содержать слишком большое количество показателей, чтобы не усложнять анализ результатов мониторинга.
4. Показатели должны быть полезными не только для текущей оценки качества образовательной программы, но и для ее улучшения.

Схематически предложенная система оценки качества изображена на рисунке.

Цикл управления качеством сетевой образовательной программы

Система мониторинга качества, в соответствии с представленной выше моделью, включает три группы показателей, каждая из которых содержит пять единичных показателей качества. Таким образом, комплексная оценка качества складывается из 15 единичных показателей. Рассмотрим показатели качества и критерии их оценивания в рамках каждой из групп.

Группа 1 – показатели качества сетевого взаимодействия, характеризуют качество реализации программы организацией-участником (табл. 1). В зависимости от способа участия организации-партнера в сетевой программе (образовательная организация, реализующая часть программы/организация, предоставляющая ресурсы) показатели данной группы могут варьироваться. Например, если партнер только предоставляет ресурсы для реализации программы, то показатель 1.2 войдет в комплексную оценку с нулевым весовым коэффициентом.

Таблица 1

Показатели качества сетевого взаимодействия

Группа 2 включает в себя показатели качества образовательной программы и условий ее реализации (учебно-методического, материально-технического и кадрового обеспечения) в целом (табл. 2). Ответственность за качество программы несет базовая организация.

Таблица 2

Показатели качества образовательной программы и условий ее реализации

Группа 3 – показатели качества подготовки студентов в части промежуточной оценки достижения результатов обучения, определенных в программе (табл. 3).

Таблица 3

Показатели качества подготовки студентов

В рамках каждой группы необходимо определить весовые коэффициенты для отдельных показателей. Для нахождения значений весовых коэффициентов обычно используют метод экспертной оценки, результаты которого могут быть обработаны с использованием методики ранжирования. Сумма весовых коэффициентов для каждой группы должна быть равна единице.

Итоговый показатель качества У_к определим на основе методики вычисления комплексного показателя качества по формуле:

где i – номер группы показателей качества, j – номер показателя качества, П_ij – единичный показатель качества, q_ij– весовой коэффициент.

Для интерпретации полученного результата введем уровневую шкалу (табл. 4).

Таблица 4

Уровни качества сетевой образовательной программы

Разработанная методика применяется на физико-математическом факультете Смоленского государственного университета для оценки качества сетевой образовательной программы по направлению подготовки 11.03.01 «Радиотехника», реализуемой совместно с научно-инновационным центром «Завант». В табл. 5 представлены результаты мониторинга по итогам двух лет реализации.

Таблица 5

Результаты мониторинга качества сетевой образовательной программы

Представленные результаты мониторинга являются понятным и наглядным средством не только для оценки существующего уровня качества сетевой образовательной программы, но и для выявления «проблемных точек» с целью принятия необходимых управленческих решений и проведения корректирующих действий.

Заключение / Conclusion

Таким образом, в ходе исследования проведен анализ представленных в отечественной и зарубежной научной литературе подходов к оценке качества сетевых программ, в том числе на основе квалиметрического подхода. Установлено, что ни в нормативной документации, ни в научных работах, доступных для анализа, не представлена комплексная система оценки качества сетевых программ, акцент смещен в сторону отдельных свойств таких программ, чаще всего ресурсного обеспечения.

Результатом исследования стала разработка итерационной модели системы оценки качества сетевой программы, в основу которой положен цикл Шухарта – Деминга PDCA. Представленная модель является наглядной, позволяет выделить наиболее важные контрольные точки для оценки качества программы, а также своевременно принять необходимые управленческие решения и провести корректирующие действия. Для стадии реализации сетевой программы разработана иерархическая система показателей, положенная в основу регулярного мониторинга качества программы. Определены критерии и шкалы оценивания отдельных показателей качества, а также механизм определения и интерпретации значений комплексного показателя качества программы. Представленный мониторинг используется для оценки качества сетевых образовательных программ, реализуемых на физико-математическом факультете Смоленского государственного университета. Мониторинг позволяет получить объективную информацию о качестве программы в целом и ее отдельных составляющих в частности, а его результаты являются наглядными и простыми в интерпретации.