Full text

Введение / Introduction

 

В рамках компетентностной парадигмы образования невозможна оценка достижения учащимся (обучающимся, студентом) необходимого для дальнейшей успешной практической деятельности уровня сформированности профессиональных компетенций «классическими» методами (письменный и устный экзамен, зачет и т. д.). Необходимы иные формы и методы оценивания уровня развития у учащегося соответствующих компетенций, среди которых наиболее перспективным является демонстрационный экзамен. При проведении демонстрационного экзамена оценивание уровня сформированности и развития у учащегося общепрофессиональных и профессиональных компетенций возлагается на экспертную группу.

В настоящее время формы и методы создания указанных экспертных групп не определены нормативными документами, что приводит к преобладанию эмпирических методов в отборе экспертов, комплектовании экспертных групп, выборе форм и методов оценки уровня развития профессиональных компетенций у отдельного учащегося, что приводит к низкой эффективности проводимого демонстрационного экзамена. Таким образом, разработка и внедрение в образовательный процесс образовательных организаций высшего образования научно обоснованной методики отбора экспертов и формирование экспертных групп для проведения демонстрационного экзамена – актуальные педагогические проблемы.

Целью проводимого исследования является совершенствование методов проведения педагогической экспертизы для повышения эффективности демоэкзамена.

Для достижения поставленной цели в процессе проведения опытно-экспериментальной работы нами решалась задача совершенствования механизма объективной оценки уровня сформированности и развития у учащегося профессиональных компетенций, коррекции его индивидуальной образовательной траектории путем разработки и внедрения в образовательный процесс образовательных организаций высшего образования научно обоснованной методики отбора экспертов и формирования экспертных групп для проведения демонстрационного экзамена.

 

Обзор литературы / Literature review

 

В современной научной литературе, посвященной исследованиям в области педагогики, общего и профессионального образования, значительное место занимают проблемы оценивания достигнутых учащимися результатов, соответствия целей и результатов обучения, обеспечения востребованности молодых специалистов на рынке труда. Большой процент научных исследований посвящен вопросам организации демонстрационного экзамена как эффективного метода оценки работы образовательной организации и самого учащегося по формированию и развитию у него необходимых профессиональных компетенций. В работе Л. Л. Зазнобиной показано, что демонстрационный экзамен является важным звеном в подготовке квалифицированного специалиста на современном этапе [1]. В. В. Поникаровская указывает, что демонстрационный экзамен – это эффективный инструмент построения жизненно-образовательного маршрута учащегося [2]. В работе М. Б. Хабибулиной рассматриваются актуальные системы оценки профессиональных умений и знаний учащегося при проведении демонстрационного экзамена [3]. К. А. Бедушевым проведено исследование, по результатам которого автором делается вывод о взаимосвязи демонстрационного экзамена и востребованности выпускников образовательной организации на рынке труда [4]. В работе Ж. А. Геворкянц демонстрационный экзамен рассматривается как элемент системы оценки качества образовательных результатов применительно к учащемуся и образовательной организации в целом [5]. Л. А. Жиркова обобщает результаты работы ранее указанных авторов и рассматривает демонстрационный экзамен как инновационную форму практического обучения и новый формат демонстрации учебных достижений [6]. В работе О. С. Смолич-Сурковой сделан акцент на проведение демонстрационного экзамена по стандартам Worldskills как результат подготовки конкурентоспособного специалиста [7].

Особенности применения демонстрационного экзамена в педагогическом образовании отражены в работах Е. И. Белянковой [8]. Н. А. Ленгесовой демонстрационный экзамен рассматривается как форма аттестации будущих педагогов [9]. Л. В. Самсоновой показана необходимость проведения демонстрационного экзамена в системе высшего образования [10]. О. Н. Судаковой демонстрационный экзамен в системе высшего образования рассматривается как форма объективного оценивания уровня сформированности и развития у выпускников необходимых профессиональных компетенций [11].

В работе Н. А. Пенкиной и А. А. Кирчевой показано, что «включение формата демонстрационного экзамена в процедуру государственной итоговой аттестации обучающихся профессиональных образовательных организаций – это модель независимой оценки качества подготовки кадров, содействующая решению нескольких задач системы профессионального образования и рынка труда без проведения дополнительных процедур», а оценивание достигнутых результатов предполагает «независимую экспертную оценку выполнения заданий демонстрационного экзамена, в том числе экспертами из числа представителей предприятий» [12]. Исследования А. Ю. Овчинникова показывают, что основной формой демоэкзамена должны были стать «процедуры, связанные с выполнением практических задач по основным видам деятельности. Положительный результат аттестации подтверждает, что образовательная программа освоена студентом успешно», а объектом оценивания выступают запланированные результаты «образовательной программы в виде освоения профессиональных и общепрофессиональных компетенций» [13]. Планируемые результаты наиболее точно определены в работе В. А. Хуторского: «Система образования должна лучше оснащать людей навыками и знаниями, чтобы они отвечали требованиям цифровой рабочей среды и общества знаний» [14].

Однако именно вопросы оценивания достижения учащимся поставленных образовательных целей являются самыми дискуссионными, напрямую влияющими на эффективность применения демонстрационного экзамена как инструмента объективного оценивания деятельности образовательного учреждения и самого учащегося. Так, в работе А. И. Попова, посвященной обзору форм, направлений и методов совершенствования механизма демонстрационного экзамена в профессиональном образовании, делается обоснованный вывод, что «в современной организации демонстрационного экзамена есть значительное количество объективных и субъективных недостатков» [15]. Особую актуальность проблема определения состава экспертной группы для проведения демоэкзамена имеет в педагогических вузах, что показано в работе Т. В. Макеевой [16]. Е. И. Чучкаловой уточняется проблема определения состава экспертной группы для проведения демоэкзамена для оценки сформированности компетенций по результатам практического обучения [17]. Прямая зависимость эффективности демонстрационного экзамена в педагогических вузах от привлечения в экспертную группу высококвалифицированных специалистов, пользующихся авторитетом среди студентов, показана в работе Б. Е. Стариченко и Л. В. Сардак [18].

Аналогичные исследования, проводимые как отдельными ведущими учеными, так и научными коллективами, показывают высокую эффективность демонстрационных экзаменов или аналогичных форм проведения итоговой аттестации для объективной оценки полученных учащимися профессиональных компетенций. В работе И. В. Дуды с соавт. показано, что «подобный опыт также представлен в системе подготовки бакалавров в США и Великобритании, а также в некоторых европейских странах, где через выполнение действий в “поведенческом” аспекте или через “функциональные навыки” (в любом случае понимается демонстрация элементов профессиональной деятельности) можно возможность оценить все аспекты компетентности» [19]. В работе E. В. Евсиной показана необходимость оценивания уровней сформированности и развития у учащихся профессиональных компетенций методами групповых экспертных оценок, ведь «метод групповых экспертных оценок является основополагающим в педагогической квалиметрии – науке об измерении и оценке качества педагогических объектов и процессов» [20]. Активно идут работы в области алгоритмизации обработки результатов, полученных при проведении групповой педагогической экспертизы. В работе С. Горета и соавт. предлагается алгоритм согласования мнений экспертов для получения точной (в авторском варианте – адекватной) оценки учащихся при «решении» ими учебных ситуаций [21]. В работе T. Гордиенко и соавт. рассматриваются прикладные аспекты проведения экспертной оценки компетенций, сформированных у учащихся и достигнутых ими результатов обучения применительно к области информационно-измерительных технологий [22]. В работах указанных авторов показана четкая зависимость между качеством проводимой в рамках демонстрационного экзамена процедуры экспертной оценки уровня сформированности и развития у учащихся общих и профессиональных компетенций и стремлением учащегося продемонстрировать достижение им целей образовательного процесса, принятием экспертной оценки, а также дальнейшей работой учащегося над совершенствованием и развитием своих компетенций исходя из полученных экспертных оценок, что рассматривается авторами как «эффективность» указанного процесса. В исследовании Г. А. Дмитренко, Н. В. Головач, Л. А. Згалат-Лозинской, И. А. Семенец-Орловой повышение эффективности образовательного процесса рассматривается как технологическая основа улучшения человеческого капитала «формирование лучших человеческих качеств в рамках нового гуманизма, который связан с содействием самореализации личности одновременно в интересах общества и человечества» [23].

Однако, несмотря на большой объем проводимых научных исследований, гарантированно добиться высокой эффективности демонстрационного экзамена не удается. Так, В. Н. Головачева указывает, что, хотя предложенная авторским коллективом методика «дает возможность применить полученные результаты для решения научной проблемы объективного и достоверного оценивания знаний, но полученные результаты не решают все аспекты проблемы качества знаний, полученных в процессе обучения. Дальнейшая теоретическая и практическая разработка данного направления требует решения таких вопросов, как совершенствование метода тестирования в плане увеличения количества критериев оценки знаний, разработки критериев оценки их качества, развития базы знаний и т. д. Однако такая экспертная система контроля и оценки знаний на данном этапе не рекомендуется к массовому использованию в образовательном процессе» [24].

Таким образом, проблема организации эффективного демонстрационного экзамена для объективной оценки уровня сформированности и развития у учащегося профессиональных компетенций в настоящее время не решена в полном объеме.

 

 

Методологическая база исследования / Methodological base of the research

 

Педагогическая категория «эффективность» применительно к системе образования понимается как «интегрированное свойство образования (как единство обучения и воспитания в контексте всех потоков социализации, множества социальных практик), характеризуемое мерой деятельности и обобщенным качеством результата педагогического взаимодействия в образовании; эффективность образования складывается из его результативности, действенности, производительности и ценности: результативность образования выражает наиболее общее представление о полученных результатах образования; действенность образования относится к достижению заявленных целей образования (показатель действенности образования – отношение результатов, которые достигнуты (результативность) к целям образования); производительность образования характеризует ресурсы, которые затрачены для получения определенных результатов образования (показатель производительности образования — отношение результатов образования к фактическим затратам); ценность (значимость) образования характеризует результаты деятельности образования с точки зрения степени их соответствия избранной системе ценностей» [25]. В общем случае различают внутреннюю эффективность образования и внешнюю эффективность образования. Применительно к рассматриваемой педагогической проблеме оценка внешней эффективности – достаточности уровня сформированности и развития у учащегося профессиональных компетенций, гарантирующих ему востребованность на рынке труда, – возложена на привлекаемых для работы в экспертной группе представителей работодателей. В данном случае оценка уровня сформированности и развития профессиональных компетенций учащегося в рамках проведения демонстрационного экзамена рассматривается как оценочная педагогическая экспертиза, формы, методы и алгоритмы работы хорошо известны и освещены в научной литературе, например в работах Ж. А. Кашматовой [26].

Внутренняя форма эффективности образования показывает уровень достижения учащимся поставленных им самим образовательных целей, которые, как правило, никогда полностью не совпадают с целями образовательной организации и рынка труда. Учитывая, что индивидуальная образовательная цель никогда не бывает статичной, демонстрационный экзамен следует рассматривать как один из этапов ее достижения учащимся, на котором индивидуальная образовательная цель корректируется, а также корректируется индивидуальная образовательная траектория ее достижения. Здесь работа экспертной группы на демонстрационном экзамене должна организовываться как прогностическая педагогическая экспертиза.

Таким образом, повышение эффективности демонстрационного экзамена в образовательном процессе в значительной степени зависит от повышения эффективности его внутренней формы. Однако в этом случае задачи, формы, методы и алгоритмы работы экспертной группы при проведении демонстрационного экзамена существенно меняются. В первую очередь, как показано в работе Р. Грундманна, меняется алгоритм отбора экспертов и формирование экспертных групп [27]. «Из всех вопросов, которые приходится решать в процессе экспертной оценки… главным является вопрос выбора экспертов» [28]. Авторами показано, что в данном случае недопустимо использование эмпирических методов отбора экспертов в экспертную группу для проведения демонстрационного экзамена, а необходимо применять иные методы, например метод «Снежный ком», в котором лицо, принимающее решение (ЛПР), выбирается первым самим учащимся [29]. Теоретическое обоснование выбора метода «Снежный ком» и некоторые особенности его реализации при отборе экспертов в экспертную группу при проведении демонстрационного экзамена в образовательных учреждениях педагогического профиля приведены в работе М. В. Слепцовой [30].

Однако в научной литературе не приводятся количественные показатели изменения эффективности образовательного процесса при проведении процедур промежуточной и итоговой аттестации учащихся в виде прогностической педагогической экспертизы, что важно при решении задачи «обеспечения получения учащимися знаний, умений, навыков, компетенций, которые востребованы обществом и соответствуют актуальным требованиям к уровню и качеству подготовки будущих рабочих (служащих) и специалистов» [31].

Задачей проводимого нами исследования стало получение точных количественных значений повышения эффективности демонстрационного экзамена при организации в виде прогностической педагогической экспертизы, направленной в первую очередь на решение вопросов внутренней (для учащегося) формы образования.

Для решения поставленной задачи нами была проведена опытно-экспериментальная работа на базе Федерального государственного бюджетного образовательного учреждения высшего образования «Воронежский государственный педагогический университет» в 2022–2024 годах.

В опытно-экспериментальной работе приняли участие 998 студентов очной и заочной форм обучения, обучающихся по следующим направлениям подготовки: 44.03.01 Педагогическое образование, 44.03.02 Психолого-педагогическое образование, 44.03.03 Специальное (дефектологическое) образование, 44.03.05 Педагогическое образование (с двумя профилями подготовки), 44.03.04 Профессиональное обучение (по отраслям), 51.03.02 Народная художественная культура, 05.03.06 Экология и природопользование, 44.04.01 Педагогическое образование.

Для получения количественных данных результатов в опытно-экспериментальной работе нами был использован метод анкетирования участников с последующей обработкой анкет методами математической статистики.

Были сформированы две группы: «базовая» и «экспериментальная». Каждой из этих групп было предложено проведение в 2022 году демонстрационного экзамена в качестве промежуточной аттестации. Студенты «базовой» группы были лишены права выбора экспертов для формирования экспертной группы при проведении промежуточной аттестации в форме демонстрационного экзамена. Экспертная группа формировалась нами из числа потенциальных работодателей, профессорско-преподавательского состава Воронежского государственного педагогического университета, представителей педагогических коллективов образовательных учреждений различного уровня г. Воронежа и Воронежской области. В 2022 году из общего числа участников педагогического эксперимента в составе «базовой» группы только шесть человек изъявили желание участвовать в проведении промежуточной аттестации в качестве демонстрационного экзамена, что составило 3,57% от общего числа студентов в «базовой» группе.

Студентам «экспериментальной» группы было дано самостоятельное право выбора первого эксперта (ЛПР), причем было наложено два ограничения. Во-первых, дальнейший выбор экспертов для формирования экспертной группы проводился методом «Снежный ком», т. е. ЛПР могло и не попасть в итоговый список экспертной группы. Во-вторых, студент гарантировал участие выбранного им ЛПР в работе экспертной группы при условии его попадания в конечный список. Таким образом, нами выполнялось условие учета в оценке уровня сформированности и развития у студента общих и профессиональных компетенций внутренней формы образования, предоставления студенту возможности продемонстрировать свои достижения важным для него специалистам-экспертам, способным объективно оценить достижение студентом индивидуальной образовательной цели. Далее опрашивалось выбранное студентом ЛПР, которое называло три фамилии людей, которые, по его мнению, должны быть привлечены к оцениванию результатов демоэкзамена указанного студента по соответствующей тематике. Затем у указанных людей получали еще по три фамилии и так далее. Общее количество итераций было ограничено числом 10. Из полученного списка проводилось ранжирование кандидатов в эксперты по числу упоминаний. Четыре человека, наиболее часто упоминавшихся в процессе отбора экспертов, приглашались в экспертную группу. Пятым членом экспертной группы при проведении демоэкзамена всегда назначался один из сотрудников Воронежского государственного педагогического университета из числа профессорско-преподавательского состава. В 2023 году из общего числа участников педагогического эксперимента в составе «экспериментальной» группы 36 человек изъявили желание участвовать в проведении промежуточной аттестации в качестве демонстрационного экзамена, что составило 10,4% от общего числа студентов в «экспериментальной» группе.

 

Результаты исследования / Research results

 

Повышение эффективности (или отрицательный результат) определялось нами путем анкетирования студентов по результатам проведения промежуточной аттестации в форме демонстрационного экзамена, согласия студентов с оценками и выводами экспертной группы, стремления его к участию в промежуточной аттестации в форме демонстрационного экзамена в дальнейшем.

В 2022 году из шести участников педагогического эксперимента из числа студентов, входивших в состав «базовой» группы, полное согласие с оценками и выводами экспертной группы выразили два человека, равнодушие к оценкам и выводами экспертной группы – три человека, несогласие – один человек, стремление к участию в промежуточной аттестации в форме демонстрационного экзамена в дальнейшем выразили пять человек.

В 2023 году из 36 участников педагогического эксперимента из числа студентов, входивших в состав «экспериментальной» группы, полное согласие с оценками и выводами экспертной группы выразили 33 человека, равнодушие к оценкам и выводами экспертной группы не выразил никто, несогласие выразили три человека, стремление к участию в промежуточной аттестации в форме демонстрационного экзамена в дальнейшем – 36 человек.

В 2023–2024 годах количество желающих участвовать в проведении промежуточной аттестации в качестве демонстрационного экзамена из состава «базовой» группы оставалось стабильным на уровне 5–7% от общего числа студентов в «базовой» группе. В той же пропорции оставалось и отношение студентов к результатам промежуточной аттестации в форме демонстрационного экзамена и их желание в дальнейшем участвовать в опытно-экспериментальной работе.

В 2024 году количество желающих участвовать в проведении промежуточной аттестации в качестве демонстрационного экзамена из состава «экспериментальной» группы составило 72 человека – 92% от количества студентов в экспериментальной группе. По результатам его проведения полное согласие с оценками и выводами экспертной группы выразили 84% участников педагогического эксперимента в 2023 году и 96% – в 2024 году, стремление к участию в промежуточной аттестации в форме демонстрационного экзамена в дальнейшем выразили 100% участников опытно-экспериментальной работы из состава «экспериментальной» группы студентов.

Таким образом, назначение экспертов для формирования экспертной группы при проведении промежуточной аттестации в форме демонстрационного экзамена из числа потенциальных работодателей, профессорско-преподавательского состава Воронежского государственного педагогического университета, представителей педагогических коллективов образовательных учреждений различного уровня г. Воронежа и Воронежской области не приводит к повышению заинтересованности учащихся в результатах образовательной деятельности. Такой подход рассматривается ими как обычный «классический» экзамен со всеми «классическими» недостатками: субъективностью оценок, отсутствием понятных учащемуся оценочных шкал, учета личных образовательных потребностей учащегося, «обратной связи» с экспертами экспертной группы и т. д. Соответственно, отсутствует личная заинтересованность учащегося в результате демонстрационного экзамена, что существенно снижает внешнюю и внутреннюю эффективность образовательного процесса, приводит к игнорированию учащимся коррекции его индивидуальной образовательной траектории по результатам демонстрационного экзамена.

В то же время самостоятельный выбор учащимся ЛПР резко меняет его отношение к демонстрационному экзамену. В этом случае учащийся демонстрирует уровень сформированности и развития у него профессиональных компетенций перед важным для него экспертом (экспертной группой), авторитетным именно для него и его внутренних образовательных потребностей. Соответственно, полученные в результате опытно-экспериментальной работы количественные значения показывают изменение отношения учащегося к полученным оценкам, «принятие» оценочных шкал, готовность к коррекции индивидуальной образовательной траектории на основе полученных оценок, т. е. превращение демонстрационного экзамена в прогностическую педагогическую экспертизу, результаты которой востребованы учащимся, позволяют эффективно формировать и развивать у него перспективные профессиональные компетенции, обеспечивающие его дальнейшую востребованность на рынке труда.

Таким образом, нами получено количественное подтверждение повышения эффективности образовательного процесса в образовательной организации при включении в образовательный процесс демонстрационного экзамена как формы промежуточной и итоговой аттестации в виде прогностической педагогической экспертизы, направленной в первую очередь на решение вопросов внутренней (для учащегося) формы образования путем изменения применяемого подхода к определению состава экспертной группы.

 

Заключение / Conclusion

 

Повышение эффективности образовательного процесса, формирование и развитие у учащихся профессиональных компетенций, уровень которых позволит им стать востребованными специалистами на рынке труда, является целью научных исследований, проводимых ведущими научными коллективами в России и мире.

В силу особенностей педагогики как науки наиболее перспективным методом прогнозирования целей и оценивания результатов является педагогическая экспертиза, разные формы которой позволяют объективно оценить достижения либо поставить индивидуальную образовательную цель и сформировать индивидуальную образовательную траекторию учащегося, дать объективную оценку уровню достижения им планируемых результатов.

В образовательном процессе демонстрационный экзамен является формой педагогической экспертизы, повышение эффективности которой непосредственно влияет на повышение эффективности образовательного процесса в целом.

Одним из методов, напрямую влияющих на эффективность демонстрационного экзамена, является метод формирования экспертных групп для оценивания уровня сформированности и развития у учащихся профессиональных компетенций. Полученные в ходе педагогического эксперимента количественные значения эффективности проведения демонстрационного экзамена позволяют сделать вывод о необходимости применения для формирования экспертной группы метода «Снежный ком» при условии выбора ЛПР самим учащимся.

При проведении опытно-экспериментальной работы нами осуществлена апробация научно обоснованной методики отбора экспертов и формирования экспертных групп для проведения демонстрационного экзамена, получены количественные оценки повышения эффективности демонстрационного экзамена, что позволяет сделать вывод о том, что поставленная задача успешно решена.

Однако на эффективность демонстрационного экзамена влияют и иные факторы, напрямую связанные с вопросами комплектования и организации работы экспертной группы, а именно устранение влияния личностных факторов на объективность оценивания, согласование мнений экспертов в экспертных группах, повышение точности «прогнозных» оценок и т. д.

Разработка методов проведения демонстрационного экзамена, включающего комплексное решение по комплектованию экспертных групп, организации работы экспертной группы, устранению влияния личностных факторов на объективность оценивания, согласованию мнений экспертов, является актуальной педагогической проблемой, требующей дальнейшей реализации при проведении педагогических исследований.