Создание оценочных средств дополнительной профессиональной образовательной программы профессиональной переподготовки педагогических работников, не имеющих педагогического образования

Проблема создания оценочных средств актуальна при появлении новых документов, нормативно определяющих педагогическую деятельность в учреждении среднего профессионального образования (СПО). Таковыми стали профессиональные стандарты:

- «Педагог (педагогическая деятельность в сфере дошкольного, начального общего, основного общего, среднего общего образования) (воспитатель, учитель)» (утверждён приказом от 18 октября 2013 года N 544н с изменениями на 5 августа 2016 года)

- «Педагог дополнительного образования детей и взрослых» (утвержден 8 сентября 2015 г. № 613н)

- «Педагог профессионального обучения, профессионального образования и дополнительного профессионального образования» (Зарегистрировано в Минюсте России 24.09.2015 N 38993)

Эти стандарты вызвали в педагогической среде, в научном и педагогическом сообществе высшей школы неоднозначные отклики, как конструктивные, так и протестные [2, 4, 20]. Введение пробной версии способов реализации стандартов - уровневой модели оценки компетентностей учителей вызывает в основном негативную реакцию (http://www.edustandart.ru/otkrytoe-pismo-o-modeli-otsenki-kompetentsij). Процессы совершенствования систем оценивания педагогического образования непрерывно происходят и в европейских государствах и отличаются спецификой национальных систем [9, 19].

В этом контексте соответствие показателей профессиональной деятельности требованиям стандартов для педагогов, не имеющих педагогического образования и впервые пришедших в организацию профессионального образования, – это проблема как для взрослой личности, так для администрации профессиональных образовательных организаций. И если в практическом смысле вопрос о приёме на работу руководитель учреждения решает индивидуально (по результатам собеседования, информации от прежнего работодателя и др.), то для обоснованности аккредитации образовательного учреждения необходимо подтверждение наличия профессиональной педагогической переподготовки у таких работников. Такой документ вправе выдавать вуз или научная организация, имеющие право на реализацию дополнительной профессиональной образовательной программы профессиональной переподготовки (ДОППП).

Обучившийся по такой программе педагог в перспективе должен иметь ввиду, что знаний, полученных в результате официального (формального) образования, со временем окажется недостаточно. В этом случае будет важна работа методической службы образовательного учреждения, которая поможет педагогу составить свой собственный маршрут непрерывного образования. В него для устранения пробелов (дефицитов) компетенций будут включены такие формы как самообразование, информальное образование, неформальное образование в образовательных учреждениях и в отраслевых педагогических и производственных структурах [21].

Одну из основных задач реализации ДОППП составляет создание фонда оценочных средств, адекватных требованиям работодателя, профессионального педагогического сообщества региона и отвечающих нормативным требованиям  ФГОС обучения на соответствующий уровень квалификации (в данном случае уровень бакалавриата как первой ступени высшего образования) [12,22,23].

При установлении требований к результатам освоения ДОППП для мастеров производственного обучения СПО необходимо помнить, что эта программа: 1) работает на достижение общей цели – кадровое обеспечение региональной системы СПО, 2) является составляющей системы образовательных программ. В связи с этим определение требований рекомендуется начинать с более крупных единиц системы [12]. Таковыми, на наш взгляд, могут быть укрупнённые критерии оценивания для комплекса компетентностей, наиболее востребованных в профессиональном образовательном учреждении конкретной отрасли или региона (так называемые метапрофайлы) [10]. Подразумевается, что модули таких программ переподготовки могут использоваться и как самостоятельные программы повышения квалификации для тех педагогов, кому предстоит пройти процедуру аттестации. В дальнейшем необходимо предусмотреть возможность корреляции средств оценивания по ДОППП, дополнительных образовательных программ на курсах повышения квалификации, в аттестационных процедурах центров признания квалификаций и в структурах профессиональных педагогических квалификации.

В качестве альтернативного маршрута, образование взрослых, тем более тех профессионалов, кто много лет проработал на производстве, может проходить не только в формальном режиме. Возможно освоение педагогической профессии (на основе и в соответствии с ДОППП) в образовательном учреждении в комплексном формате: например, неформальное образование в сочетании с элементами самообразования или спонтанного (информального) образования. Поэтому для оценки освоения профессиональной квалификации может быть применена форма добровольной сертификации. Так, И.А.Виноградова, Е. В Иванова, предлагая проводить процедуру добровольной сертификации на соответствие практической педагогической деятельности профессиональному стандарту, основную цель сертификации представляют как подтверждение возможностей педагога обеспечивать качество образования в соответствии с имеющейся компетентностью. Безусловно, есть необходимость включить в содержание инвариантной части сертификационного экзамена тест на ИКТ-компетентность, экзамен по русскому языку, тест по нормативным документам; в вариативную – кейсы по специальным компетенциям, предметный экзамен [3].

В качестве экзаменационной/сертификационной процедуры, на наш взгляд, может быть предложен демонстрационный экзамен для педагогов по результатам обучения пропедевтической группы студентов СПО за год, рассмотренный нами ранее [8]. В этом экзамене педагог демонстрирует освоение компетенций в учебной, производственной и исследовательской деятельности в соответствии с образовательным стандартом педагога и требованием к трудовым функциям профессионального стандарта.

В любом случае выбор, корректировка и совершенствование средств и процедур оценивания должно проходить по принципу «обратной волны» (обратное  влияние), так называемое «washback/backwash» [Гвоздева М. С. ,5]. Суть этого принципа в оценке педагогического образования состоит в том, что нормируемые оценочные средства проходят апробацию и получают всестороннюю оценку в сети образовательных партнёров, реализующих эту технологию в своих образовательных структурах. Выявленные недостатки корректируются и новые средства оценивания «обратной волной» поступают в общедоступный банк/хаб оценочных средств, которым могут воспользоваться образовательные организации для реализации образовательных программ формального и неформального образования [6,7]. При этом активизируется синергетический эффект создания нового знания. К числу направлений синергетических процессов в образовании, отмеченных С.В. Кривых (содержание образования и характер общения субъектов образования), следовало бы добавить и направление создания оценочных средств и процедур, отвечающих изменяющимся запросам общества и системы образования [11]. Так, 25.08.2017 на совещании педагогических работников Тульской области зам. министра образования и науки РФ Синюгина Т.Ю. отметила, что усилия будут нацелены на перевод аттестации из формального процесса в качественный и содержательный (сайт Стандарты в Образовании, м-лы «Российской газеты» // http://iltumen.ru/content/ministr-obrazovaniya-rf-olga-vasileva-rasskazalai14.08.2017). Однако появившаяся в это же время демонстрационная версия оценочных процедур вызвала негативную «обратную волну» (http://www.edustandart.ru/otkrytoe-pismo-o-modeli-otsenki-kompetentsij-uchitelej). Вероятно, создание оценочных средств соответствия профессиональным и образовательным стандартам для педагогов ожидает ещё более тернистый путь, чем внедрение ОГЭ и ЕГЭ.

В поисках создания адекватных и приемлемых процедур оценивания на различных ступенях образования вводятся оценочные средства вариативного назначения, позволяющие выявить обязательные знания, проектировочные умения и рефлексивные процессы. Для освоения профессиональных педагогических знаний также необходимы такие средства, которые, кроме знаний и проектировочных умений, позволяют выявить исследовательские и аналитические компетентности в педагогической сфере. Так, по примеру средств оценивания в третьей ступени высшего образования, предложенных Акимовой О.Б., Колеговой Е.Д можно предложить в качестве оценочных средств для ДОППП мини-проекты в формате «Роль» + «Ситуация»; «Исследование» + «Проект» (исследование ситуации, выявление проблемы и разработка нестандартных рекомендаций по её решению) и т.д. Разработка заданий должна сопровождаться установлением критериев для их оценивания. Совокупность оценочных критериев может быть оформлена как экспертный лист. Формулировка заданий должна включать требования к условиям их выполнения Оценка может осуществляться на основе различных видов доказательств: прямое и косвенное. В качестве косвенного доказательства могут быть: а) отзыв коллеги или видеоматериал, представленные на семинаре; б) смоделированная ситуация; в) выступление на семинаре с презентацией собственного опыта работы и др. В пояснительной записке (паспорте) КОС необходимо указать и обосновать предпочтительную форму экзамена: выполнение задания, защита курсового проекта, выступление на конференции, на семинаре; мастер-класс и др. Окончательно решение о форме экзамена принимается при согласовании со слушателем и утверждается руководителем ДОППП [1].

Однако, как форма оценочного средства курсовой проект для данной категории слушателей, на наш взгляд, не является предпочтительным вариантом процедуры оценивания - такая форма экзамена возможна в том случае, когда его выполнение связано с целевым заказом работодателей, опирается на опыт работы на практике, отражает уровень освоения закрепленных за модулем компетенций. Задания для экзамена (квалификационного) могут быть 3 типов: 1) ориентированные на проверку освоения вида педагогической деятельности в целом; 2) проверяющие освоение группы компетенций; 3) проверяющие отдельные компетенции внутри профессионального модуля или определяющие компетенции педагога на перспективу. В ходе разработки содержания заданий происходит уточнение показателей оценки результатов. Стоит согласиться с тем, что установление показателей результата, разработка заданий и определение критериев их оценивания – процесс итерационный. Поэтому целесообразно привлекать к разработке/экспертизе контрольно-оценочных средств работодателей из числа партнёров по сетевому взаимодействию [1].

В создании оценочных средств необходимо соблюдать принципы, адекватные задачам образования обозначенной категории педагогических работников: принцип компетентностно-деятельностного подхода, принципы гибкости, мобильности, вариативности, принцип соединения науки и практики через развитие экспертной, проектной и исследовательской деятельности; привлечение лидеров образования в систему повышения квалификации для передачи своего опыта; принцип оперативности, принцип доступности, принцип индивидуализации, непрерывности образования, диверсификации и т.д. [15 ]. Особо следует выделить:

- принцип ориентации на конечный результат, осуществляемый с помощью механизмов государственно-общественной экспертизы и общественно-профессиональной аккредитации образовательных программ выявления образовательных запросов потребителей услуг и их мониторинг;

- принцип открытости, обеспечивающий возможность влияния широкой педагогической общественности на обучение по ДОППП;

- принцип независимости и объективности оценки результатов за счет разделения  функций формирования заказа на образовательные услуги и оценки качества его исполнения между разными организациями системы.

Рассматривая разработку оценочных средств, можно констатировать использование различными авторами программ однотипного алгоритма подготовки оценочного материала [15, C.66]: 1. Установка целей задач, 2. Разработка аналитической экспертной анкеты для работодателей, 3. Проведение экспертного анализа и исследования базовых элементов компетентности. 4. Обработка материала исследования на предмет выявления базовых компетенций, их формулировок, индикаторов проявленной (выраженности) – с учётом состава аудитории 5. Доработка и уточнение перечня компетенций и индикаторов. 6. Согласование компетенций и индикаторов с ассоциациями работодателей, общественными и экспертными организациями в данной области. 7. Подбор диагностического и стимульного материала, разработка и доработка тестовых и кейсовых заданий   8. Адаптация и доработка (при необходимости) компьютерной системы – включая средства идентификации и аутентификации (фото и видеофиксация). 9. Загрузка механизмов в электронную систему. 10. Проведение пилотного тестирования на ограниченной группе участников. 11. Доработка (при необходимости) диагностических материалов и программного обеспечения. 12. Накопление и анализ статистики выполнения заданий с целью последующей доработки.

Отдельный вопрос составляет выбор способов выражения оценки освоения ДОППП. По мнению Сарченко В.И., Категорской Т.П. всю совокупность методических подходов к применению балльно-рейтинговой системы оценивания можно условно разделить на следующие группы: ● I группа – использование текущего и накопительного рейтингов успеваемости; ● II группа – использование с применением среднего показателя успеваемости; ● III группа – использование с дифференциацией теоретической и практической направленности курса. Эти выводы основаны на практике и их следует иметь ввиду при дальнейшем совершенствовании систем оценивания. Кроме классических систем оценивания по пятибалльной шкале, в ходе различных процедур оценивания освоенных компетенций с учётом вида модулей программы могут быть применены дихотомическая шкала (зачёт-незачёт) - для зачёта; балльная - для теста, пятибалльная и уровневая – для экзамена, балльно-рейтинговая для экспертных оценок при проведении экзамена в форме учебной конференции [18].

Такой существенный фактор повышения качества оценивания компетенций как участие профессиональных сообществ в процессе создания оценочных средств, что позволяет повысить объективность оценки, а также укрепить межсубъектные связи между образовательными учреждениями, а в перспективе – с работодателями.

Во взаимоэкспертизе профессиональных сообществ и социальных партнёров нуждается формирование методики оценки качества профессиональной подготовки выпускников вузов, которое базируется на использовании методик расчёта: единичных; комплексных, интегрированных. Тем не менее, такие расчёты, по мнению педагогов, трудозатратны и продолжительны по времени. В качестве недостатков балльного оценивания дисциплины выделяются её построение в идеологии «сверху вниз», необоснованная унификация по вузу перечня видов учебной деятельности, «жесткие» математические модели оценивания, отсутствие возможности оценки сформированности компонентов компетенций, громоздкая и неудобная для преподавателей схема документирования, использование бумажных носителей [Стариченко Б.Е.,20]. Несмотря на то, что балльно-рейтинговая система оценки получила широкое распространение в ведущих высших учебных заведениях России, общей модели ее применения на сегодняшний день не существует, в каждом отдельно взятом вузе ее применение связано с рядом особенностей.

Поэтому предлагается наряду с балльно-рейтинговыми и дихотомическими шкалами использовать экспертные оценки по индикаторному признаку – оценка выставляется за ключевой индикатор или за всю предъявленную к оцениванию группу компетентностей, включённую в метапрофайл. Метод выставления такой оценки – так называемый ассесмент.

Ассессмент-центр (assessment) — один из методов комплексной оценки работников, основанный на использовании взаимодополняющих методик, ориентированный на оценку реальных качеств сотрудников, их психологических и профессиональных особенностей, соответствия требованиям должностных позиций, а также выявление потенциальных возможностей специалистов. Оценка участников производится посредством наблюдения их реального поведения. В каждом задании за каждым участником закреплен эксперт. Он подробно фиксирует поведение своего подопечного, которое относится к наблюдаемой компетенции.

Пример внедрения такого метода в системе оценочных средств вуза приводят Беляк Е.И, Егорова Г.И. Лосева Н.И. В ходе образовательного процесса уровень сформированности профессиональных компетенций обучающихся определяется с помощью тестовых заданий разного уровня сложности: 1 уровень (знакомство) – тесты на распознавание; 2 уровень (репродукция) – типовые задачи, конструктивные тесты; 3 уровень – тесты–задания; 4 уровень – тесты–проблемы. Применительно к каждой компетентности авторы предлагают выделять различные уровни ее освоения (например, минимальный, продвинутый, высокий). Для группы дуального обучения разработаны оценочные листы, в которых преподаватели совместно с представителями работодателя (ассесорами) оценивают сформированность каждой профессиональной компетенции персонально для каждого студента.

Эксперимент оценивания в режиме ассесмент-центра находится в процессе реализации, и нам представляется, что уровневая экспертная оценка приемлема не только для студентов, но и для обучающихся по ДОППП. Процедуры асессмента как метода оценивания компетенций соотносятся с процедурами оценивания по финскому проекту ВАЛО для рабочих, приобретающих квалификацию на рабочем месте [17], в ходе которого была разработана методика проведения демонстрационного экзамена и оценки квалификации на основе европейского и финского опыта. Демонстрационный экзамен проводится с целью оценки и подтверждения квалификации кандидата. Чтобы полностью оценить компетенции во всех областях трудовой деятельности и в целом подтвердить квалификацию кандидата, демонстрационный экзамен на рабочем месте проводится поэтапно в продолжительный период времени (от недели до месяца). Сопоставив эти процедуры в Таблице 1, можно сделать заключение об их аналогичности.

Таблица 1. Сопоставление процедур оценивания по методу ассесмент-центра и по методу, применённому в российско-финском проекте ВАЛО. 

Роль экспертов в аналогичных процедурах для оценивания ДОППП могут выполнить команды слушателей из числа (или под руководством) методистов образовательных учреждений, где работают слушатели: вместо длительного наблюдения за учебным процессом во внимание могут быть приняты сообщения самого кандидата и свидетельства его коллег на итоговом семинаре по профессиональному модулю. Применение ассессмента при оценке освоения модулей ДОППП может стать оптимальной процедурой не только оценивания, но и обучения, и взаимообучения.

Таким образом, оценочные средства, адекватные составу обучающихся при оценивании их соответствия критериям профессионального и образовательного стандартов, могут быть следующими: демонстрационный экзамен, квалификационный экзамен – для предъявления в центре повышения квалификации, теоретический экзамен; тест, построенный по фасетному принципу, курсовой проект (по заданию работодателя), ассессмент-центр, портфолио достижений педагога в его собственной учебной деятельности ( включает разделы самостоятельных подборок содержания образования в соответствии ДОППП, издательские работы, участие в конкурсах педагогического мастерства), выступление на учебном семинаре или конференции, кейс–измерители, рефлексивный анализ педагогических качеств и соответствия профессиональным компетенциям. Варианты измерений при оценивании: 1) дихотомическая шкала, 2) уровневая шкала (достаточный, хороший, продвинутый), 3) балльно-рейтинговая система. Для конкретизации конструкта оценочных средств рассмотрим пример метапрофайла оценивания квалификации в Таблице 2.

Таблица 2 Метапрофайл оценивания квалификации A/02.6 подуровень 6.1: Педагогический контроль и оценка освоения образовательной программы профессионального обучения, СПО и (или) ДПП в процессе промежуточной и итоговой аттестации.

В правой части экспертного листа, содержащего показанную в Таблице 2 декомпозицию метапрофайла, следует добавить ещё одну колонку, предназначенную для отметки состояния продемонстрированной компетенции/трудовой функции по одной из выбранных экспертной комиссией шкал: дихотомической шкалы (присутствует / отсутствует), либо 5-ти балльной, либо балльно-рейтинговой или уровневой (высокий, средний, базовый, продвинутый). Показатели по этим шкалам легко конвертируются друг в друга и могут быть дифференцированы по степени значимости модуля (дисциплины) ДОППП. В целом анализ состояния процессов создания фондов оценочных средств позволяет сделать следующие выводы:

1. Создание системы фонда оценочных средств должно проходить в соответствии с декомпозицией трудовых функций профессиональных и компетенций образовательных стандартов; дальнейшее составление методистами и педагогами, метапрофайла, по которому проводится процедура оценивания, происходит с учётом выбора обучающихся и пожеланиями работодателя.
2. Критерии оценивания составляются с учётом выбора способа оценки: уровневой ( высший средний-базовый), балльно-рейтинговой ( например, от 0до10 с дальнейшим переводом в пятибалльную систему), дихотомической ( зачёт-незачёт).
3. Оценочные средства должны быть компетентностно ориентированными и разноплановыми по содержанию [14], для чего в критериях оцениваемых знаний и умений указываются ориентиры на специфику отрасли, наличие инноваций и др.
4. Форма предъявления компетентностей и вид оценочной процедуры в соответствии с требованиями программы могут быть предложены или выбраны самим обучающимся. Среди них может быть экзамен, зачёт, предоставление доказательных видеоматериалов, выступление на учебном семинаре или конференции, решение фасетного теста с разноплановыми и разноуровневыми заданиями.
5. Одним из заданий при оценке компетентностей по ДОППП может быть составление самим слушателем собственной карты пробелов (дефицитов) компетентностей, которые ему предстоит освоить в ближайшие периоды непрерывного педагогического образования.
6. Процедура оценивания по ДОППП должна в перспективе кореллировать с дальнейшей аттестацией и повышением квалификации, что потребует длительного срока проведения испытаний, высокой квалификации преподавателей высшей школы, методистов и экспертов.