Некоторые аспекты формирования фонда оценочных средств в области непрерывного технологического образования
М.
В. СлепцоваБиблиографическое описание статьи для цитирования:
Слепцова
М.
В. Некоторые аспекты формирования фонда оценочных средств в области непрерывного технологического образования // Научно-методический электронный журнал «Концепт». –
2015. – Т. 13. – С.
4006–4010. – URL:
http://e-koncept.ru/2015/85802.htm.
Аннотация. Статья посвящена разработке основного элемента системы оценки индивидуальных образовательных достижений учащихся – фонду оценочных средств. Показано, что задачу отбора педагогических материалов для фонда оценочных средств в области непрерывного технологического образования можно рассматривать как один из вариантов проведения процедуры экспертной оценки с учетом специфических требований педагогического процесса. В отличие от классической теории проведения экспертизы, для достижения поставленной педагогической задачи необходимо вывести лицо, принимающее решение, из состава комиссии по оценке педагогических материалов, представленных для фонда оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией специалистов-экспертов. Главной задачей лица, принимающего решение, при организации экспертизы должно стать приведение всех экспертов – членов комиссии к единому мнению на основе конкретного критерия или группы критериев, по которым происходит оценивание результатов. Оценивание методом ранжирования представленных для фонда оценочных средств педагогических материалов позволяет экспертам объективно оценить их на количественной шкале.
Ключевые слова:
фонд оценочных средств, педагогическая экспертиза, ранжирование, непрерывное технологическое образование, система оценки индивидуальных образовательных достижений учащихся
Текст статьи
Слепцова Марина Викторовна,Кандидат педагогических наук, Доцент кафедры технологических и естественнонаучных дисциплин,"Воронежский государственный педагогический университет", г.Воронеж79304014250@yandex.ru
Некоторые аспекты формирования фонда оценочных средств в области непрерывного технологического образования
Аннотация.Статья посвящена разработке основного элемента системы оценки индивидуальных образовательных достижений учащихсяфонду оценочных средств. Показано, что задачу отбора педагогических материалов для фонда оценочных средств в области непрерывного технологического образования можно рассматривать как одиниз вариантов проведения процедуры экспертной оценки, с учетом специфических требований педагогического процесса.В отличие от классической теории проведения экспертизы, для достижения поставленной педагогической задачи необходимо вывести лицо, принимающее решение из состава комиссии по оценке педагогических материалов, представленных для фонда оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией специалистовэкспертов. Главнойзадачейлица,принимающегорешениеприорганизацииэкспертизыдолжностатьприведение всехэкспертовчленовкомиссиикединомумнениюнаосновеконкретного критерия или группы критериев, по которым происходит оценивание результатов. Оцениваниеметодомранжированияпредставленныхдляфондаоценочныхсредствпедагогическихматериаловпозволяетэкспертамобъективнооценитьихнаколичественнойшкале.
Ключевые слова:непрерывное технологическое образование, система оценки индивидуальных образовательных достижений учащихся, фонд оценочных средств, педагогическая экспертиза, ранжирование.
Одним из важнейших условий успешной модернизации системы общего образованияв России является новыйподход к оценке достигнутых образовательных результатоввсех субъектов образовательного процесса. Концепциядолгосрочного социальноэкономического развития Российской Федерации (п.3.3. Развитие образования)в качестве важнейшей задачи на период до 2020 года предусматривает формирование механизмов оценки качества образовательных услуг,предоставляемых учебными заведениями разного уровня, разработку и повсеместное внедрение прозрачной и объективной системы оценки индивидуальных образовательных достижений учащихся. Особое внимание в программных документах уделено системеоценивания педагогических результатов в областинепрерывного технологического образования, подготовки и переподготовки профессиональных кадров, где только достигнутые учащимися образовательныерезультатыдолжны стать основой для продолжения образования.Особо подчеркивается, что система оценивания достигнутых образовательных результатов должна не только и не столько подводить итоги достигнутого и выявлять существующие недостатки, сколько определять педагогические цели каждого этапа образовательного процесса и пути их достижения. Она должна стать важнейшим элементом системы образования и её регулятором, обеспечивающим с одной стороны единство, а с другой стороны вариативность системы образования в России.Ключевым элементом системы оценки индивидуальных образовательных достижений учащихся, а также системы оценки качества предоставляемых учебными заведениями образовательных услуг, является фонд оценочных средств, активно формируемый в настоящее время,в том числе и в области непрерывного технологического образования. Очевидно, что все включаемые в фонд оценочных средств педагогические материалы, должны обеспечиватьобъективную оценкуиндивидуальных образовательных достижений учащихся, оценку работы педагогических коллективов учебных заведений, единствосистемы образования в целом и её соответствиеуровню развития производства и общества в нашей стране.В научной литературе освещены различные подходы к формированию фонда оценочных средств, из анализакоторыхможно сделать однозначный вывод, что наилучшие результаты показывают системы оценивания, в основе которых лежит оценка образовательных результатов на основе ©количественныхª признаков. Такие системы отличаются объективностью (применительно к перечню оцениваемых параметров), отсутствием влияния на результат оценивания субъективных факторов, универсальностью, удобствомприменения. В качестве примеров можно привести оценку знаний учащегося по математике в зависимости от количества решенных за определенный временной интервал задач или оценку деятельности высших учебных заведений по имеющейся площади учебных аудиторий в расчете на одного обучаемого. По большому счету, вопрос повышения качества системы оценивания образовательных результатов в этом случае сводится к оптимизации перечня оцениваемых параметрови ихшкалы оценки, а также минимизации временных и материальных затрат при её применении в практической деятельности системы образования.Однако, указанные подходы к разработке системы оценивания образовательных результатов, не в полной мере могут быть применимы в области непрерывного технологического образованияи в частности при изучении учебного предмета ©Технологияª в общеобразовательной школе. Особенностямипедагогического процесса непрерывного технологического образования, в том числе и в общеобразовательной школе, являются: вопервых, отсутствие у учебного предмета ©Технологияª единой базовой науки, на теоретических положенияхи практических достиженияхкоторой формируется программа и методика обучения;вовторых, большое количество базовых технологий, изучаемых учащимися;втретьих, наличие творческой составляющей впроцессе обучения. Т.е. мы имеем классический пример недетерминированной задачи, для которой невозможно в полной мере описатьдостигнутые образовательныерезультаты только точными количественными величинами[1,2,3,4].Мы вынуждены обращаться к ©качественнымª величинам, используя при этом оценочные средства естественного языка: ©лучшеª и ©хужеª, ©отличный результатªили ©низкий уровеньª. Понятно, что в этом случае система оценивания образовательных результатов несет в себе значительную долю субъективизма, что вызывает большое количество нареканий и справедливо подвергается критике. Применительно к оцениванию учащихся общеобразовательных школисследователи отмечают влияние на оценкуличного отношения к учащемуся со стороны учителя, применительно к образовательному учреждению субъективного отношения представителей вышестоящих органов управления образованием, и т.д. Обратной стороной являетсясильная зависимость образовательного процесса от личности педагога и существующей материально технической базы. Более молодые и активные педагоги стремятся привнести в образовательный процесс современные тенденции общественного развития, такие как развитие предпринимательских навыков учащихся, их адаптации на рынке труда, ориентациюучащихся на инновационное развитие технологий. Педагоги ©старой школыª попрежнему исповедуют ©профориентационныйª путь в преподавании учебного предмета ©Технологияª в школе, находя оправдание в устаревшей материальной базе большинства общеобразовательных школ. В идеальном случае, задачу привести систему оценивания достигнутых образовательных результатов в областинепрерывноготехнологического образования к единой шкале, должны решить проводимые органами образования мероприятия,такие как открытые уроки, семинары,важнейшим из которых являетсяежегодная Всероссийская олимпиада по технологии. Работы победителей и призеров олимпиады должны быть эталоном, на который равняются, к которому стремятся, формируя тем самым единую цель технологического образования, единую шкалу оценки достигнутых педагогических результатов и показывая пути достижения педагогической цели.Однако, указанные меры унификации системы оценки образовательных результатов на сегодняшний день не даютудовлетворительных результатов, действующая в настоящее время система оценивания достигнутых образовательных результатов в области непрерывного технологического образования непригодна для широкого применения. Предусмотренный Федеральным Государственным образовательным стандартом механизм проведения внутренней и внешней педагогической экспертизы включаемых в фонд оценочных средств педагогических материалов, на сегодняшний день не работает в полной мере и не позволяет достичь единого подхода к оцениванию достигнутых педагогических результатов в области непрерывного технологического образования. Проводимые нами в 20102014 г.г. исследования среди педагогических коллективов общеобразовательных школ из 42 районов Воронежской области и г.Воронежа показывают, что для проведения педагогической экспертизы педагогических материалов, включаемых всостав фонда оценочных средств в области непрерывного технологического образования, привлекаются эксперты из числа потенциальных работодателей, родителей, представителей учащихся, как правило, по принципу единства взглядов на организацию учебного процессаизучения учебного предмета ©Технологияª в общеобразовательной школе.По сути дела, оценке педагогических материаловзачастую привлекаются совершенно случайные люди, не являющиеся экспертами в области непрерывного технологического образования, не несущие ответственности за её результат, но отвечающие неким формальным признакамэксперта и не возражающие против упоминания их фамилий. Понятно, что в такой ситуации формируемый фонд оценочных средств сохраняет все недостатки существующей системы оценивания образовательных результатов в области непрерывного технологического образования, что является недопустимым.Как вариант, известныпопытки повысить качество педагогических материалов, включаемых в фонд оценочных средств,путем создания комиссий по их оценке и привлечения в еёсостав представителей работодателей, родителей учащихся, представителей органов управления системой образования и иных лиц, заинтересованных в результатах проводимойработы. Однако, на сегодняшний день, и этот подход не оправдал возложенных на негонадежд.Связано это с тем, что указанные комиссии создаются эмпирически, игнорируя научные подходы к созданию и организации работы экспертных групп, что приводит к обратным от запланированныхрезультатам. Такие комиссии не пользуются авторитетом у участников педагогического процесса, их выводы зачастую противоречивы, в состав комиссии формируетсяпросто из наиболее активных людей, не учитывая их личностные и профессиональные качества. Как правило,председатель такой комиссии является лицом, принимающим решение (ЛПР), а остальные члены комиссии не вправе или не считают нужным выражать свою точку зрения. Фактически, работа таких комиссий является некой разновидностью действующей в настоящее время системы оценивания образовательных результатов, призванная завуалировать присущие ей недостатки, но при этом ничего не изменяющая принципиально.Таким образом, имеет место быть противоречие между поставленной в нормативных документах задачей создания объективной системыоценивания достигнутых образовательных результатов, формированияна высоком методическом уровне фонда оценочных средств в области непрерывного технологического образования и текущим положением дел в указанной сфере.Очевидно, чтодля решения задачи формирования фонда оценочных средств мы должны разработать механизм оценивания и отбора в него высококачественных педагогических материалов, представляемых авторскими коллективами. Указанные вопросы оценивания представляемых для включения в фонда оценочных средств педагогических материаловв системе непрерывного технологического образования до сегодняшнего дня не получили необходимой теоретической проработки и являются весьма актуальными для создания объективной системыоценивания достигнутых образовательных результатов. Одним из вариантов решения проблемы является организацияотбора педагогических материалов в фонд оценочных средств в области непрерывного технологического образования как одного из вариантов проведения процедуры экспертной оценки, с учетом специфических требований педагогического процесса в общеобразовательной школе. Рассмотрим возможность применения известных алгоритмов организации и проведения экспертной оценки для решения поставленной задачи и определим специфические требования педагогического процесса в общеобразовательной школе, а также возможности их учета в практической деятельности.
Общие подходы, основные особенности и примеры успешного применения организации и проведении экспертной оценки в различных отраслях человеческой деятельностирассматриваются в научных работах Иванова Д.А., Крулехт М.В., Кирюшиной О.Н., Орлова А.И., среди которых особый интерес представляют работы ЧерепановаВ.С., Ларичкиной Н.В.[1,2,3,5,6,7]. Обобщаярассматриваемые в научной литературе методики организации и проведении экспертной оценки в различныхобластях человеческой деятельности, можно выделить следующиеосновныемоменты,существенно влияющие на её конечный результат. Это вопросывыбора лица, принимающего решение (ЛПР), вопросы выбора членов комиссии экспертов из широкого круга специалистов,ивыбор критериев оценки представленных в фонд оценочных средствпедагогических материалов.
Вклассической теории организации и проведения экспертиз выбор ЛПР всегда происходит эмпирически.Априори считается, что ЛПРлично заинтересованв успешности проведения экспертизы и правильности полученныхрезультатов. В обязанности ЛПР входит определение целипроведенияэкспертизы,организацияработыэкспертовилиэкспертныхгрупп, оценкапредложенныхэкспертамивариантовивыбородногоизнихвкачествеконечногорезультатаэкспертизы.ЛПРличнонесетответственностьзареализациюипоследствияпринятогоимнаоснованиипредложенныхэкспертамивариантоврешения. Соответственно, для успешного выполнения возложенных на ЛПР задач, он сам должен являться специалистомэкспертом в области знаний, в которой проводится экспертиза, и иметь среде специалистов высокий авторитет,обеспечивающий его вхождение в состав экспертной группы, а также иметь административный ресурс, достаточный для принятия решений. Отдельные исследования посвящены психологии ЛПР, но они не являются в нашем случае определяющими и могут не учитываться без существенной потери точности исследования. Применительно к системе оценивания представленных педагогических материалов в фонде оценочных средств в области непрерывного технологического образования, указанные выше требованияк ЛПР не могут быть реализованы в полной мерепо следующим причинам.
В классической теории подготовки и проведения экспертиз подразумевается, что для их проведения привлекаются, в основном,специалисты из или смежных областей знаний. В области непрерывноготехнологического образованияситуация принципиально иная. Изучаемые, например,в общеобразовательной школе, базовые технологии, такие какнапример, металлообработка, технологии изготовления швейных изделий илиобработка изделий из дерева, имеют существенные различиямежду собой. Объединяющим началом здесь является педагогический процесс как своего рода технология, обеспечивающая достижение образовательной цели. Соответственно, в идеальном случае, ЛПР должен быть специалистомэкспертом во всех базовых технологиях,изучаемых в общеобразовательной школе,что для одного человека практически невозможно.Еще одной существенной проблемой является формирование широкого (предварительного)списка специалистовкандидатов в эксперты, составление которого согласно классической теории организации и проведения экспертизы, должно начинаться с ЛПР. В этом случае, ЛПР должен назвать несколько фамилий специалистовкандидатов в эксперты, достойных по своим личностным и профессиональным качествам быть включенными в состав комиссии по оценке педагогических материалов, представленных для включения вфонд оценочных средств, каждый из которых в свою очередь называет еще несколько фамилий и так до тех пор, пока новых фамилий в списке не появляется. Но в нашем случае этот процесс либо заканчивается на 12 этапе, либо становится лавинообразным процессом. Все дело в том, что специалисты в различных технологиях, привлекаемыедля оценки педагогических материалов, в своей практической деятельности зачастую не соприкасаются между собой, не знакомы друг с другом, не могут взаимно оценить степень компетентностидруг друга в той или инойтехнологии, а тем более в педагогической деятельности, что делает невозможным составление широкого списка специалистовкандидатов в эксперты классическими методами организации и проведения экспертиз. Применение указанных методов приводит к формированию комиссий из специалистов в одной из изучаемых технологий, как правило педагогов, что фактически возвращает нас к текущему положению дел в области оценки представленных педагогических материалов для фонда оценочных средств в области непрерывного технологического образования.Еще одной проблемой, являющейся ключевой именно для области непрерывного технологического образования, является отсутствиеединойшкалыоценки качеств эксперта, привлекаемого для проведения оценки представленных педагогических материалов фонда оценочных средстви единойметодикивыбора экспертов из широкого круга специалистов. Извечная проблема педагогики: ©Что важнее уметь самому или уметь научить другого?ª, в нашем случае стоит особенно остро.В проводимой работе нами были исследованы различные варианты выбора ЛПР и создания комиссии по оценке представленных педагогических материалов. Нами опробованы варианты выбораЛПР из числа потребителей образовательных услуг родителей учащиеся 58 классов общеобразовательных школ,выбор ЛПР из числа представителей педагогических коллективов общеобразовательных школ преподавателейучебного предмета ©Технологияª, выбор ЛПР из представителей органов управления образованием и привлечение в качестве ЛПР одного из представителей потенциальных работодателей. Во всех перечисленных случаях выбора ЛПР и формирования имэкспертной комиссии по оценке представленных педагогических материалов для фонда оценочных средств успех достигнут не был.В случае с выбором ЛПР из числа потребителей образовательных услуг мы столкнулись с влиянием на процесс субъективных факторов. Учащиеся 58 классов общеобразовательных школ и их родители представляют собой довольно разобщенное сообщество, поэтому выделить из их состава одного или группу представителей, стабильно имеющих высокий авторитет, не представляется возможным. Более того, попытки различными методами выделить таких представителей в период проведения исследования и привлечения их к работе комиссии по оценки представленных педагогических материаловдляфонда оценочных средств в области непрерывного технологического образованияпривелик обратному результату снижению интереса среди учащихся к учебному предмету ©Технологияª.В среде педагогов, естественно, может быть выбран такой ЛПР, который является специалистомэкспертом в области непрерывного технологического образования, имеетвысокий авторитет в среде педагогов специалистов, имеет опыт и профессиональные навыки по работе с разновозрастными коллективами, и которому, несомненно, могут быть делегированы соответствующие административные полномочия по принятию решения о соответствии педагогических материалов, представленных для фонда оценочных средств, требуемымусловиям. Однако, уровень доверия к такому ЛПР в педагогической среде являетсякритически низким, к принятым ЛПР решениям в большинстве случаев относятся как к субъективным, такой ЛПР не может разрешить существенные противоречия, возникающие между ©инновационнымª и ©профориентационнымª подходом к преподаванию учебных предметов в области непрерывного технологического образования. Аналогичная ситуация возникает при привлечении в качестве ЛПР одного из представителей органа управления образованием, что зачастую и происходит в настоящее время. Привлечение в качестве ЛПР одного из представителей потенциальных работодателей, отвечает практически все требованиям, предъявляемым к ЛПР, но здесь возникает проблема отсутствия у них личной заинтересованности в корректном и грамотном проведении работы, отсутствия свободного времени для выполнения организационных функций, отсутствие опыта работы с педагогическими коллективами и учащимися общеобразовательных школ. Таким образом, выбор ЛПР и формирование им экспертной комиссии по вопросу оценки представленных педагогических материалов для фонда оценочных средств в области непрерывного технологического образования, не могут быть реализованы в полной мереи необходимы иные подходы к этому этапу проведения педагогической экспертизы.
Проведя анализ теоретических положений и практических результатов работы комиссии под руководством ЛПР, выбранных различными способами, мысчитаем необходимым адаптировать общую методику выбора ЛПР следующим образом[9,10,11].
Вотличиеотсуществующейпрактикиоцениванияпедагогическихматериаловдляфондаоценочныхсредств,главнойзадачейЛПРприорганизацииэкспертизыдолженстатьучет мнения всех привлекаемых для работы экспертов, а в оптимальном случае приведение всехэкспертовчленовкомиссиикединомумнениюнаосновеконкретного критерия или группы критериев, по которым происходит оценивание результатов.Для достижения поставленной задачи необходимо вывести ЛПР из состава комиссии по оценке педагогических материалов, представленных в фонде оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией с помощью косвенных методов оценки. Оптимальным вариантом представляется профессорскопреподавательский состав высших учебных заведений,работающихпо основной образовательной программе ©Технологияªили институтов повышения квалификации учителейобщеобразовательной школы, но непосредственно не связанный с педагогическим процессом в общеобразовательной школе. Такой ЛПР отвечает всем предъявляемым требованиям,может входить или не входить в состав комиссии, новлюбом случае является организатором работы комиссии и высшим органом принятия решений.Выбор критериев оценки представленных педагогических материалов для фонда оценочных средств является наиболее в этом случае наиболее сложной задачей. Каждый из привлеченных экспертов имеет свою внутреннюю оценочную шкалу, ориентируясь на которую он высказывает мнение о представленных на рассмотрение педагогических материалах. Понятно, что такая внутренняя шкала у каждого из экспертов разная, и возникает вопрос о приведении оценочных шкал к некоему общему знаменателю. Опробовав различные методы получения экспертных оценок и их согласования, считаем самым оптимальным применение метода ранжирования при оценкепредставленных педагогическихматериалов для фонда оценочных средств, используя в качестве эталона аналогичные работы[8,9].Ранг
степень отличия по какомулибо признаку, аранжирование
процесс определения рангов, относительных количественных оценок степеней отличий по качественным признакам. В этом случае перед каждым экспертомчленом комиссии ставится вопрос не по оценке конкретногопредставленногопедагогического материала, а насколько он лучше или хуже по сравнению с аналогичным.Необходимо отметить, что первоначальный выбор эталонного педагогического материала никак не влияет на итоговые результаты проводимойэкспертизы, т.к. метод не предусматривает прямой оценки представленных материалов, субъективные факторы в процессе работы нивелируются и не влияют на итоговое решение комиссии и ЛПР.Суммируя полученные от членов комиссии экспертов ранги, ЛПР определяет педагогические материалы, наиболее полно, с точки зрения экспертов, соответствующих поставленной задаче создания объективной системы оценки индивидуальных образовательных достижений учащихсяв области непрерывного технологического образования. Отобранные таким образом педагогические материалы включаются в состав фонда оценочных средств.Применение метода ранжирования в нашем случае требует решения только одного вопроса задание количественной шкалы оценки. В идеальном случае, максимальный балл оценки каждого представленного педагогического материала должен быть равен общему количеству оцениваемых материалов. Для нашего случаямаксимальный балл должен составлять 42по количеству педагогических материалов для фонда оценочных средств, равных числу общеобразовательных школ, принявших участие в исследовании,аминимальный 1. Такой подход в теории позволяет очень точно провести ранжирование представленных педагогических материалов, но требует больших трудозатрат. К томуже,такая точность не всегда и не везде нужна. В нашем случае мы должны выбратьнекоторое количество лучших педагогических материаловиз 42и совершенно не важно, какое место 12 или 25 займут остальные, не вошедшие в группу лучших. Здесь важнее то обстоятельство, что количество представленных педагогических материалов для фонда оценочных средств должна быть достаточной для того, чтобы на ее основе можно было определить статистически устойчивую оценку[17].По результатам работы можно сделать вывод, что применительно к педагогическим процессам достаточно ограничить максимальный балл, используемый для оценки в 10 единиц, минимальный в 1 единицу, а все остальные подлежащие оценке материалы, должны быть оценены в 0 баллов. Такой подход приведет к значительному снижению трудозатрат при обработке материалов ранжирования при относительно небольшой потери точности исследования.Полученные результаты позволяют сделать следующие выводы.1.Задачу отбора педагогических материалов для фондаоценочных средств в области непрерывного технологического образования можно рассматривать как один из вариантов проведения процедуры экспертной оценки, с учетом специфических требований педагогического процесса. 2.Для достижения поставленной задачи необходимо вывести ЛПР из состава комиссии по оценке педагогических материалов, представленных в фонде оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией специалистовэкспертов3.ГлавнойзадачейЛПРприорганизацииэкспертизыдолженстатьучет мнения всех привлекаемых для работы экспертов, а в оптимальном случае приведение всехэкспертовчленовкомиссиикединомумнениюнаосновеконкретного критерия или группы критериев, по которым происходит оценивание результатов.4.Оцениваниепредставленныхдляфондаоценочныхсредствметодомранжированияпедагогическихматериаловпозволяетэкспертамобъективнооценитьихнаколичественнойшкале.Ранжированиенивелируетсубъективныефакторывпроцессеэкспертнойоценкиипозволяетотобратьдляфондаоценочныхсредствобъективнолучшиеизпредставленныхпедагогическиематериалы.
Ссылки на источники1.Иванов Д.А. Экспертиза в образовании: учебное пособие для студентов.М.: Академия, 2008. 329 с.2.Крулехт М.В. Экспертные оценки в образовании. М.:Академия, 2002. 112 с.3.Кирюшина О.Н. Повышение эффективности эмпирических методов в современном педагогическом исследовании: дис. … канд. пед. наук. Таганрог, 2004. 194 с.4.Слепцова М.В. Применение экспертных систем в процессе обучения учащихся учебному предмету ©Технологияª // Вестник Орловского государственного университета, 2014. №2(37). с.7983.5.Орлов А. И. Экспертные оценки. М., 2002. 31с.6.Черепанов В.С. Экспертные оценки в педагогических исследованиях: методика педагогической экспертизы. М.:Педагогика,1989.152с.7.Ларичкина Н.В. Организационнопедагогические условия совершенствования внутренней экспертизы в общеобразовательном учреждении: дис. … канд. пед. наук. Иркутск, 2007. 243 с.8.Гуцыкова С.В. К вопросу согласованности экспертных оценок профессионально важных качеств // Знание, понимание, умение. 2009. №4. с. 200204.9.Слепцова М.В. Согласование экспертных мнений для математической модели учебного предмета ©Технологияª// Научное мнение. 2014. №7.с.320326.
Некоторые аспекты формирования фонда оценочных средств в области непрерывного технологического образования
Аннотация.Статья посвящена разработке основного элемента системы оценки индивидуальных образовательных достижений учащихсяфонду оценочных средств. Показано, что задачу отбора педагогических материалов для фонда оценочных средств в области непрерывного технологического образования можно рассматривать как одиниз вариантов проведения процедуры экспертной оценки, с учетом специфических требований педагогического процесса.В отличие от классической теории проведения экспертизы, для достижения поставленной педагогической задачи необходимо вывести лицо, принимающее решение из состава комиссии по оценке педагогических материалов, представленных для фонда оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией специалистовэкспертов. Главнойзадачейлица,принимающегорешениеприорганизацииэкспертизыдолжностатьприведение всехэкспертовчленовкомиссиикединомумнениюнаосновеконкретного критерия или группы критериев, по которым происходит оценивание результатов. Оцениваниеметодомранжированияпредставленныхдляфондаоценочныхсредствпедагогическихматериаловпозволяетэкспертамобъективнооценитьихнаколичественнойшкале.
Ключевые слова:непрерывное технологическое образование, система оценки индивидуальных образовательных достижений учащихся, фонд оценочных средств, педагогическая экспертиза, ранжирование.
Одним из важнейших условий успешной модернизации системы общего образованияв России является новыйподход к оценке достигнутых образовательных результатоввсех субъектов образовательного процесса. Концепциядолгосрочного социальноэкономического развития Российской Федерации (п.3.3. Развитие образования)в качестве важнейшей задачи на период до 2020 года предусматривает формирование механизмов оценки качества образовательных услуг,предоставляемых учебными заведениями разного уровня, разработку и повсеместное внедрение прозрачной и объективной системы оценки индивидуальных образовательных достижений учащихся. Особое внимание в программных документах уделено системеоценивания педагогических результатов в областинепрерывного технологического образования, подготовки и переподготовки профессиональных кадров, где только достигнутые учащимися образовательныерезультатыдолжны стать основой для продолжения образования.Особо подчеркивается, что система оценивания достигнутых образовательных результатов должна не только и не столько подводить итоги достигнутого и выявлять существующие недостатки, сколько определять педагогические цели каждого этапа образовательного процесса и пути их достижения. Она должна стать важнейшим элементом системы образования и её регулятором, обеспечивающим с одной стороны единство, а с другой стороны вариативность системы образования в России.Ключевым элементом системы оценки индивидуальных образовательных достижений учащихся, а также системы оценки качества предоставляемых учебными заведениями образовательных услуг, является фонд оценочных средств, активно формируемый в настоящее время,в том числе и в области непрерывного технологического образования. Очевидно, что все включаемые в фонд оценочных средств педагогические материалы, должны обеспечиватьобъективную оценкуиндивидуальных образовательных достижений учащихся, оценку работы педагогических коллективов учебных заведений, единствосистемы образования в целом и её соответствиеуровню развития производства и общества в нашей стране.В научной литературе освещены различные подходы к формированию фонда оценочных средств, из анализакоторыхможно сделать однозначный вывод, что наилучшие результаты показывают системы оценивания, в основе которых лежит оценка образовательных результатов на основе ©количественныхª признаков. Такие системы отличаются объективностью (применительно к перечню оцениваемых параметров), отсутствием влияния на результат оценивания субъективных факторов, универсальностью, удобствомприменения. В качестве примеров можно привести оценку знаний учащегося по математике в зависимости от количества решенных за определенный временной интервал задач или оценку деятельности высших учебных заведений по имеющейся площади учебных аудиторий в расчете на одного обучаемого. По большому счету, вопрос повышения качества системы оценивания образовательных результатов в этом случае сводится к оптимизации перечня оцениваемых параметрови ихшкалы оценки, а также минимизации временных и материальных затрат при её применении в практической деятельности системы образования.Однако, указанные подходы к разработке системы оценивания образовательных результатов, не в полной мере могут быть применимы в области непрерывного технологического образованияи в частности при изучении учебного предмета ©Технологияª в общеобразовательной школе. Особенностямипедагогического процесса непрерывного технологического образования, в том числе и в общеобразовательной школе, являются: вопервых, отсутствие у учебного предмета ©Технологияª единой базовой науки, на теоретических положенияхи практических достиженияхкоторой формируется программа и методика обучения;вовторых, большое количество базовых технологий, изучаемых учащимися;втретьих, наличие творческой составляющей впроцессе обучения. Т.е. мы имеем классический пример недетерминированной задачи, для которой невозможно в полной мере описатьдостигнутые образовательныерезультаты только точными количественными величинами[1,2,3,4].Мы вынуждены обращаться к ©качественнымª величинам, используя при этом оценочные средства естественного языка: ©лучшеª и ©хужеª, ©отличный результатªили ©низкий уровеньª. Понятно, что в этом случае система оценивания образовательных результатов несет в себе значительную долю субъективизма, что вызывает большое количество нареканий и справедливо подвергается критике. Применительно к оцениванию учащихся общеобразовательных школисследователи отмечают влияние на оценкуличного отношения к учащемуся со стороны учителя, применительно к образовательному учреждению субъективного отношения представителей вышестоящих органов управления образованием, и т.д. Обратной стороной являетсясильная зависимость образовательного процесса от личности педагога и существующей материально технической базы. Более молодые и активные педагоги стремятся привнести в образовательный процесс современные тенденции общественного развития, такие как развитие предпринимательских навыков учащихся, их адаптации на рынке труда, ориентациюучащихся на инновационное развитие технологий. Педагоги ©старой школыª попрежнему исповедуют ©профориентационныйª путь в преподавании учебного предмета ©Технологияª в школе, находя оправдание в устаревшей материальной базе большинства общеобразовательных школ. В идеальном случае, задачу привести систему оценивания достигнутых образовательных результатов в областинепрерывноготехнологического образования к единой шкале, должны решить проводимые органами образования мероприятия,такие как открытые уроки, семинары,важнейшим из которых являетсяежегодная Всероссийская олимпиада по технологии. Работы победителей и призеров олимпиады должны быть эталоном, на который равняются, к которому стремятся, формируя тем самым единую цель технологического образования, единую шкалу оценки достигнутых педагогических результатов и показывая пути достижения педагогической цели.Однако, указанные меры унификации системы оценки образовательных результатов на сегодняшний день не даютудовлетворительных результатов, действующая в настоящее время система оценивания достигнутых образовательных результатов в области непрерывного технологического образования непригодна для широкого применения. Предусмотренный Федеральным Государственным образовательным стандартом механизм проведения внутренней и внешней педагогической экспертизы включаемых в фонд оценочных средств педагогических материалов, на сегодняшний день не работает в полной мере и не позволяет достичь единого подхода к оцениванию достигнутых педагогических результатов в области непрерывного технологического образования. Проводимые нами в 20102014 г.г. исследования среди педагогических коллективов общеобразовательных школ из 42 районов Воронежской области и г.Воронежа показывают, что для проведения педагогической экспертизы педагогических материалов, включаемых всостав фонда оценочных средств в области непрерывного технологического образования, привлекаются эксперты из числа потенциальных работодателей, родителей, представителей учащихся, как правило, по принципу единства взглядов на организацию учебного процессаизучения учебного предмета ©Технологияª в общеобразовательной школе.По сути дела, оценке педагогических материаловзачастую привлекаются совершенно случайные люди, не являющиеся экспертами в области непрерывного технологического образования, не несущие ответственности за её результат, но отвечающие неким формальным признакамэксперта и не возражающие против упоминания их фамилий. Понятно, что в такой ситуации формируемый фонд оценочных средств сохраняет все недостатки существующей системы оценивания образовательных результатов в области непрерывного технологического образования, что является недопустимым.Как вариант, известныпопытки повысить качество педагогических материалов, включаемых в фонд оценочных средств,путем создания комиссий по их оценке и привлечения в еёсостав представителей работодателей, родителей учащихся, представителей органов управления системой образования и иных лиц, заинтересованных в результатах проводимойработы. Однако, на сегодняшний день, и этот подход не оправдал возложенных на негонадежд.Связано это с тем, что указанные комиссии создаются эмпирически, игнорируя научные подходы к созданию и организации работы экспертных групп, что приводит к обратным от запланированныхрезультатам. Такие комиссии не пользуются авторитетом у участников педагогического процесса, их выводы зачастую противоречивы, в состав комиссии формируетсяпросто из наиболее активных людей, не учитывая их личностные и профессиональные качества. Как правило,председатель такой комиссии является лицом, принимающим решение (ЛПР), а остальные члены комиссии не вправе или не считают нужным выражать свою точку зрения. Фактически, работа таких комиссий является некой разновидностью действующей в настоящее время системы оценивания образовательных результатов, призванная завуалировать присущие ей недостатки, но при этом ничего не изменяющая принципиально.Таким образом, имеет место быть противоречие между поставленной в нормативных документах задачей создания объективной системыоценивания достигнутых образовательных результатов, формированияна высоком методическом уровне фонда оценочных средств в области непрерывного технологического образования и текущим положением дел в указанной сфере.Очевидно, чтодля решения задачи формирования фонда оценочных средств мы должны разработать механизм оценивания и отбора в него высококачественных педагогических материалов, представляемых авторскими коллективами. Указанные вопросы оценивания представляемых для включения в фонда оценочных средств педагогических материаловв системе непрерывного технологического образования до сегодняшнего дня не получили необходимой теоретической проработки и являются весьма актуальными для создания объективной системыоценивания достигнутых образовательных результатов. Одним из вариантов решения проблемы является организацияотбора педагогических материалов в фонд оценочных средств в области непрерывного технологического образования как одного из вариантов проведения процедуры экспертной оценки, с учетом специфических требований педагогического процесса в общеобразовательной школе. Рассмотрим возможность применения известных алгоритмов организации и проведения экспертной оценки для решения поставленной задачи и определим специфические требования педагогического процесса в общеобразовательной школе, а также возможности их учета в практической деятельности.
Общие подходы, основные особенности и примеры успешного применения организации и проведении экспертной оценки в различных отраслях человеческой деятельностирассматриваются в научных работах Иванова Д.А., Крулехт М.В., Кирюшиной О.Н., Орлова А.И., среди которых особый интерес представляют работы ЧерепановаВ.С., Ларичкиной Н.В.[1,2,3,5,6,7]. Обобщаярассматриваемые в научной литературе методики организации и проведении экспертной оценки в различныхобластях человеческой деятельности, можно выделить следующиеосновныемоменты,существенно влияющие на её конечный результат. Это вопросывыбора лица, принимающего решение (ЛПР), вопросы выбора членов комиссии экспертов из широкого круга специалистов,ивыбор критериев оценки представленных в фонд оценочных средствпедагогических материалов.
Вклассической теории организации и проведения экспертиз выбор ЛПР всегда происходит эмпирически.Априори считается, что ЛПРлично заинтересованв успешности проведения экспертизы и правильности полученныхрезультатов. В обязанности ЛПР входит определение целипроведенияэкспертизы,организацияработыэкспертовилиэкспертныхгрупп, оценкапредложенныхэкспертамивариантовивыбородногоизнихвкачествеконечногорезультатаэкспертизы.ЛПРличнонесетответственностьзареализациюипоследствияпринятогоимнаоснованиипредложенныхэкспертамивариантоврешения. Соответственно, для успешного выполнения возложенных на ЛПР задач, он сам должен являться специалистомэкспертом в области знаний, в которой проводится экспертиза, и иметь среде специалистов высокий авторитет,обеспечивающий его вхождение в состав экспертной группы, а также иметь административный ресурс, достаточный для принятия решений. Отдельные исследования посвящены психологии ЛПР, но они не являются в нашем случае определяющими и могут не учитываться без существенной потери точности исследования. Применительно к системе оценивания представленных педагогических материалов в фонде оценочных средств в области непрерывного технологического образования, указанные выше требованияк ЛПР не могут быть реализованы в полной мерепо следующим причинам.
В классической теории подготовки и проведения экспертиз подразумевается, что для их проведения привлекаются, в основном,специалисты из или смежных областей знаний. В области непрерывноготехнологического образованияситуация принципиально иная. Изучаемые, например,в общеобразовательной школе, базовые технологии, такие какнапример, металлообработка, технологии изготовления швейных изделий илиобработка изделий из дерева, имеют существенные различиямежду собой. Объединяющим началом здесь является педагогический процесс как своего рода технология, обеспечивающая достижение образовательной цели. Соответственно, в идеальном случае, ЛПР должен быть специалистомэкспертом во всех базовых технологиях,изучаемых в общеобразовательной школе,что для одного человека практически невозможно.Еще одной существенной проблемой является формирование широкого (предварительного)списка специалистовкандидатов в эксперты, составление которого согласно классической теории организации и проведения экспертизы, должно начинаться с ЛПР. В этом случае, ЛПР должен назвать несколько фамилий специалистовкандидатов в эксперты, достойных по своим личностным и профессиональным качествам быть включенными в состав комиссии по оценке педагогических материалов, представленных для включения вфонд оценочных средств, каждый из которых в свою очередь называет еще несколько фамилий и так до тех пор, пока новых фамилий в списке не появляется. Но в нашем случае этот процесс либо заканчивается на 12 этапе, либо становится лавинообразным процессом. Все дело в том, что специалисты в различных технологиях, привлекаемыедля оценки педагогических материалов, в своей практической деятельности зачастую не соприкасаются между собой, не знакомы друг с другом, не могут взаимно оценить степень компетентностидруг друга в той или инойтехнологии, а тем более в педагогической деятельности, что делает невозможным составление широкого списка специалистовкандидатов в эксперты классическими методами организации и проведения экспертиз. Применение указанных методов приводит к формированию комиссий из специалистов в одной из изучаемых технологий, как правило педагогов, что фактически возвращает нас к текущему положению дел в области оценки представленных педагогических материалов для фонда оценочных средств в области непрерывного технологического образования.Еще одной проблемой, являющейся ключевой именно для области непрерывного технологического образования, является отсутствиеединойшкалыоценки качеств эксперта, привлекаемого для проведения оценки представленных педагогических материалов фонда оценочных средстви единойметодикивыбора экспертов из широкого круга специалистов. Извечная проблема педагогики: ©Что важнее уметь самому или уметь научить другого?ª, в нашем случае стоит особенно остро.В проводимой работе нами были исследованы различные варианты выбора ЛПР и создания комиссии по оценке представленных педагогических материалов. Нами опробованы варианты выбораЛПР из числа потребителей образовательных услуг родителей учащиеся 58 классов общеобразовательных школ,выбор ЛПР из числа представителей педагогических коллективов общеобразовательных школ преподавателейучебного предмета ©Технологияª, выбор ЛПР из представителей органов управления образованием и привлечение в качестве ЛПР одного из представителей потенциальных работодателей. Во всех перечисленных случаях выбора ЛПР и формирования имэкспертной комиссии по оценке представленных педагогических материалов для фонда оценочных средств успех достигнут не был.В случае с выбором ЛПР из числа потребителей образовательных услуг мы столкнулись с влиянием на процесс субъективных факторов. Учащиеся 58 классов общеобразовательных школ и их родители представляют собой довольно разобщенное сообщество, поэтому выделить из их состава одного или группу представителей, стабильно имеющих высокий авторитет, не представляется возможным. Более того, попытки различными методами выделить таких представителей в период проведения исследования и привлечения их к работе комиссии по оценки представленных педагогических материаловдляфонда оценочных средств в области непрерывного технологического образованияпривелик обратному результату снижению интереса среди учащихся к учебному предмету ©Технологияª.В среде педагогов, естественно, может быть выбран такой ЛПР, который является специалистомэкспертом в области непрерывного технологического образования, имеетвысокий авторитет в среде педагогов специалистов, имеет опыт и профессиональные навыки по работе с разновозрастными коллективами, и которому, несомненно, могут быть делегированы соответствующие административные полномочия по принятию решения о соответствии педагогических материалов, представленных для фонда оценочных средств, требуемымусловиям. Однако, уровень доверия к такому ЛПР в педагогической среде являетсякритически низким, к принятым ЛПР решениям в большинстве случаев относятся как к субъективным, такой ЛПР не может разрешить существенные противоречия, возникающие между ©инновационнымª и ©профориентационнымª подходом к преподаванию учебных предметов в области непрерывного технологического образования. Аналогичная ситуация возникает при привлечении в качестве ЛПР одного из представителей органа управления образованием, что зачастую и происходит в настоящее время. Привлечение в качестве ЛПР одного из представителей потенциальных работодателей, отвечает практически все требованиям, предъявляемым к ЛПР, но здесь возникает проблема отсутствия у них личной заинтересованности в корректном и грамотном проведении работы, отсутствия свободного времени для выполнения организационных функций, отсутствие опыта работы с педагогическими коллективами и учащимися общеобразовательных школ. Таким образом, выбор ЛПР и формирование им экспертной комиссии по вопросу оценки представленных педагогических материалов для фонда оценочных средств в области непрерывного технологического образования, не могут быть реализованы в полной мереи необходимы иные подходы к этому этапу проведения педагогической экспертизы.
Проведя анализ теоретических положений и практических результатов работы комиссии под руководством ЛПР, выбранных различными способами, мысчитаем необходимым адаптировать общую методику выбора ЛПР следующим образом[9,10,11].
Вотличиеотсуществующейпрактикиоцениванияпедагогическихматериаловдляфондаоценочныхсредств,главнойзадачейЛПРприорганизацииэкспертизыдолженстатьучет мнения всех привлекаемых для работы экспертов, а в оптимальном случае приведение всехэкспертовчленовкомиссиикединомумнениюнаосновеконкретного критерия или группы критериев, по которым происходит оценивание результатов.Для достижения поставленной задачи необходимо вывести ЛПР из состава комиссии по оценке педагогических материалов, представленных в фонде оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией с помощью косвенных методов оценки. Оптимальным вариантом представляется профессорскопреподавательский состав высших учебных заведений,работающихпо основной образовательной программе ©Технологияªили институтов повышения квалификации учителейобщеобразовательной школы, но непосредственно не связанный с педагогическим процессом в общеобразовательной школе. Такой ЛПР отвечает всем предъявляемым требованиям,может входить или не входить в состав комиссии, новлюбом случае является организатором работы комиссии и высшим органом принятия решений.Выбор критериев оценки представленных педагогических материалов для фонда оценочных средств является наиболее в этом случае наиболее сложной задачей. Каждый из привлеченных экспертов имеет свою внутреннюю оценочную шкалу, ориентируясь на которую он высказывает мнение о представленных на рассмотрение педагогических материалах. Понятно, что такая внутренняя шкала у каждого из экспертов разная, и возникает вопрос о приведении оценочных шкал к некоему общему знаменателю. Опробовав различные методы получения экспертных оценок и их согласования, считаем самым оптимальным применение метода ранжирования при оценкепредставленных педагогическихматериалов для фонда оценочных средств, используя в качестве эталона аналогичные работы[8,9].Ранг
степень отличия по какомулибо признаку, аранжирование
процесс определения рангов, относительных количественных оценок степеней отличий по качественным признакам. В этом случае перед каждым экспертомчленом комиссии ставится вопрос не по оценке конкретногопредставленногопедагогического материала, а насколько он лучше или хуже по сравнению с аналогичным.Необходимо отметить, что первоначальный выбор эталонного педагогического материала никак не влияет на итоговые результаты проводимойэкспертизы, т.к. метод не предусматривает прямой оценки представленных материалов, субъективные факторы в процессе работы нивелируются и не влияют на итоговое решение комиссии и ЛПР.Суммируя полученные от членов комиссии экспертов ранги, ЛПР определяет педагогические материалы, наиболее полно, с точки зрения экспертов, соответствующих поставленной задаче создания объективной системы оценки индивидуальных образовательных достижений учащихсяв области непрерывного технологического образования. Отобранные таким образом педагогические материалы включаются в состав фонда оценочных средств.Применение метода ранжирования в нашем случае требует решения только одного вопроса задание количественной шкалы оценки. В идеальном случае, максимальный балл оценки каждого представленного педагогического материала должен быть равен общему количеству оцениваемых материалов. Для нашего случаямаксимальный балл должен составлять 42по количеству педагогических материалов для фонда оценочных средств, равных числу общеобразовательных школ, принявших участие в исследовании,аминимальный 1. Такой подход в теории позволяет очень точно провести ранжирование представленных педагогических материалов, но требует больших трудозатрат. К томуже,такая точность не всегда и не везде нужна. В нашем случае мы должны выбратьнекоторое количество лучших педагогических материаловиз 42и совершенно не важно, какое место 12 или 25 займут остальные, не вошедшие в группу лучших. Здесь важнее то обстоятельство, что количество представленных педагогических материалов для фонда оценочных средств должна быть достаточной для того, чтобы на ее основе можно было определить статистически устойчивую оценку[17].По результатам работы можно сделать вывод, что применительно к педагогическим процессам достаточно ограничить максимальный балл, используемый для оценки в 10 единиц, минимальный в 1 единицу, а все остальные подлежащие оценке материалы, должны быть оценены в 0 баллов. Такой подход приведет к значительному снижению трудозатрат при обработке материалов ранжирования при относительно небольшой потери точности исследования.Полученные результаты позволяют сделать следующие выводы.1.Задачу отбора педагогических материалов для фондаоценочных средств в области непрерывного технологического образования можно рассматривать как один из вариантов проведения процедуры экспертной оценки, с учетом специфических требований педагогического процесса. 2.Для достижения поставленной задачи необходимо вывести ЛПР из состава комиссии по оценке педагогических материалов, представленных в фонде оценочных средств, и возложить на него только задачи по организации и проведению экспертизы, а собственно итоговое решение о соответствии представленных материалов заявленным требованиям должно определяться комиссией специалистовэкспертов3.ГлавнойзадачейЛПРприорганизацииэкспертизыдолженстатьучет мнения всех привлекаемых для работы экспертов, а в оптимальном случае приведение всехэкспертовчленовкомиссиикединомумнениюнаосновеконкретного критерия или группы критериев, по которым происходит оценивание результатов.4.Оцениваниепредставленныхдляфондаоценочныхсредствметодомранжированияпедагогическихматериаловпозволяетэкспертамобъективнооценитьихнаколичественнойшкале.Ранжированиенивелируетсубъективныефакторывпроцессеэкспертнойоценкиипозволяетотобратьдляфондаоценочныхсредствобъективнолучшиеизпредставленныхпедагогическиематериалы.
Ссылки на источники1.Иванов Д.А. Экспертиза в образовании: учебное пособие для студентов.М.: Академия, 2008. 329 с.2.Крулехт М.В. Экспертные оценки в образовании. М.:Академия, 2002. 112 с.3.Кирюшина О.Н. Повышение эффективности эмпирических методов в современном педагогическом исследовании: дис. … канд. пед. наук. Таганрог, 2004. 194 с.4.Слепцова М.В. Применение экспертных систем в процессе обучения учащихся учебному предмету ©Технологияª // Вестник Орловского государственного университета, 2014. №2(37). с.7983.5.Орлов А. И. Экспертные оценки. М., 2002. 31с.6.Черепанов В.С. Экспертные оценки в педагогических исследованиях: методика педагогической экспертизы. М.:Педагогика,1989.152с.7.Ларичкина Н.В. Организационнопедагогические условия совершенствования внутренней экспертизы в общеобразовательном учреждении: дис. … канд. пед. наук. Иркутск, 2007. 243 с.8.Гуцыкова С.В. К вопросу согласованности экспертных оценок профессионально важных качеств // Знание, понимание, умение. 2009. №4. с. 200204.9.Слепцова М.В. Согласование экспертных мнений для математической модели учебного предмета ©Технологияª// Научное мнение. 2014. №7.с.320326.
