Измерение и анализ качества профессиональной деятельности учителей на основе портфолио
А.
А. МаслакБиблиографическое описание статьи для цитирования:
Маслак
А.
А.,
Матвеева
С.
С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Научно-методический электронный журнал «Концепт». –
2015. – № S7. – С.
51–55. – URL:
http://e-koncept.ru/2015/75115.htm.
Аннотация. В рамках теории латентных переменных измерено качество профессиональной деятельности учителей на основе портфолио. Проведен анализ портфолио как измерительного инструмента, и выделены отличительные индикаторы портфолио. Результаты измерения качества профессиональной деятельности учителей использованы для сравнения школ.
Ключевые слова:
портфолио, качество профессиональной деятельности учителя, измерение латентных переменных
Текст статьи
Маслак Анатолий Андреевич,доктор технических наук, профессор, заведующий лабораторией объективных измерений филиала ФГБОУ ВПО «Кубанский государственный университет», г.СлавянскнаКубаниanatoliy_maslak@mail.ru
Матвеева Светлана Сергеевна,студентка IIIкурса, направление подготовки: 05040062«Психологопедагогическое образование», профиль: Психология и социальная педагогика, филиала ФГБОУ ВПО «Кубанский государственный университет», г. СлавянскнаКубаниsveta.matveeva@bk.ru
Измерение и анализ качества профессиональной деятельности учителей на основе портфолио
Аннотация. В рамках теории латентных переменных измерено качество профессиональной деятельности учителей на основе портфолио. Проведен анализ портфолио как измерительного инструмента, и выделены отличительные индикаторы портфолио. Результаты измерения качества профессиональной деятельности учителей использованы для сравнения школ.Ключевые слова: качество профессиональной деятельности учителя, измерение латентных переменных, портфолио.Раздел: (01) педагогика; история педагогики и образования; теория и методика обучения и воспитания (по предметным областям).
ВведениеКачество профессиональной деятельности учителя является латентной переменной, т.е.непосредственно неизмеряемой переменной, как например вес или рост. В данной работе качество профессиональной деятельности учителя определяется операционально –через набор индикаторов (показателей) портфолио учителя. Каждый индикатор портфолио характеризует один из аспектов качества профессиональной деятельности учителя. Поэтому качество профессиональной деятельности учителя является интегральным показателем, который формируется на основе показателей портфолио. Актуальность работы Актуальность работы объясняется тем, что качество профессиональной деятельности учителей напрямую определяет качество образования в школе. Объектом исследованияявляется качества профессиональной деятельности учителей на основе портфолио.Предметом исследованияявляется измерение качества профессиональной деятельности учителей на основе портфолио.
Цель работысостоит в формировании и измерении интегрального показателя качества профессиональной деятельности учителя, измеряемого на линейной шкале. Этот показатель используется не только для сравнительного анализа учителей, но и для сравнения школ на основе качества профессиональной деятельности учителей.Для достижения поставленной цели необходимо решить следующие задачи.1.Сформировать операциональное определение качества профессиональной деятельности учителей на основе портфолио.2.Провести анализ функционирования индикаторов портфолио.Измерить качество качества профессиональной деятельности учителей на основе портфолио.4.Сравнить общеобразовательные школы на основе качества профессиональной деятельности учителей.
Исходные данные На первом этапе в исследовании приняли все учителя 25 общеобразовательных школ Славянского района. Учителя остальных 10 школ присоединятся к исследованию на втором этапе. В формализации портфолио принимали участие сотрудники Лаборатории объективных измерений КубГУ, Управления образования Администрации Славянского района и Центра оценки качества образования Славянского района. Индикаторы портфолио, характеризующие качество профессиональной деятельности учителя, представлены в табл. 1.Таблица 1 Индикаторы портфолио учителя
№п/пИндикаторы портфолио1
Стаж работы в данном ОУ: менее 3 лет–0; более 3 лет–1
2
Наличие квалификационной категории: нет–0; да–1
3
Повышение квалификации: нет либо более, чем 3 года назад–0; менее–1
4
Наличие ученой степени: нет–0; да–1
5
Государственные награды: нет–0; да–1
6
Дипломы различных конкурсов: нет–0; да –1
7
Материалы с результатами освоения обучающимися образовательных программ, сформированности ключевых компетентностей по предмету: нет–0; да–1
8
Сравнительный анализ деятельности за три года на основе контрольных срезов знаний, участия обучающихся в районных олимпиадах, конкурсах: отрицательная динамика–0; стабильность либо положительная динамика–1
9
Результаты промежуточной и итоговой аттестации учащихся: несовпадение результатов–0; совпадение результатов–1
10
Поступление выпускников в ссузы и вузы по специальности учителя: нет–0; да–1
11
Материалы, обуславливающие выбор образовательных программ, УМК,методлитературы: нет–0; да–1
12
Материалы, обуславливающие выбор используемых технологий: нет–0; да–1
13
Материалы, обуславливающие выбор применяемых средств педагогической диагностики: нет–0; да–1
14
Использование ИКТ в образовательном процессе, технологий обучения детей с проблемами развития: нет–0; да–1
15
Работа в МО, сотрудничество с КМЦ, ссузами и вузами: нет–0; да–1
16
Участие в профессиональных и творческих конкурсах: нет–0; да–1
17
Участие в методических и предметных неделях: нет–0; да–1
18
Организация и участие в проведении семинаров, круглых столов,мастерклассов, межшкольных консультационных пунктов: нет–0; да–1
19
Проведение научных исследований, участие в научной работе, в инновационной деятельности: нет–0; да–1
20
Разработка авторских программ: нет–0; да–1
21
Написание рукописи кандидатской или докторской диссертации: нет–0; да–1
22
Подготовка творческого отчета, реферата, доклада, статьи, внесение передового педагогического опыта в муниципальный или региональный банк данных: нет–0; да–1
Наличие творческих работ учащихся по предмету: нет–0; да–1
24
Наличие учащихсяпобедителей олимпиад, конкурсов, соревнований и т
п
(на муниципальном уровне, региональном уровне): нет–0; да–1
25
Сценарии внеклассных мероприятий, фотои видеоматериалы: нет либо частично–0; да–1
26
Наличие разработанных программ кружков и факультатов: нет–0; да–1
27
Наличие словарей и другой справочной литературы по предмету: нет–0; да–1
28
Наличие наглядных пособий по предмету: нет–0; да–1
29
Использование современных технических средств обучения (компьютер, интерактивная доска и т
д): нет–0; да–1
30
Наличие и использование электронных материалов: нет–0; да–1
31
Наличие дидактического и раздаточного материала: нет–0; да–132
Контрольноизмерительные материалы: нет–0;да–1
33
Профессиональный уровень: высокий уровень –2; средний –1; низкий –0
34
Соблюдение правовых, нравственных и этических норм: высокий уровень –2; средний –1; низкий –0
35
Уважение чести и достоинства обучающихся и других участников образовательного процесса: высокий уровень –2; средний –1; низкий –0
36
Применение педагогически обоснованных и обеспечивающих высокое качество образования, форм, методов обучения и воспитания: высокий уровень –2; средний –1; низкий –0
37
Учет особенностей психофизиологического развития обучающихся и состояния их здоровья: высокий уровень –2; средний –1; низкий –0
38
Толерантность: высокий уровень –2; средний –1; низкий –0
39
Культура речи: высокий уровень –2; средний –1; низкий –0
40
Внешний вид, соответствующий общепринятому деловому стилю: высокий уровень –2; средний –1; низкий –0
41
Исключение действий, связанных с влиянием личных, имущественных (финансовых) и иных интересов, препятствующих добросовестному исполнению трудовых обязанностей: высокий уровень –2; средний –1; низкий –0
42
Воздержание от поведения, вызывающего сомнение в добросовестном исполнении трудовых обязанностей и умение не создавать конфликтные ситуации, наносящие ущерб репутации или авторитету ОО: высокий уровень –2; средний –1; низкий –0
43
Любого вида высказываний и действий дискриминационного характера: нет–0; да–1: высокий уровень –2; средний –1; низкий –0
44
Грубости, проявления пренебрежительного тона, заносчивости, предвзятых замечаний, предъявление неправомерных, незаслуженных обвинений: нет–0; да–1: высокий уровень –2; средний –1; низкий –0
45
Угроз, оскорбительных выражений или реплик, действий, препятствующих нормальному общению или провоцирующих противоправное поведение: нет–0; да–1: высокий уровень –2; средний –1; низкий –0
Метод исследованияСущественными недостатками многих способов конструирования интегральных показателей (метод взвешивания, экспертные оценки, индексы) являются субъективность весов экспертов и нелинейность шкалы.
Это затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения.
Поэтому уровень качества профессиональной деятельности учителя формируется в рамках теории измерения латентных переменных.
Наиболее полно на русском языке эта теория представлена в монографии [1].
Выбор этой теории обусловлен следующим.
Интегральный показатель, в данном случае качество профессиональной деятельности учителя измеряется на линейной шкале, что необходимо для дальнейшего сравнительного анализа и мониторинга [2].2.Измерение этого интегрального показателя необходимо для более точного уяснения его смысла, в данном случае что такое «качество профессиональной деятельности учителя».
Это позволяет откорректировать набор индикаторов портфолио.
Результаты анализаПрежде всего, рассмотрим наиболее отличительные индикаторы, которые характеризуют качество профессиональной деятельности учителя:
индикатор, который в наибольшей степени дифференцирует учителей по качеству их профессиональной деятельности;индикатор, который в наименьшей степени дифференцирует учителей по качеству их профессиональной деятельности;индикатор, который лучше других характеризует наивысшее качество профессиональной деятельности учителя; индикатор, который лучше других характеризует наименьшее качество профессиональной деятельности учителя.
Наиболее полно поведение индикаторов описывается так называемыми характеристическими кривыми, которые характеризуют выборуровня индикаторы в зависимости от значения измеряемой латентной переменной.
Ниже представлены характеристические кривые этих наиболее отличительных индикаторов.
Характеристическая кривая индикатора, который в наибольшей степени дифференцирует учителей по качеству их профессиональной деятельностиЭтим индикатором является индикатор i2«Наличие квалификационной категории».
Характеристическая кривая этого индикатора представлена на рис.
1.
Рис..
1.
Характеристическая кривая индикатора i2«Наличие квалификационной категории»
Этот и другие рисунки с характеристическими кривыми имеют следующую структуру.
Ось абсцисс –это качество профессиональной деятельности учителя (в логитах).
По оси ординат откладывается вероятность ожидаемого значения индикатора.
В данном случае значение индикаторной переменной варьируется от 0 до 1.
В верхней части рисунка расположена следующая информация:
Матвеева Светлана Сергеевна,студентка IIIкурса, направление подготовки: 05040062«Психологопедагогическое образование», профиль: Психология и социальная педагогика, филиала ФГБОУ ВПО «Кубанский государственный университет», г. СлавянскнаКубаниsveta.matveeva@bk.ru
Измерение и анализ качества профессиональной деятельности учителей на основе портфолио
Аннотация. В рамках теории латентных переменных измерено качество профессиональной деятельности учителей на основе портфолио. Проведен анализ портфолио как измерительного инструмента, и выделены отличительные индикаторы портфолио. Результаты измерения качества профессиональной деятельности учителей использованы для сравнения школ.Ключевые слова: качество профессиональной деятельности учителя, измерение латентных переменных, портфолио.Раздел: (01) педагогика; история педагогики и образования; теория и методика обучения и воспитания (по предметным областям).
ВведениеКачество профессиональной деятельности учителя является латентной переменной, т.е.непосредственно неизмеряемой переменной, как например вес или рост. В данной работе качество профессиональной деятельности учителя определяется операционально –через набор индикаторов (показателей) портфолио учителя. Каждый индикатор портфолио характеризует один из аспектов качества профессиональной деятельности учителя. Поэтому качество профессиональной деятельности учителя является интегральным показателем, который формируется на основе показателей портфолио. Актуальность работы Актуальность работы объясняется тем, что качество профессиональной деятельности учителей напрямую определяет качество образования в школе. Объектом исследованияявляется качества профессиональной деятельности учителей на основе портфолио.Предметом исследованияявляется измерение качества профессиональной деятельности учителей на основе портфолио.
Цель работысостоит в формировании и измерении интегрального показателя качества профессиональной деятельности учителя, измеряемого на линейной шкале. Этот показатель используется не только для сравнительного анализа учителей, но и для сравнения школ на основе качества профессиональной деятельности учителей.Для достижения поставленной цели необходимо решить следующие задачи.1.Сформировать операциональное определение качества профессиональной деятельности учителей на основе портфолио.2.Провести анализ функционирования индикаторов портфолио.Измерить качество качества профессиональной деятельности учителей на основе портфолио.4.Сравнить общеобразовательные школы на основе качества профессиональной деятельности учителей.
Исходные данные На первом этапе в исследовании приняли все учителя 25 общеобразовательных школ Славянского района. Учителя остальных 10 школ присоединятся к исследованию на втором этапе. В формализации портфолио принимали участие сотрудники Лаборатории объективных измерений КубГУ, Управления образования Администрации Славянского района и Центра оценки качества образования Славянского района. Индикаторы портфолио, характеризующие качество профессиональной деятельности учителя, представлены в табл. 1.Таблица 1 Индикаторы портфолио учителя
№п/пИндикаторы портфолио1
Стаж работы в данном ОУ: менее 3 лет–0; более 3 лет–1
2
Наличие квалификационной категории: нет–0; да–1
3
Повышение квалификации: нет либо более, чем 3 года назад–0; менее–1
4
Наличие ученой степени: нет–0; да–1
5
Государственные награды: нет–0; да–1
6
Дипломы различных конкурсов: нет–0; да –1
7
Материалы с результатами освоения обучающимися образовательных программ, сформированности ключевых компетентностей по предмету: нет–0; да–1
8
Сравнительный анализ деятельности за три года на основе контрольных срезов знаний, участия обучающихся в районных олимпиадах, конкурсах: отрицательная динамика–0; стабильность либо положительная динамика–1
9
Результаты промежуточной и итоговой аттестации учащихся: несовпадение результатов–0; совпадение результатов–1
10
Поступление выпускников в ссузы и вузы по специальности учителя: нет–0; да–1
11
Материалы, обуславливающие выбор образовательных программ, УМК,методлитературы: нет–0; да–1
12
Материалы, обуславливающие выбор используемых технологий: нет–0; да–1
13
Материалы, обуславливающие выбор применяемых средств педагогической диагностики: нет–0; да–1
14
Использование ИКТ в образовательном процессе, технологий обучения детей с проблемами развития: нет–0; да–1
15
Работа в МО, сотрудничество с КМЦ, ссузами и вузами: нет–0; да–1
16
Участие в профессиональных и творческих конкурсах: нет–0; да–1
17
Участие в методических и предметных неделях: нет–0; да–1
18
Организация и участие в проведении семинаров, круглых столов,мастерклассов, межшкольных консультационных пунктов: нет–0; да–1
19
Проведение научных исследований, участие в научной работе, в инновационной деятельности: нет–0; да–1
20
Разработка авторских программ: нет–0; да–1
21
Написание рукописи кандидатской или докторской диссертации: нет–0; да–1
22
Подготовка творческого отчета, реферата, доклада, статьи, внесение передового педагогического опыта в муниципальный или региональный банк данных: нет–0; да–1
Наличие творческих работ учащихся по предмету: нет–0; да–1
24
Наличие учащихсяпобедителей олимпиад, конкурсов, соревнований и т
п
(на муниципальном уровне, региональном уровне): нет–0; да–1
25
Сценарии внеклассных мероприятий, фотои видеоматериалы: нет либо частично–0; да–1
26
Наличие разработанных программ кружков и факультатов: нет–0; да–1
27
Наличие словарей и другой справочной литературы по предмету: нет–0; да–1
28
Наличие наглядных пособий по предмету: нет–0; да–1
29
Использование современных технических средств обучения (компьютер, интерактивная доска и т
д): нет–0; да–1
30
Наличие и использование электронных материалов: нет–0; да–1
31
Наличие дидактического и раздаточного материала: нет–0; да–132
Контрольноизмерительные материалы: нет–0;да–1
33
Профессиональный уровень: высокий уровень –2; средний –1; низкий –0
34
Соблюдение правовых, нравственных и этических норм: высокий уровень –2; средний –1; низкий –0
35
Уважение чести и достоинства обучающихся и других участников образовательного процесса: высокий уровень –2; средний –1; низкий –0
36
Применение педагогически обоснованных и обеспечивающих высокое качество образования, форм, методов обучения и воспитания: высокий уровень –2; средний –1; низкий –0
37
Учет особенностей психофизиологического развития обучающихся и состояния их здоровья: высокий уровень –2; средний –1; низкий –0
38
Толерантность: высокий уровень –2; средний –1; низкий –0
39
Культура речи: высокий уровень –2; средний –1; низкий –0
40
Внешний вид, соответствующий общепринятому деловому стилю: высокий уровень –2; средний –1; низкий –0
41
Исключение действий, связанных с влиянием личных, имущественных (финансовых) и иных интересов, препятствующих добросовестному исполнению трудовых обязанностей: высокий уровень –2; средний –1; низкий –0
42
Воздержание от поведения, вызывающего сомнение в добросовестном исполнении трудовых обязанностей и умение не создавать конфликтные ситуации, наносящие ущерб репутации или авторитету ОО: высокий уровень –2; средний –1; низкий –0
43
Любого вида высказываний и действий дискриминационного характера: нет–0; да–1: высокий уровень –2; средний –1; низкий –0
44
Грубости, проявления пренебрежительного тона, заносчивости, предвзятых замечаний, предъявление неправомерных, незаслуженных обвинений: нет–0; да–1: высокий уровень –2; средний –1; низкий –0
45
Угроз, оскорбительных выражений или реплик, действий, препятствующих нормальному общению или провоцирующих противоправное поведение: нет–0; да–1: высокий уровень –2; средний –1; низкий –0
Метод исследованияСущественными недостатками многих способов конструирования интегральных показателей (метод взвешивания, экспертные оценки, индексы) являются субъективность весов экспертов и нелинейность шкалы.
Это затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения.
Поэтому уровень качества профессиональной деятельности учителя формируется в рамках теории измерения латентных переменных.
Наиболее полно на русском языке эта теория представлена в монографии [1].
Выбор этой теории обусловлен следующим.
Интегральный показатель, в данном случае качество профессиональной деятельности учителя измеряется на линейной шкале, что необходимо для дальнейшего сравнительного анализа и мониторинга [2].2.Измерение этого интегрального показателя необходимо для более точного уяснения его смысла, в данном случае что такое «качество профессиональной деятельности учителя».
Это позволяет откорректировать набор индикаторов портфолио.
Результаты анализаПрежде всего, рассмотрим наиболее отличительные индикаторы, которые характеризуют качество профессиональной деятельности учителя:
индикатор, который в наибольшей степени дифференцирует учителей по качеству их профессиональной деятельности;индикатор, который в наименьшей степени дифференцирует учителей по качеству их профессиональной деятельности;индикатор, который лучше других характеризует наивысшее качество профессиональной деятельности учителя; индикатор, который лучше других характеризует наименьшее качество профессиональной деятельности учителя.
Наиболее полно поведение индикаторов описывается так называемыми характеристическими кривыми, которые характеризуют выборуровня индикаторы в зависимости от значения измеряемой латентной переменной.
Ниже представлены характеристические кривые этих наиболее отличительных индикаторов.
Характеристическая кривая индикатора, который в наибольшей степени дифференцирует учителей по качеству их профессиональной деятельностиЭтим индикатором является индикатор i2«Наличие квалификационной категории».
Характеристическая кривая этого индикатора представлена на рис.
1.
Рис..
1.
Характеристическая кривая индикатора i2«Наличие квалификационной категории»
Этот и другие рисунки с характеристическими кривыми имеют следующую структуру.
Ось абсцисс –это качество профессиональной деятельности учителя (в логитах).
По оси ординат откладывается вероятность ожидаемого значения индикатора.
В данном случае значение индикаторной переменной варьируется от 0 до 1.
В верхней части рисунка расположена следующая информация:
