Measurement of pupils’ proficiency about traffic rules on a linear scale

Введение. В современном мире проблемы безопасности движения приобрели особенное значение, так как с каждым годом возрастает количество дорожно-транс­портных происшествий, в том числе с участием детей. Безопасность детей на дорогах во многом зависит от уровня знаний правил дорожного движения (ПДД). Вопросам поведения маленьких пешеходов как участников дорожного движения в настоящее время уделяется первоочередное внимание на классных часах в школах. Однако до сих пор в существующей литературе не представлены надежные способы измерения уровня знаний ПДД школьниками.

Целью исследования является измерение уровня знания школьниками правил дорожного движения, анализ качества теста как измерительного инструмента для оценивания уровня знаний правил дорожного движения школьниками 5–9-х классов.

Для достижения данной цели необходимо решить следующие задачи:

-          оценить степень совместимости вопросов теста (индикаторов) как измерительного инструмента;

-          провести анализ качества теста как измерительного инструмента;

-          измерить уровень знаний ПДД школьниками (латентная переменная) на линейной шкале.

Латентная переменная «уровень знаний ПДД школьниками» формализована через набор тестовых заданий, разработанных ЦСТАиПО «Академический» [1]. В качестве примера ниже приведены три тестовых задания из указанного набора (см. рис. 1–3). Правильный ответ выделен курсивом.

Рис. 1. Как должен поступить пешеход в этой ситуации?

1. Пройти перед автомобилем, убедившись, что он остановился и уступает Вам дорогу.
2. Пройти первым.
3. Уступить автомобилю.

Рис. 2. Как правильно переходить проезжую часть?

1. В любом месте по пешеходному переходу.
2. 2.     За спиной и перед грудью регулировщика, убедившись, что транспорт вас пропускает.
3. Переход запрещен.

Рис. 3. С какой стороны регулировщика разрешен переход?

1. Переход запрещен.
2. За спиной и перед грудью регулировщика.
3. В любом месте по пешеходному переходу.

Таблица 1

Результаты тестирования 14 учеников

Метод. Измерение уровня знаний ПДД школьниками и анализ качества теста проводились в рамках теории измерения латентных переменных. Для измерения латентной переменной применялась дихотомическая модель Раша, которая использовалась для решения аналогичных задач [2, 3]. Свойства этой модели подробно рассмотрены в [4].

,

где  – вероятность правильного ответа i-м школьником на j-е тестовое задание,  – местоположение i-го школьника на шкале «уровень знаний ПДД»,  – местоположение j-го тестового задания на той же шкале.

Для обработки данных тестовых заданий использовалась диалоговая система ИЛП, разработанная в лаборатории объективных измерений Кубанского государственного университета [5].

Результаты анализа. Первоочередной задачей при измерении латентной переменной является оценка совместимости тестовых заданий, т. е. определение того, в какой мере эти задания определяют одну и ту же латентную переменную, в данном случае «уровень знаний ПДД школьниками». Совместимость индикаторных переменных осуществлялась на основе критерия Хи-квадрат. Значение данного критерия в нашем случае оказалось равным 30,46 при степени свободы 30. Эмпирический уровень значимости, соответственно, равен 0,442 (значительно больше номинального 0,05), что говорит о совместимости набора тестовых заданий, а значит, и о пригодности теста для измерения латентной переменной «уровень знаний ПДД». Показатель Альфа Кронбаха равен 0,927, что свидетельствует о высокой степени дифференциации школьников по их знанию ПДД.

На тестовые задания 7, 11, 14 правильно ответили все учащиеся, потому данные задания были исключены из дальнейшего исследования, поскольку они не дифференцируют школьников по их знанию ПДД.

Наиболее полно поведение тестовых заданий описывается так называемыми характеристическими кривыми, которые характеризуют вероятность правильного ответа на тестовое задание в зависимости от значения измеряемой латентной переменной.

Характеристика измерительного инструмента – набора индикаторов

В табл. 2 приведена статистическая характеристика тестовых заданий. Тестовые задания в табл. 2 упорядочены по возрастанию их значений на шкале латентной переменной – от наименьшего значения (–1,907 логит) до наибольшего (+0,649 логит).

Таблица 2

Статистическая характеристика тестовых заданий

Другим важным условием применения теории измерения латентных переменных является адекватность тестовых заданий модели измерения. Выполнение данного условия также определяется на основе критерия Хи-квадрат. Осуществляется это следующим образом: на основе модели Раша все измеряемые объекты (ученики) делятся на три группы: с высоким, низким и средним уровнями знаний ПДД. После этого для каждой из групп вычисляется среднее значение и при помощи критерия Хи-квадрат определяется соответствие этих точек теоретическим значениям, полученным на основе модели Раша.

По данным табл. 2 видно, что все тестовые задания адекватны модели измерения (уровень значимости статистики Хи-квадрат больше 0,05). Поэтому можно сделать вывод, что все тестовые задания совместимы и тест можно рассматривать как инструмент для измерения уровня знаний ПДД школьниками.

Лучше всего поведение тестовых заданий отображают характеристические кривые, показывающие зависимость вероятности правильного ответа ученика от уровня его подготовленности.

Представим характеристические кривые тестовых заданий. В целях иллюстрации рассмотрим наиболее отличительные тестовые задания:

-          наиболее легкое тестовое задание, лучше других дифференцирующее учеников с низким уровнем знаний ПДД;

-          наиболее трудное тестовое задание, лучше других дифференцирующее учеников с высоким уровнем знаний ПДД;

-          тестовое задание с наибольшей степенью адекватности модели измерения;

-          тестовое задание с наименьшей степенью адекватности модели измерения.

Ниже представлены характеристические кривые для указанных выше тестовых заданий.

Характеристическая кривая наиболее легкого тестового задания

Таким тестовым заданием является задание 16. Характеристическая кривая этого тестового задания представлена на рис. 4.

Рис. 4. Характеристическая кривая тестового задания 16

Характеристическая кривая наиболее трудного тестового задания

Характеристическая кривая наиболее трудного тестового задания 4 представлена на рис. 5. Характеристическая кривая этого задания расположена значительно ниже кривой задания 16. Это свидетельствует о трудности задания 4 (меньшее число учеников правильно отвечают на это задание).

Рис. 5. Характеристическая кривая наиболее трудного тестового задания 4

Характеристическая кривая тестового задания,

 в наибольшей степени адекватного модели измерения

Наиболее адекватно модели измерения тестовое задание 15. Уровень значимости статистики Хи-квадрат для этого задания является наибольшим и равен 0,821. Характеристическая кривая этого тестового задания представлена на рис. 6.

Рис. 6. Характеристическая кривая тестового задания 15

Характеристическая кривая тестового задания,

в наименьшей степени адекватного модели измерения

Таким тестовым заданием является задание 13 (рис. 7).

Рис. 7. Характеристическая кривая тестового задания 13

Обобщенные результаты измерения уровня подготовленности учеников и трудности тестовых заданий представлены на рис. 8. В верхней части рис. 8 находится гистограмма, показывающая распределение школьников, в нижней части рисунка –  распределение тестовых заданий на одной и той же шкале «уровень знаний ПДД».

Рис. 8. Результаты измерения латентной переменной «уровень знаний ПДД школьниками»

Анализируя приведенную на рисунке информацию, можно сделать следующие заключения:

-          уровень знаний ПДД школьниками варьируется в достаточно большом диапазоне 3,5 логит (от –0,5 логит, до +3,0 логит);

-          диапазон варьирования тестовых заданий равен 3,0 логит (от –2,0 до +1,0 логит).

Сдвиг месторасположения школьников относительно опросника составляет 1,187. Учитывая то, что тест был хорошо апробирован его разработчиками, можно сделать вывод о высоком уровне знания школьниками правил дорожного движения.

Выводы

1. Представлена процедура измерения на линейной шкале уровня знаний ПДД школьниками.
2. Использованный в работе тест обладает хорошими статистическими свойствами.
3. Результаты тестирования показали хорошее знание школьниками правил дорожного движения.