Evaluation of the educational work effectiveness using Big Data technologies: the problem of obtaining and classifying information

Введение / Introduction

Актуальность потребности в обеспечении результативности воспитательной работы в отечественной системе образования не вызывает сомнения. Важным этапом обеспечения результативности является ее оценка, которая должна не только определять итог деятельности всей системы образования, но и позволять корректировать воспитательную работу с целью недопущения, по словам А. С. Макаренко, «ни одного процента брака, ни одной загубленной жизни» [1].

Обратим внимание на четыре основные проблемы, без решения которых сегодня обеспечить оценку результативности воспитания проблематично.

Во-первых, результативность в воспитании нередко отождествляют с объемом финансирования. Названное отождествление устанавливает взаимосвязь результативности с такими количественными характеристиками, как объем финансовых средств, выделенных на воспитательную работу, количество освоенных средств на проведение конкретного воспитательного мероприятия, размеры грантов на воспитательную деятельность, полученных и реализованных образовательной организацией и пр. Такой подход как порождение рыночной экономики, несомненно, удобен для отчетности (особенно отчетности финансовой), но не соответствует определению «воспитание», сформулированном в Федеральном законе «Об образовании в Российской Федерации» [2]. В рассуждении «больше средств освоено – лучше результат» присутствует логика финансиста, но взаимосвязь между объемами финансирования и формированием, например, у обучающихся чувства патриотизма и гражданственности представляется спорной. Более того, названное выше отождествление создает иллюзию гарантированных позитивных результатов воспитательной работы при освоении средств, выделенных образовательной организации. Созданная иллюзия ведет к игнорированию оценки истинных результатов воспитательной работы, имеющих латентный, отсроченный, полисубъектный характер. Следует, на наш взгляд, при оценке результативности воспитательной работы ориентироваться на квалиметрический подход. Согласно ему при оценке результативности должна рассматриваться деятельность, связанная с конечным результатом деятельности (в нашем случае – результатами воспитательной работы), но не связанная с затратами, обеспечивающими эту деятельность [3].

Во-вторых, проблему для оценки результативности воспитательной работы представляет и желание администрации образовательных организаций отождествить ее с неким конкретным числом. Данное число, по мнению администрации, должно отражать результативность воспитательной работы за определенный промежуток времени (учебный год, четверть, семестр). Привлекательность такого отождествления выражается в возможности для администрации без затруднений, на первый взгляд, увидеть динамику результативности воспитательной работы за определенные промежутки времени. Анализ динамики позволяет устанавливать «обратную связь» для принятия управленческих решений, обеспечивающих (при необходимости) корректировку воспитательной работы, а также стимулировать успешных работников. К сожалению, не лучшим, но массовым вариантом такого представления оценки результативности является суммирование всех возможных числовых значений, связанных с воспитательной работой. В результате получается число, отражающее «среднее значение» результативности воспитательной работы в образовательной организации. Это среднее значение, как и прочие средние (средняя успеваемость, средний учащийся и т. п.), скорее, мешают принимать необходимые управленческие решения.

Третья проблема связана с тем, что основным источником информации о результатах воспитания в образовательной организации является сама образовательная организация. Обобщенная информация о результатах воспитания формируется на основе информации, предоставляемой учителями-предметниками, классными руководителями, воспитателями, кураторами, тьюторами, заместителями руководителя по воспитательной работе, советниками директора по воспитанию и взаимодействию с детскими общественными объединениями и иными педагогическими работниками. Погрешность такой оценки как минимум обусловлена:

– наличием в образовательной организации ситуации «сам измеряю свою работу» в условиях, когда низкие результаты не нужны никому;

– отрицанием образовательными организациями процесса оценки результативности воспитательной работы как процесса, состоящего из взаимосвязанных этапов, для реализации которых необходимо разделение труда, наличие соответствующих профессиональных компетенций и привлечение независимых экспертов;

– недостаточной сформированностью (отсутствием) у педагогических работников образовательных организаций профессиональных компетенций, позволяющих обеспечить в (границах их профессиональной деятельности) оценку результативности воспитательной работы на всех этапах данного процесса.

 В-четвертых, многоаспектность воспитательной работы, разнообразие источников ее получения влекут за собой многоаспектность и значительные объемы информации, необходимые для оценки ее результативности. Собрать их и обработать в ручном режиме становится все сложнее. Целесообразным видится обращение к технологиям больших данных (Big Data). Рассматривая «документ» как элемент представления информации в них, обратим внимание на актуальность классификации информации (документов). Проблема классификации информации предполагает не только определение перечня ключей и возможных значений для документа, необходимых для оценки результативности воспитательной работы, не менее важным является и готовность участников процесса оценки к обеспечению классификации информации.

Исходя из сказанного, следует, что для оценки результативности воспитательной работы в образовательной организации необходима алгоритмизированная, квалиметрически обоснованная методика, позволяющая количественно измерить различные аспекты воспитательной работы с применением технологий больших данных. В рамках статьи предложим ответы на вопросы применительно к общеобразовательной организации: какие методы получения информации возможно применять в рамках этой технологии? Насколько педагогические работники готовы к применению этих методов получения информации и ее классификации?

Обзор литературы / Literature review

В последние годы появляются работы о применении технологий больших данных в сфере образования, организуются международные конференции, посвященные вопросам доказательного развития образования на основании анализа данных; оценки и развития компетенций data-анализа у профессионалов образования; концептуального обоснования и развития новых образовательных практик работы с данными в развитии человека; прогнозной и риск-аналитики в мониторингах образования [4].

Big Data – это огромные объемы данных, которые накапливаются в различных источниках, таких как социальные сети, интернет-сайты, мобильные устройства, датчики, транзакции и другие, и характеризуются тремя основными аспектами – объемом, разнообразием и скоростью обработки. В экономике Big Data представляют собой ценный источник информации, который может использоваться для анализа рынков, потребительского поведения, финансовых операций, производственных процессов и других аспектов экономической деятельности [5].

Технологии Big Data позволяют анализировать огромные объемы данных, что находит применение в управлении системами образования. Ежегодное увеличение объемов данных и интернет-пользователей способствует применению Big Data в социологических исследованиях, исследованиях результатов образовательного процесса. Социологический опрос на современном этапе частично вытесняется технологиями больших данных.

О. А. Фиофанова раскрывает вопросы аналитики образовательных данных для доказательного развития образования и управления образованием на основании данных. В работе освещается методология и технология анализа данных в образовании [6].

Бен Кей Дэниел обращается к вопросам применения больших данных в контексте высшего образования, описывает широкий спектр административных и оперативных процессов сбора данных, направленных на оценку эффективности работы образовательной организации, обращает внимание на возможности и ограничения технологий больших данных в высшем образовании [7].

В статье «Большие данные в образовании: современное состояние, ограничения и направления будущих исследований» авторы рассматривают работы, посвященные применению больших данных для оценки результатов образовательной деятельности и совершенствования управления системой образования [8].

В работе «Обзор и перспективы современного образования с использованием больших данных» авторами представлены перспективы возможности оценки результативности учебной и воспитательной деятельности и корректировки на их основе взаимосвязанной деятельности обучающихся и педагогов. Рассматривается последовательность процедур моделирования образовательных достижений и поведения обучающихся, моделирование образовательных стратегий, роль больших данных в этих процессах [9].

Ана Стоянова и Бен Кей Дэниел анализируют опыт обращения к большим данным в образовании за последние 10 лет. Авторы рассматривают исследования, описывающие опыт применения больших данных для анализа внеучебной деятельности обучающихся [10].

В. В. Утёмов и П. М. Горев рассматривают технологию Big Data как средство развития образовательных систем. Авторы приводят следующие характеристики Big Data, описанные по правилу «5V»: 1V (volume): объем физических данных значительный; 2V (velocity): скорость сбора данных и скорость обработки результатов сравнительно высокая; 3V (variety): вариативность алгоритмов обработки различных типов собранных результатов; 4V (veracity): высокая достоверность собранных данных, позволяющая формулировать репрезентативные результаты; 5V (value): ценность накапливаемых данных должна быть заключена в возможности на их основе формулировать полезные разноаспектные зависимости системы образования [11].

Таким образом, технологии больших данных позволяют провести анализ данных при условии, что, во-первых, информация, единичной формой которой является документ, должна соответствовать правилу 5V, а во-вторых, документы должны быть классифицированы таким образом, чтобы позволяли эксперту получить необходимый для анализа набор документов.

Отдельного внимания требует вопрос разработки методики оценки результативности воспитательной работы в образовательной организации на основе больших данных, а также проблема получения разнообразной информации и ее классификации в форме, необходимой технологиям больших данных. В научной литературе рассматриваются различные аспекты проблемы оценки результатов воспитания, методологии и методов получения информации о результатах воспитательной работы.

Как отмечает Ю. Н. Слепко, «проблема воспитания в современном психолого-педагогическом знании имеет множество аспектов. На методологическом уровне она проявляется в обсуждении степени самостоятельности психологии воспитания как отдельной области психологического знания; на теоретическом – в наличии множества теорий и концепций воспитания и необходимости их интеграции; на прикладном – в обсуждении результатов воспитания и их взаимосвязи с результатами психического, физиологического, культурного и пр. развития. Последний аспект, так или иначе, может рассматриваться как ведущий, так как он выполняет системообразующую роль для организации системы воспитания, обучения и развития детей» [12].

Исходя из специфики воспитания, его сложной природы предмета исследования, не представляется возможным найти единственный и объективный метод измерения результатов воспитания. Исследования в области педагогики, психологии, социологии обращаются к вопросам поиска методов и методик измерения результатов воспитательной работы. Представители научной школы академика РАО Л. И. Новиковой на протяжении 30 лет занимаются вопросами методологии воспитания и методов исследования в сфере воспитания [13]. Н. Л. Селиванова и П. В. Степанов обращают внимание на необходимость осмысления и переосмысления теоретических оснований развития методологии воспитания [14].

Н. Ф. Гейжан и М. Р. Илакавичус обращают внимание на то, что «активное освоение педагогикой антропологии, нейролингвистики, социологии, урбанистики должно сопровождаться расширением инструментария исследований, уходом от “простых” ответов на сложные, многозадачные вопросы. Дискуссии в научном сообществе по этому поводу должны вестись на постоянной основе, потому что не может быть единого и однозначного, универсального ответа на вопрос, “что и как мерить“» [15].

В статье «О конкретизации понятия “Оценка результативности воспитательной работы образовательной организации“"» рассматривается сопоставление понятий «результативность», «эффективность», «качество» применительно к результатам оценки воспитательной работы в образовательной организации. Сделан вывод, что в образовательной организации следует оценивать результативность реализации рабочей программы воспитания и календарного плана воспитательной работы. Сформулировано определение «оценка результативности воспитательной работы образовательной организации» [16].

Например, И. В. Казакова, Т. О. Соловьева за основу построения алгоритма анализа воспитательной работы в образовательной организации взяли метод Квинтилиана. Авторы приводят следующие вопросы для анализа осуществляемой воспитательной работы в школе:

1. Кто является субъектом анализа воспитательной работы в образовательном учреждении?

2. Что выступает в качестве объекта анализа воспитательной работы в образовательном учреждении? Что необходимо анализировать?

3. Зачем анализировать воспитательную работу в образовательном учреждении?

4. Где необходимо проводить анализ воспитательной работы?

5. Какие средства и методы можно задействовать для анализа воспитательной работы в образовательном учреждении? [17]

Особую роль в получении информации об итогах воспитательной работы играют социологические методы. К достоинствам социологических методов относится возможность их эффективного применения в разных областях [18–20]. Наибольшее распространение в настоящее время имеют качественные методы исследования (наблюдение, кейс-стади, фокус-группы, свободное (глубинное или нарративное) или полуструктурированное интервью (биографическое, лейтмотивное, фокусированное), анализ личных документов и др.). Указанные методы имеют свою специфику, соответствуют определенным требованиям, являются эффективными и материально не затратными, но имеющими и ряд ограничений.

Наблюдение позволяет получить оперативно разносторонние впечатления об исследуемом процессе, фиксировать события и элементы поведения в момент их совершения. Это информативный и универсальный метод. Вместе с тем наблюдение относится к трудоемким и субъективным методам исследования. Как правило, это большие затраты времени, необходимость участия нескольких экспертов-наблюдателей, ограниченность информации о целях и мотивах поведения наблюдаемых, невозможность несколько раз воспроизвести наблюдаемую ситуацию, пассивная позиция наблюдателя.

При проведении научного наблюдения необходимо соблюдать такие требования, как адресность, беспристрастность, плановость, разработанная процедура процесса наблюдения, необходимость и достаточность количества наблюдаемых признаков, учет возможных будущих ошибок, возможность проведения сравнения, измерения, а также математической обработки собранных сведений, уместность [21].

Одним из важнейшим источником информации являются различные документы. Анализ документов дает возможность получить сведения о прошедших событиях, наблюдение за которыми уже невозможно. К недостаткам метода относится проблема достоверности информации и надежности документов, которая может быть решена в процессе отбора документов для определенных исследований, а также в ходе внутреннего (изучение особенностей содержания, стиля документа) и внешнего (изучение обстоятельств возникновения документов) анализа содержания документов.

В социологических исследованиях данный вид анализа предполагает применение специальных процедур, позволяющих эффективно извлекать требуемые сведения из значительного массива документальных источников. С точки зрения общей значимости последние могут подразделяться на официальные (законы, указы и проч.) и неофициальные, к числу которых традиционно относят источники личного происхождения (письма, записи, семейные альбомы и проч.). Существуют также и иные классификации документальных источников. В частности, они могут подразделяться по форме изложения материала на письменные, вербальные, фонетические, статистические, иконографические и т. д., а также, например, в зависимости от авторства (индивидуальные или коллективные).

Стремительное развитие процессов компьютеризации и цифровизации на сегодняшний день позволяет значительно оптимизировать обработку документальных источников, так как многие из них представлены в электронном виде, что значительно упрощает их выявление и последующий анализ.

М. Цзин обращает внимание на то, что значительно ускорить обработку материалов, содержащихся в СМИ, позволяют следующие формы работы с документальными источниками:

1) клиппинг, предполагающий копирование определенных статей, представленных в прессе, по классификатору с указанием даты и источника;

2) мониторинг – дайджестирование в рамках конкретной тематики материалов СМИ с указанием маркеров, аналогичных клиппингу;

3) транскрибирование электронных средств массовой информации или расшифровка материалов теле- и радиоэфира, зафиксированная на бумажных носителях;

4) анализ организационной документации (материалов архивов, содержания речей, отчетов и иных актов [22].

Также различают качественный и качественно-количественный анализ. Под качественным анализом понимается углубленное логическое и стилистическое изучение документов, направленное на прослеживание, воссоздание индивидуальной истории автора. Качественно-количественный (контент-анализ) заключается в воспроизведении социальной реальности по ряду показателей, которые можно выявить в тексте.

К распространенным методам исследования относятся анкетирование и опрос. Среди преимуществ анкет В. А. Сушко и Б. А. Спасенников рассматривают следующие: «Анкеты позволяют исследователю собирать информацию от большого количества людей, поэтому результаты должны быть более репрезентативными для более широкой аудитории, чем при использовании качественных методов. Однако все это зависит от используемых подходящих методов выборки и наличия у исследователей знаний о том, как на самом деле заполнять анкету.

Анкеты обычно считаются одним из наиболее надежных методов сбора данных. Надежность анкет означает, что если мы действительно обнаруживаем различия в ответах, то можем быть достаточно уверены в том, что это связано с тем, что мнения респондентов изменились с течением времени» [23].

Интервьюирование предполагает личное общение с опрашиваемым, при котором интервьюер сам задает вопросы и фиксирует ответы. По форме проведения интервью может быть прямым и опосредованным.

Г. Б. Кошарная обращает внимание на то, что методически интервью различаются по степени формализации инструментария интервью, т. е. вопросника и процедуры ведения опроса. Стандартизованное или формализованное интервью предусматривает варианты ответов респондента на поставленные вопросы и не допускает каких-либо отклонений от них. Стандартизированное интервью используют при ограниченном времени сбора информации или тогда, когда анкетирование технологически осуществить трудно.

Полуформализованное (полустандартизованное) интервью наряду с закрытыми вопросами содержит более половины, иногда до двух третьих открытых вопросов.

Неформализованное, или свободное, интервью предполагает только открытые вопросы, причем гайд (план) носит общий характер. По ходу беседы интервьюер может задавать респонденту дополнительные вопросы, чтобы получить более полные сведения об обсуждаемом предмете, событии или ситуации.

Фокусированное интервью направлено на то, чтобы как можно больше узнать только об одной жизненной ситуации.

Разновидностью глубинного интервью является нарративное интервью – свободное повествование о своей жизни респондента без вмешательства со стороны интервьюера.

Глубинное интервью используют, как правило, в тех случаях, если цель исследования предусматривает определенное изучение исследуемого феномена, не требующее количественной интерпретации.

Разные виды глубинных интервью широко используются в качественных исследованиях, ориентированных на изучение истории жизни человека, истории семьи, а также как дополнительный источник в кейс-стади.

Глубинное интервью как метод социологического исследования представляет собой беседу интервьюера с респондентом, которая проводится по определенному плану (гайду, путеводителю) и предполагает обязательную фиксацию на аудио- или видеоносителях. Глубинные интервью (неструктурированные или полуструктурированные) занимают, как правило, 1,5–2 ч. Возможны случаи неоднократного возвращения к одному и тому же респонденту для уточнения деталей, углубления темы. В связи с этим качественное интервью может составлять до 4–5 ч с одним интервьюируемым. С целью обеспечения валидности необходимо предварительно составить программу исследования, включающую формулировку целей и задач, объекта и предмета исследования [24].

Широко распространен в исследованиях метод фокус-группы (групповое глубокое интервью), представляющий собой беседу небольшой группы людей по определенному плану и теме в непосредственном контакте в специально отведенном помещении.

Фокус-групповое обсуждение стимулирует появление большего количества новых идей. Особенностью фокус-группы является большое количество подробной информации.

Г. Б. Кошарная среди наиболее распространенных ошибок при проведении фокус-группы выделяет некорректное формирование самих групп, включающее неправильное определение их качественного и количественного состава. В зарубежной практике оптимальным считается восемь-десять (реже шесть-восемь) участников фокус-группы, в отечественной – 10–12. Фокус-группа должна быть оптимально небольшой, чтобы позволить ее участникам беседовать предельно откровенно. С другой стороны, уменьшение численности фокус-группы ниже минимального предела сдерживает творческое обсуждение, ограничивает количество новых идей, а нередко ухудшает и их качество. Участники группы должны обладать сходными социально-демографическими характеристиками [25].

Таким образом, большая значимость социологических методов определяется:

1) организационными преимуществами;

2) относительной дешевизной;

3) содержательностью и универсальностью информации;

4) возможностью максимального использования технических средств с использованием методов анализа и современных пакетов прикладных программ [26].

Следует остановиться на современных методах в социологических исследованиях. Работа О. В. Вилковой посвящена современному методу сбора открытых интернет-данных – веб-скрейпингу – и научной осмысленности его использования в социологических исследованиях.

Веб-скрейпинг (син. парсинг, скрин-скрейпинг, веб-кроулинг) – практика сбора открытых данных с загруженных веб-страниц и форм, не предназначенных для этого (т. е. в большинстве случаев в обход интерфейсных правил пользования вебсайтом, API и других ограничений). Сбор открытых данных осуществляется автоматической программой (парсером), которая обращается к веб-серверу для запроса данных и их последующей обработки [27].

А. В. Вайсбург рассматривает количественные опросы на базе использования телефонной связи и компьютера (САTI, CAPI, CATI2web), методы на основе использования сети Интернет (e-mаil-опрос; web-опрос; опросы через соцсети; на базе бесплатных и платных платформ; онлайн-панели). Описано проведение опросов с применением средств мобильной связи и сети Интернет (SMS, java-приложения, по QR-коду), использованием элементов компьютерных игр и принципов геймификации в опросах [28].

При проведении электронных опросов автором рассматривается ряд недостатков:

1. Неясная репрезентативность выборки.

2. Смещенность выборки – участие в интернет-опросах могут принимать только люди, использующие Интернет.

3. Уменьшение количества участников с каждым годом.

4. Контроль при проведении исследования обусловлен низким уровнем вовлеченности респондентов и повторным заполнением анкет одними и теми же информантами.

5. Необходимость уменьшения объемов анкеты.

6. Технические проблемы: плохая связь, ограниченные ресурсы компьютеров пользователей и сбои в работе провайдеров.

Среди преимуществ рассматриваются следующие:

1. Экономия времени, денег и трудовых ресурсов.

2. Возможность индивидуальной обратной связи, отсутствие временных ограничений на участие в исследовании, адаптация числа вопросов в соответствии с профилем клиента.

3. Уменьшение влияния интервьюера.

4. Возможность использования большего количества визуальных стимулов.

5. Автоматическая фиксация данных, создание базы данных и статистическая обработка результатов исследования.

6. Более откровенные ответы, что особенно важно при опросах по острым и деликатным проблемам.

7. География выборки респондентов в Интернете шире традиционной [29].

О. Л. Протасова, М. А. Москальцова обращают внимание на то, что «в современном мире, где оцифрована практически вся доступная человечеству информация, включая книги, фильмы, музыку, произведения изобразительного искусства, профессиональную и научную литературу, рассекреченные правительственные или коммерческие документы, и превращена в терабайты электронных данных, а именно Big Data, фактически не представляется возможным оставаться безучастным наблюдателем, который выбирает жизнь вне онлайн-пространства» [30].

Авторы так же рассуждают о том, что «процесс накопления данных и получения доступа к ним в современном мире значительно упростился, однако, к сожалению, немногие аналитики понимают, как правильно их обработать для того, чтобы добиться поставленной цели, решить необходимые задачи исследования. Большие массивы информации в руках непрофессионального исследователя могут превратиться в несущественные сведения – в лучшем случае, а в худшем – привести к искаженной трактовке социальных явлений» [31].

Таким образом, в современном обществе, в том числе в образовании, расширяется роль технологий больших данных. В меньшей степени освещены вопросы, связанные с оцениванием результатов воспитательной работы с применением технологий больших данных.

Методологическая база исследования / Methodological base of the research

Цель исследования – выявление перечня методов получения информации, необходимой для оценки результативности воспитательной работы с применением технологий больших данных, определение готовности педагогических работников к применению методов получения информации и ее классификации.

В ходе исследования применялись следующие методы:

– анализ научной литературы по методологии и методам оценки результатов воспитательной работы, проблемам применения технологий больших данных в сфере образования;

– анкетирование педагогов, работающих в общеобразовательных организациях Удмуртской Республики (34 педагога), с целью определения их готовности, во-первых, к применению методов получения информации, во-вторых, к классификации информации, необходимой при внесении документов в систему MongoDB. В ходе анкетирования применялись анкеты А-1, А-2, разработанные экспертной группой и содержащие 12 и 18 вопросов соответственно;

– метод групповых экспертных оценок, для реализации которого была сформирована экспертная группа из руководителей и заместителей руководителей общеобразовательных организаций по воспитательной работе, классных руководителей, преподавателей вузов – специалистов по педагогической квалиметрии. Всего экспертная группа включила 16 экспертов. Коэффициент компетентности экспертов составлял от 0,97 до 0,89. Коэффициент согласованности внутри экспертных групп определен как «хорошее согласие». Объектами экспертизы явились, во-первых, модели факторов риска низких результатов воспитательной работы с целью определения количественных показателей, составляющих оценку результативности воспитательной работы в общеобразовательной организации, во-вторых, содержание анкет А-1, А-2.

Результаты исследования / Research results

Рассматривая методы получения информации об оценке результативности воспитательной работы, авторы статьи ориентировались на классификацию основных направлений воспитания и перечень методов, представленных в Федеральной рабочей программе воспитания [32] и Примерной рабочей программе воспитания для общеобразовательных организаций [33].

В частности, в программах приведены такие методы, как педагогическое наблюдение, анкетирование и беседа. Данный перечень может быть дополнен другими методами, которые позволяют охватить репрезентативные выборки и получить подробную информацию о результатах воспитания.

Представим в виде таблицы источники и методы получения информации о результатах воспитания для разных субъектов образовательных отношений – обучающихся, педагогов, родителей (законных представителей).

Методы и источники получения информации о результатах воспитания

Таким образом, педагогам следует владеть следующими методами:

1. Педагогическое наблюдение.

2. Беседа.

3. E-mаil-опрос (опросы через соцсети).

4. Фокус-группы.

5. Контент-анализ.

6. Анализ продуктов деятельности.

7. Анкетирование.

8. Глубинное интервью.

9. Самоанализ.

10. Педагогическая экспертиза.

11. Анализ соцсетей.

12. Оценка социума (родители, одноклассники, педагоги, друзья).

Рассмотрим результаты анкетирования педагогов.

Анкета А-1 содержала перечень методов получения информации. Педагогам необходимо было оценить свою готовность к их применению для получения информации, необходимой для оценки результативности воспитательной работы в общеобразовательной организации. Для оценки использовалась следующая шкала:

4 балла – полностью готов к применению метода;

3 балла – скорее готов к применению метода;

2 балла – скорее не готов к применению метода;

1 балл – не готов к применению метода.

Полученные значения по анкете А-1 представлены на рисунке ниже.

Результаты анкетирования педагогов по оценке своей готовности к применению методов
получения информации о результативности воспитательной работы
в общеобразовательной организации

Как видно из рисунка, педагоги не готовы к реализации части методов получения информации. Следовательно, с целью эффективной оценки результатов воспитательной работы необходимо привлечение специалистов, владеющих методами получения информации о результатах воспитательной работы.

Для определения готовности педагогов к классификации информации обратим внимание на результаты экспертизы по определению количественных показателей, составляющих оценку результативности воспитательной работы в общеобразовательной организации.

Экспертная группа провела экспертизу моделей факторов риска низких результатов воспитательной работы.

Первая модель структурировала факторы риска по признакам: ресурсы, управление, школьный уклад. Вторая модель – по признакам: стандартизация (наличие и выполнение требований к воспитательной работе), деятельность (постановка и достижение конкретных показателей воспитательной работы), цели (постановка и достижение целей воспитательной работы).

По результатам экспертизы было принято решение в качестве показателей, составляющих оценку результативности воспитательной работы в общеобразовательной организации, рассматривать следующие количественные показатели: комплексный показатель результативности, показатель соответствия требованиям, интегральный показатель результативности.

Анкета А-2 содержала описание 18 признаков информации (при формулировании признаков ориентировались на возможные варианты ключей, применяемых в системе MongoDB), характеризующих наличие и выполнение требований к воспитательной работе, постановку и достижение конкретных показателей воспитательной работы, постановку и достижение целей воспитательной работы. Педагогам необходимо было оценить свою готовность к классификации информации по принадлежности к перечисленным выше трем показателям. Для оценки также использовалась шкала, содержащая от 4 баллов (полностью готов) до 1 балла (полностью не готов). Результаты анкетирования показали следующее:

1) в большей степени педагоги готовы классифицировать информацию, относящуюся к постановке и достижению конкретных показателей воспитательной работы – 2,9;

2) в наименьшей степени – к наличию и выполнению требований к воспитательной работе – 2,1;

3) готовность классифицировать информацию, относящуюся к постановке и достижению целей воспитательной работы, составляет 2,7.

Таким образом, для реализации этого этапа методики необходимо разделение труда, наличие соответствующих профессиональных компетенций, привлечение независимых экспертов, а также подготовленных специалистов, либо следует целенаправленно обучать этому педагогов в рамках курсов повышения квалификации.

Заключение / Conclusion

В современном обществе, в том числе в образовании, расширяется роль технологии больших данных. В рамках данной статьи предложены ответы на вопросы применительно к общеобразовательной организации: какие методы получения информации можно применять в рамках этой технологии? Насколько педагогические работники готовы к применению этих методов получения информации и ее классификации? Теоретическая значимость статьи заключается в том, что рассмотрена проблема оценки результатов воспитательной работы с применением технологий больших данных. Практическая значимость результатов исследования заключается в определении перечня источников информации, позволяющих получить сведения в форме, необходимой для работы с большими данными, о результативности воспитательной работы в образовательной организации и соответствующих им методах получения информации.