Evidence-centered approach to competences assessment in vocational education

Введение / Introduction

Чем сложнее становится мир, тем больше потребность в специалистах, владеющих навыками решения проблем, умением общаться, сотрудничать и творить, и они будут становиться все более востребованными в высокотехнологичной среде. Основная особенность этих навыков заключается в том, что они позволяют индивиду, используя информацию, решать проблемные ситуации, выполнять различные виды деятельности и эффективно функционировать в производственной сфере. Эти навыки, так называемые мягкие, включают творчество, критическое мышление и решение проблем, навыки сотрудничества, способности работать с информационными и цифровыми технологиями, а также социальную, культурную и метакогнитивную осведомленность. Их сложная структура и междисциплинарный характер определяют проблемы аутентичного оценивания образовательных достижений. Включение «мягких навыков» и компетенций как важных результатов освоения основных образовательных программ ставит задачу их надежного оценивания. Проблема заключается в том, следует ли оценивать такие результаты и как делать это правильно. Запрос на аутентичное оценивание результатов обучения в высших учебных заведениях возрастает во всем мире, в том числе и в системе отечественного образования. Ключевым достижением в этом направлении стало признание оценки важной составляющей образовательной деятельности и способом обеспечения гарантии качества обучения.

В выборе методов и технологий оценки возникает ряд вопросов. Как зависит освоение компетенций от способов организации и проведения учебного процесса? Можно ли проявление компетенций в ситуации оценки обеспечить планируемыми действиями испытуемых при решении сложных задач? Какие конкретные, ситуативные и многокомпонентные задания позволяют испытуемым проявить сложные и глубоко латентные результаты обучения? Можно ли считать достоверными оценки сформированности компетенций, полученные методами тестирования? Насколько сложными должны быть планируемые действия испытуемых при оценивании, чтобы одним педагогическим инструментарием выявлять несколько аспектов знаний, компетенций и навыков? Каким должен быть дизайн оценочных задач, чтобы они вызывали интерес обучающихся и не только мотивировали на решение конкретной задачи, но и повышали стремление углублять познания и развивать способы деятельности? Как разрабатывать комплексные задания с широким спектром новых идей в изучаемой области, используя достижения науки и технологий в области педагогических измерений для создания и применения различных форм оценивания? На эти вопросы частично есть ответы, но на многие другие еще предстоит найти в рамках теории и практики педагогических измерений.

Целью этого исследования является систематизация научной информации о методах доказательной аргументации и обеспечения достоверности результатов оценивания компетенций в образовании, а также представление опыта конструирования и использования многокомпонентного задания, предусматривающего этап самооценки студентами своих компетенций в цифровой среде.

Обзор литературы / Literature review

Внедрение компетентностного подхода в образовательный процесс привело к новым результатам освоения основных образовательных программ в терминах компетенций как характеристик обучающихся, отражающих способности деятельности на основе применения усвоенных знаний. А соответственно, актуализируется проблема разработки и применения оценочных средств, способных такую деятельность задавать и обеспечивать надежность ее оценивания. Традиционные формы оценивания с помощью тестовых заданий с выбором правильного ответа или множественным выбором долгое время служили определенным социальным целям, контексту и группам населения. Их основная цель в основном сводится к оценке когнитивных результатов освоения содержания отдельных дисциплин. Достижения в области теории и практики педагогических измерений привели к появлению стандартизированных процедур тестирования и лучшему получению оценок когнитивных результатов обучения. Таким образом, классическая теория конструирования и применения тестов с заданиями ответов на вопросы соответствует модели когнитивной диагностики, но она не может обеспечить оценку компетенций. Следует отметить, что именно такие технологии позволили лучше понимать задачи и проблемы оценки результатов освоения образовательных программ, улучшить дизайн оценок для удовлетворения различных потребностей образовательной деятельности и запросов работодателей, на основе опыта разработать новые методы оценки трудно поддающихся измерению компетенций и навыков XXI века. Эти проблемы сегодня решаются за счет использования достижений педагогики, психологии, теории и практики педагогических измерений и цифровых технологий.

Заявленные результаты освоения образовательных программ в виде компетенций как никогда важны в цифровую эпоху, а это диктует необходимость изменений в оценивании, переосмысления роли и значения аутентичной оценки в обеспечении и гарантии качества обучения. Поскольку компетенции по определению это способности действовать с использованием полученных при обучении знаний и умений и принимать решения в проблемных ситуациях, то и в оценочном процессе необходимо планировать и оценивать деятельность обучающихся. Именно совокупность данных о поведенческих характеристиках испытуемых позволяет делать выводы о сформированности компетенций. Концептуализацию методов оценивания компетенций и навыков в масштабируемых пространствах задает проектирование дизайна оценки по моделям доказательной логики и аргументации.

По мнению Р. Мислеви, образовательная оценка в настоящее время переживает своего рода ренессанс [1]. За последние десятилетия внимание к оценке результатов обучения усилилось во всем мире. В сфере получения образовательных результатов стало возможным широкое использование формативного оценивания на основе электронных учебников и онлайн-ресурсов, веб-портфолио и анализа учебной аналитики с целью получения системной качественной и количественной оценки и отслеживания прогресса обучения на основе анализа объективных данных об уровнях подготовленности обучающихся. Такой подход к оценке на основе объективной аналитики образовательных достижений на каждом значимом этапе обучения способствует своевременной корректировке и повышению эффективности образовательной деятельности. А развитие теории педагогических измерений и практики конструирования оценочного инструментария, а также технологические возможности обеспечивают выполнение задач аутентичного оценивания образовательных достижений и определения психометрических характеристик оценочных средств, тем самым способствуя повышению качества оценочного инструментария.

Согласно С. Тулмину, при оценивании образовательных достижений для доказательства результата необходимо выделять оценочные аргументы на основе эпистемологической и эмпирической логики [2]. Сущность достоверной оценки, по мнению С. Мессика, следует искать в полноте представления конструкта оценочного средства в рамках обоснованного дизайна, когда оценивание понимается как построение аргумента, включающего в себя некое свойство испытуемого, доказательства надежности, достоверности и справедливости оценки и рациональное использование критериев и оценочных рубрик [3].

Сегодня цифровые технологии бросают вызов области традиционных образовательных измерений, позволяя в значительной степени автоматизировать оценочный процесс, сделать его независимым, более достоверным и увлекательным. В последние десятилетия информационное образовательное пространство становится одним из важных инструментов не только обучения, но и самоконтроля, независимая оценка компетенций позволяет обучающимся определиться с образовательной траекторией и выбором программ обучения. В работах П. Гриффина и Э. Кэр инновационные подходы к оценке рассматриваются с точки зрения возможностей использования технологических платформ, обеспечивающих тесные связи между оценкой и обучением [4]. На основе широкого использования масштабируемости среды онлайн-обучения повышается достоверность образовательных результатов, создаются условия для самооценки и взаимной оценки, организации обратной связи.

Метод Evidence-Centered Design (ECD) проектирования дизайна оценки, ориентированный на получение фактических данных, предложен группой ученых (Р. Мислеви, Р. Алмонд и Дж. Лукас) и уже более двух десятилетий широко используется в зарубежной образовательной практике [5]. Методология Evidence-Centered Design концептуально основана на проектировании и конструировании оценочных средств, требующих от испытуемых выполнения определенной деятельности с использованием знаний контролируемого содержания изучаемой области. Идея создания инструмента оценки компетенций, основанная на методе доказательной аргументации ECD, предоставляет возможности из наблюдений за поведением испытуемого получать свидетельства о сформированности компетенции. Дизайн оценки строится на принципах доказательств и опровержений, а также системе аргументаций наблюдаемого поведения испытуемых при решении многокомпонентногозадания. Для его реализации Р. Мислеви, Л. Стейнберг и Р. Алмонд предложили использование шаблонов проектирования оценочных средств на основе профессиональных ситуаций, наблюдений и оценки решения заданий, чтобы охватить более широкий набор целевых навыков испытуемых в ситуации их взаимодействия с инструментом оценки [6]. Принципиальная структура проектирования дизайна оценочного средства, согласно Ю. Цой и Р. Мислеви, опирается на согласованность глубокого анализа содержания предметной области, его интеграцию с образовательной программой и учебным планом и обеспечивает наблюдение прогресса обучения в системе онлайн-оценки [7]. Организация обучения и формирования компетенций согласуется с репрезентативным отображением контролируемого содержания при решении задания и выполнении планируемой деятельности обучающегося, заложенных в отдельных измерительных моделях оценочного средства. Оценивание выстраивается на основе теоретических предположений о природе конструкта и эмпирических свидетельствах, наблюдаемых в процессе действий испытуемых. По мнению М. Оливери и Р. Мислеви, проблемы и возможности в разработке оценки следующего поколения навыков XXI века становятся все более актуальными, требующими новых подходов [8].

В качестве одного из таких подходов Р. Шавельсон, О. Златкин-Троицкая, К. Бек, С. Шмидт и Дж. Марино предлагают оценку действий испытуемых при выполнении «критических» заданий с использованием реальных ситуаций, при решении которых студенты учатся проявлять свои компетенции и критические навыки как в академических, так и в профессиональных областях [9]. При этом М-Т. Нагель, О. Златкин-Троицкая и Дж. Фишер обращают внимание на важность валидации задач для оценки критического онлайн-рассуждения студентов и выпускников университетов [10]. Основное внимание в этих работах направлено на укрепление связи между оценкой и обучением, независимую оценку «мягких навыков» (soft skills) и компетенций, таких как критическое мышление, навыки коммуникации, креативность.

В этой области только в последние годы появились работы отечественных ученых и практиков. Сделаны попытки адаптировать методологию Evidence-Centered Design к оцениванию критического мышления школьников и информационно-коммуникационной компетентности учащихся. Расширяются возможности использования комплексных компетентностных заданий. В исследовании Н. В. Родиной, А. А. Постоваловой и А. В. Долматова акцент сделан на независимом характере оценки компетенций в цифровом мире с использованием метода Evidence-Centered Design [11], показано, что индикаторы достижений связаны общим контекстом и контентом. Контекст определяет проблемную ситуацию задания и ее развитие, последовательность действий испытуемых по этапам выполнения задания. Контент задает содержательную основу предметной области в заданиях ситуационного типа в рамках метода доказательной аргументации. В заданиях такого типа могут быть использованы симуляторы поисковой системы.

Проблемы разработки содержательного конструкта и качественного инструмента измерения критического мышления взрослых отражены в трудах А. Р. Садовой, Ю. С. Хиль, Т. В. Пащенко и К. В. Тарасовой [12]. Качество заданий подтверждается психометрическим анализом и оценкой размерности инструмента измерения на основании данных статистики согласия.

Одним из преимуществ методологии ECD К. В. Тарасова и Е. А. Орел считают высокую конструктную валидность, обеспеченную особенностями дизайна проектирования оценочного инструмента, а фиксируемое поведение студентов в процессе выполнения оценочного задания создает условия для сбора свидетельств сформированности критического мышления [13]. Это позволяет проводить оценивание трудно наблюдаемых латентных навыков испытуемых с обеспечением психометрического качества оценки. Таким образом, ситуативные задания позволяют испытуемым проявить, а оценщикам собрать необходимые доказательства для обоснования вывода о компетенции.

Важным преимуществом методологии ECD И. Л. Угланова, И. В. Брун и Г. М. Васин считают целостность и внутреннюю согласованность всей разработки оценочного инструмента, структуру и содержание заданий, правила начисления баллов и условия взаимодействия испытуемых с инструментом оценки [14]. Для оценки критического мышления и организации обратной связи многокомпонентное задание ими разрабатывалось с построением психологического конструкта на базе диаграмм С. Тулмина.

Подходы к разработке педагогического инструментария для оценивания информационно-коммуникационной компетенции с высокой валидностью и надежностью представлены в работе С. М. Авдеевой,  М. Г. Руднева, Г. М. Васина,  К. В. Тарасовой и Д. М.  Пановой [15].

На необходимость переосмысления оценки не только обучающихся, но и университетов в цифровом пространстве обращают внимание М. Бирман и Ф. Доусон с соавторами [16]. Они выделяют три новых направления оценки в цифровом мире: новая ориентация на будущее; меняющийся характер оценочной работы преподавателей в цифровом мире; новые способы мышления о масштабируемости оценок результатов обучения в цифровом пространстве.

В концептуальной модели оценки компетенций студентов Н. Ф. Ефремовой показаны основные этапы проектировочной деятельности с использованием паттерн-дизайна при разработке аргументированной оценки компетенций студентов [17]. Приемы доказательной аргументации оценки компетенций, по мнению Н. Ф. Ефремовой, обеспечивая надежность и достоверность оценок, повышают доверие испытуемых к результатам и, как следствие, мотивацию учебной деятельности [18] за счет обеспечения справедливости, заложенной в дизайне оценивания компетенций студентов [19].

Особое отношение ECD может иметь, по мнению Д. Алмонд и Дж. Бланкен‑Уэбб, к преобразующему потенциалу вузов [20]. Технологические инновации меняют способы обучения и оценивания, а дизайн, ориентированный на фактические данные, может оказаться полезным для переосмысления университетской оценки в цифровом мире. Поэтому возможности современной независимой оценки компетентностных и когнитивных результатов обучения студентов в цифровом образовательном пространстве вузов могут рассматриваться как ключевой способ преподавания и обучения будущих специалистов, адаптированных к цифровому миру. Определение и оценка необходимых навыков в производственных условиях также начинают опираться на доказательную базу, обеспечивая условия для трансформации и реализации стратегии непрерывного совершенствования. Ф. Ачерби, М. Росси и С. Терци считают, что пока лишь немногие исследования включали эффективные инструменты оценки навыков и компетенций рабочей силы для повышения и закрепления конкурентного преимущества компаний [21].

Таким образом, краткий обзор работ в этом направлении показывает, что при планировании и разработке оценки по методологии ECD решаются две основные задачи. Первая – подбор свидетельств в оценочном процессе, при помощи которых можно наблюдать за действиями испытуемых для аргументированного заключения о достижении компетентностных результатов обучения. Вторая связана с подбором профессионально важных ситуаций, которые могут быть заложены в оценочное средство, чтобы испытуемый при выполнении задания мог проявить свои компетенции. Связь между этапами разработки оценки с обязательным планированием деятельности испытуемых при выполнении заданий может способствовать созданию нового типа оценочных средств и дальнейшему развитию аутентичного оценивания образовательных достижений в условиях компетентностного обучения студентов. Как правило, это достигается построением сложных конструктов, в которых для целей проверки используются обоснованные атрибуты как когнитивных, так и компетентностных результатов обучения, в том числе с использованием симуляций и внешних цифровых платформ.

Методологическая база исследования / Methodological base of the research

В теоретическом плане проведен анализ работ отечественных и зарубежных авторов по проблемам оценивания образовательных достижений, существующих инновационных подходов к выявлению компетенций студентов профессионального образования, проведены сбор, обобщение и структурирование научной информации о существующих методах и технологиях проектирования и конструирования оценочного инструментария с использованием моделирования элементов оценочного средства. Основная проблема оценивания компетенций связана с необходимостью проектирования и разработки оценочных средств, способных выявлять и обеспечивать наблюдение за проявлением глубоко латентных характеристик испытуемых. Методология доказательно аргументированного дизайна оценки, первоначально представленная в трудах Р. Мислеви [22], а также Р. Мислеви и Г. Хартель [23], хорошо зарекомендовала себя в мировой образовательной практике при оценке когнитивных результатов обучения. А затем основные положения этой методологии стали использоваться и для оценивания компетентностных достижений обучающихся. Дизайн ECD, ориентированный на доказательства, оказался мощной основой для разработки достоверных и надежных задач и оценок навыков XXI века, отмечают В. Шуте, Ю. Ким и Р. Раззук [24]. Как аналитический и творческий процесс такая оценка обеспечивает студентов и преподавателей возможностями экспериментировать, создавать и прототипировать, собирать отзывы, анализировать результаты.

В практической части в качестве примера на основе опыта организации и проведения различных форм оценки результатов компетентностного обучения разработано и апробировано многокомпонентное задание для независимой оценки цифровой грамотности студентов с использованием внешней цифровой платформы. Предусмотрены условия для самооценки испытуемыми их способности работать в цифровом образовательном пространстве, а также уровня владения информационной и коммуникативной компетенциями в цифровой среде.

Результаты исследования / Research results

Особенностью настоящего времени, как отмечают Н. Е. Сердитова и А. В. Белоцерковский, являются масштабы и скорость изменений в основе технологической жизни и деятельности, что диктует особые требования к результатам образования [25]. Все большее распространение получают технологии обучения в цифровой среде, требующие отслеживания цифрового следа обучающихся для получения данных о взаимодействии обучающихся с цифровыми технологиями обучения и оценки для решения образовательных проблем. По мнению М. Чукуровой, М. Маврикиса и Р. Лукина, методология оценки по моделям ECD может стать хорошей основой для формирования больших данных, обеспечивая субъектов образования информацией о взаимодействии обучающихся с системой оценки, отслеживания и выявления процессов и результатов обучения в цифровой среде [26]. Использование ECD, как показано в статье Э. Сноу, Д. Рутштейна, С. Басу, М. Биенковски Х. Эверсона, представляет собой принципиально новый подход к измерению критического мышления и обеспечению связи между учебными планами и дизайном оценивания [27]. Это способствует планированию образовательной деятельности и оценки, основанной на фактических данных, разработке и администрированию оценки, обеспечивает прочную основу для аргументации ее достоверности. Но, как справедливо отмечают С. Бечард, А. Кларк и Р. Ромин, такие измерения могут потребовать много времени, ресурсов и сложности при реализации [28]. Однако эти затраты окупятся за счет создания и применения многократно используемых шаблонов для однотипных методов разработки оценочных средств.

Обоснованный дизайн оценочного средства по компетенциям в своей структуре содержит несколько моделей: конструкт с набором аргументов и характеристик испытуемых, которые предполагается оценить; перечень данных для доказательно аргументированного заключения; структуру ситуативных заданий, позволяющих выявить интересующие характеристики в соответствии с целью оценочного процесса. По методологии Evidence-Centered Design в структуре оценочного средства имеются три основные модели: модель студента, модель доказательств и модель задания. Вначале создается модель студента, которая содержит конструкт с оцениваемыми атрибутами. Затем в соответствии с конструктом выстраивается модель доказательств, отражающая планируемое поведение или действия испытуемых в ситуации оценки, виды аргументации и критерии сформированности компетенций. И только после этого разрабатывается модель задания (шаблон проектирования), описывающая структуру и содержание ситуационных задач, способных вызвать планируемые действия и адекватное поведение испытуемых, доказывающие наличие и уровни сформированности компетенции. Оценка компетенций предусматривает наблюдение за действиями испытуемых в конкретных ситуациях при решении задания, сбор данных, использование доказательств, аргументации и опровержения наблюдаемых результатов, интерпретацию действий испытуемых, а также обоснование вывода о способности человека действовать и быть готовым находить решения в этих и других подобных ситуациях. Для этого задание конструируется так, чтобы испытуемый мог проявить компетенции, а проверяющий – их наблюдать и оценивать, обеспечивая равенство испытаний для всех обучающихся и справедливость оценки. По мнению Д. Руссо, методология оценки поведенческих компетенций опирается на несколько возможностей, таких как моделирование, психометрический тест, упражнения для принятия критических решений и другие, должна проводиться как непрерывный процесс постоянного наращивания знаний и навыков [29].

Средства оценивания компетенций становятся все более широкомасштабными, инновационными и высокотехнологичными. Обращение к перспективным концепциям разработки дизайна оценки в системе образования способствует овладению методами построения многовариантных форм контроля и установления связей объектов в системах обучения и контроля достижений. Сбор, анализ и интерпретация данных обеспечивают доказательную основу оценки (см. рисунок).

Основные этапы проектирования оценочного средства

Проектирование многокомпонентного задания по такой методологии состоит из последовательности нескольких этапов:

-     анализ контролируемого содержания предметной области (понятия, законы и принципы, основные положения, методы и технологии, концепции и др.) и обоснование конструкта;

-     выбор формы и метода проведения оценочного процесса (устный, бланочный, компьютерный и др.), определение средств и технологий предъявления заданий, сбора ответов и обработки результатов;

-     определение структуры конструкта из одного или нескольких аргументов и предполагаемого в ситуации оценки поведения испытуемых, свидетельствующего о достижении планируемых результатов обучения;

-     разработка показателей и критериев образовательных достижений;

-     подбор проблемных ситуаций, в которых необходимые для их разрешения действия обеспечат проявление испытуемыми запланированных к оцениванию компетенций и важных для данной предметной области знаний и умений;

-     конструирование многокомпонентного задания, релевантного цели и задаче оценочного процесса;

-     создание уровневой шкалы для отображения результатов и обоснование пороговых значений положительных оценок по уровням освоения компетенций.

В качестве примера такого оценочного средства в данном исследовании предложено многокомпонентное задание по оценке дефицитов цифровой грамотности будущих педагогов (магистрантов). Разработка концептуальной основы оценки начинается с формулирования цели. Задание состоит из ряда элементов: контекста для введения испытуемого в проблему и обеспечения мотивации выполнения задания; аргумента оценки, задающего наблюдаемое поведение испытуемого и обеспечивающего свидетельства сформированности оцениваемого конструкта; задач, которые должен выполнить испытуемый; рефлексивной части, обеспечивающей самоанализ выполненных действий и самооценки полученных результатов. В данном случае этосамоанализ и самооценка дефицитов цифровой грамотности как квалификационной характеристики педагога. В задании использованы элементы аргументации и независимой оценки на внешней платформе в цифровой среде.

Вводная часть (контекст): главной предпосылкой успешного развития российской цифровой экономики является подготовка подрастающего поколения к жизни и деятельности в цифровом обществе. Одним из путей решения этой задачи выступают согласованные действия и постоянные коммуникации педагогов и учащихся в цифровой среде. Важными компетенциями учителей для решения этой задачи являются информационные и коммуникационные, которые обеспечивают прогрессивные уровни образовательной деятельности, в том числе с использованием цифровой среды. Именно они подлежат самооценке при выполнении данного задания.

Конструкт задания состоит из оцениваемых атрибутов:

-     проявление цифровой грамотности при выполнении задания на внешней цифровой платформе;

-     владение способами получения, хранения и передачи информации, в том числе с использованием интерактивной онлайн-доски Miro;

-     использование педагогического общения и коммуникации в электронной среде;

-     рефлексивный анализ и самооценка, краткое резюме об отношении к работе.

Выполнение задания предполагает четыре этапа, задающих деятельность испытуемых (краткая инструкция).

1. Пройдите тест «ИКТ компетентность педагогических работников» на платформе https://fgosonline.ru/test-po-ikt-kompetentnosti-pedagogicheskih-rabotnikov/. Тест состоит из 15 заданий, в каждом из которых необходимо выбрать правильный вариант ответа. Выполнение заданий оценивается дихотомически: 0 – задание не выполнено; 1 – выполнено.
2. Получите результат выполнения теста на платформе и впишите его в таблицу.
3. Оцените свои дефициты цифровой грамотности, значимость и уровень владения информационной и коммуникативной компетенциями по пятибалльной шкале (значимость компетенций выделить/подчеркнуть, а уровень владения выразить в числовом эквиваленте в табл. 1).
4. Опишите результаты рефлексивного анализа работы с заданием и разместите их наонлайн-доске Miro. Приглашение на доску предоставляется по Ф. И. О. и имейлу участника.

В этом задании предусмотрена работа испытуемых на внешней многопользовательской цифровой платформе, обеспечившей внешнюю независимую оценку цифровой грамотности, способности испытуемых получать и передавать информацию в онлайн формате. После работы с ситуативной частью задания предоставлена возможность самооценки и выражения отношения к заданию и значению цифровых технологий. В апробации задания на добровольной основе приняли участие магистранты педагогического направления подготовки (табл. 2).

Таблица 1

Самооценка и оценка важности развития цифровых компетенций

Таблица 2

Результаты тестирования и самооценки

Участники апробации отметили достижения и трудности при взаимодействии с заданием, продемонстрировали заинтересованное отношение к заданию и работе с онлайн-доской Miro, способности передавать информацию и выразили готовность общаться между собой в цифровой среде, показали достаточно высокий уровень владения цифровой грамотностью, информационной и коммуникативной компетенциями. Как отмечают Дж. Кансал и Н. Джейн, анализ результатов является лучшим инструментом для выявления индивидуальных потребностей в обучении и планирования дальнейшего развития [30].

Заключение / Conclusion

Показано, что пересмотр технологии оценки компетенций студентов может значительно усилить надежность результатов, повысить интерес и доверие к оценке со стороны испытуемых, чтобы она была аутентичной и пригодной для повышения учебной мотивации и прогнозирования успешности молодых специалистов. Особое внимание в таком оценочном процессе уделяется роли вероятностных рассуждений о выполнении заданий при анализе накопленных данных, характеризующих знания, навыки и/или способности обучающихся, а также возможности обеспечения масштабируемости как адаптации условий проведения оценочного процесса к измененным размерам выборки испытуемых с сохранением ее репрезентативности и использованием стандартных уровневых шкал. При проектировании компетентностной оценки по моделям ECD с точки зрения сбора доказательственных аргументов о деятельности испытуемых в процессе взаимодействия с оценочным средством обеспечивается связь между требованиями к освоению содержания предметной области и дизайном оценки, ориентированным на фактические данные.

Создание заданий по моделям ECD требует от разработчиков довольно много усилий, чтобы получать необходимые аргументации и доказательства владения компетенцией. Следует учитывать, что сложный конструкт снижает доказательную базу по каждому атрибуту оценки, а упрощенный может не обеспечить выполнение задач оценки, хорошо сбалансированные оценочные рубрики обеспечивают интерес к заданию со стороны испытуемых и дают необходимую информацию преподавателю по результатам выполнения задания. Структура и уровень детализации задания становятся эффективными не только для оценки, но и для поддержки процесса обучения, что оправдывает затраты на разработку. Таким образом, важно найти идеальный баланс между объемом контролируемой области и структурированным сбором данных о когнитивных и компетентностных результатах обучения и агрегировать все виды данных (качественных и количественных) для анализа состояния объектов оценки.

Все это представляет собой довольно сложную задачу, ее решение требует от разработчиков соответствующей подготовки и дополнительного времени для того, чтобы для конструирования заданий подбирать актуальные ситуации, в которых выпускники будут выполнять задачи профессиональной деятельности.