Full text

Введение / Introduction

 

В настоящее время, в связи с бурным развитием науки и техники, увеличением источников знаний, методы обучения тоже постоянно совершенствуются, но, помимо обучения, важнее контролировать полученные знания. Один из способов быстрого контроля знаний – «тест». Многие российские методисты называют тестом только «такое задание, где правильность ответа определяется по заранее подготовленному ключу и которое составлено так, что требует однозначного ответа» [1]. «Характеристиками теста, в отличие от других видов контроля, считаются его объективность, надежность, обеспечиваемые тщательной подготовкой тестовых материалов и анализом результатов тестирования, четкая направленность на контролируемый аспект, удобство и компактность формы, экономичность во времени, т. е. тест является точным инструментом измерения контролируемого процесса» [2]. Тесты могут использоваться как средство идентификации личности учащегося или могут проводиться в больших масштабах, например в группе или на курсе. «Контроль – это определение уровня владения языком, достигнутого учащимися за определенный период обучения. Виды контроля включают предварительный контроль, текущий контроль, промежуточный контроль и итоговый контроль. Итоговый контроль направлен на установление уровня владения языком, достигнутого в результате усвоения значительного по объему материала» [3]. Для иностранных студентов, изучающих русский язык, итоговым контролем уровня владения языком является тест по русскому языку как иностранному (далее – ТРКИ). «В системе ТРКИ выделяются следующие уровни владения русским языком: элементарный уровень (ТЭУ), базовый уровень (ТБУ), первый сертификационный уровень, второй сертификационный уровень, третий сертификационный уровень, четвертый сертификационный уровень» [4]. «Тестовые задания организуются в блоки, субтесты по аспектам языка (Лексика. Грамматика) и речи (аудирование, говорение, чтение, письмо). Каждый тест проверяет сформированную определенную языковую компетенцию» [5]. Тестирование по русскому языку как иностранному является неотъемлемой частью цикла обучения, оказывающего обратный эффект в методике обучения РКИ, который нельзя игнорировать. «Обратный эффект делится на положительный эффект и отрицательный эффект: первый означает, что тестирование способствует обучению, а второй означает, что оно препятствует обучению» [6]. Положительный эффект заключается в том, что «по информации обратной связи теста они (преподаватели. – В. Ю.) могут узнать обстоятельства овладения знаниями, чтобы более эффективно совершенствовать методы обучения и повышать качество и уровень обучения, а для студентов важно то, что они могут вовремя находить пробелы в своей системе знаний и вырабатывать способность к самостоятельному изучению» [7]. Поэтому необходимо создать качественную систему тестирования, позволяющую объективно и адекватно контролировать знание русского языка. Чтобы разработать данную систему, необходимо построить комплексную и эффективную модель лингводидактического тестирования.

Модель – «это объект, который соотносится с другими подобными ему объектами, представляя себя и их. Все модели, материальные и идеальные, естественные и искусственные, создаваемые и выбираемые, в соответствии с данным определением составляют один класс объектов, различающихся между собой по соотнесенности с другими подобными им объектами» [8]. Модель тестирования представляет собой «порядок предъявления заданий обучаемому и метод определения его уровня знаний по результатам тестирования, т. е. модель тестирования» [9]. Поэтому необходимо показать китайским учащимся модель тестирования по русскому языку как иностранному, чтобы они могли лучше понять тест; разработчики создали более эффективный тест, соответствующий этнопсихологическим особенностям китайских учащихся. «Этнос считается устойчивой группой, которая признает и различает членов групп на основе определенных маркеров этнической дифференциации, таких как язык, религия, национальный характер и культура, и значение этих характеристик может изменяться в зависимости от исторического развития и национальных особенностей» [10]. Как считает А. О. Бороноев, «этнопсихология рассматривается как сложное динамическое и психоидеологическое единство и сложная многоуровневая система, которая включает два уровня – первый уровень: чувства, настроения, переживания, эмоциональные состояния сознания; второй уровень: национальные характер и традиции, обычаи, привычки, лежащие в основе ценностных ориентаций» [11]. Поэтому этнопсихология изучает не только социальное поведение людей под влиянием определенного этноса, но и их внутренние психологические особенности и закономерности, особенности взаимоотношений и взаимодействия между людьми, взаимное влияние и взаимное ограничение между народами и др. Как одна из отраслей педагогической науки этнопсихология тесно связана с этнопедагогикой, в которую входят: «(а) исследование своеобразия целей, задач, методов, приемов и способов обучения, традиционных для конкретных народов; (б) сравнительное изучение своеобразия процессов обучения у различных народов; (в) анализ влияния национальной психологии на обучение представителей различных этносов; (г) учет закономерностей этого процесса в организации и осуществлении педагогического и обучающего воздействия» [12]. Исследование этнопсихологических особенностей играет важную роль в создании и разработке ТРКИ. Особенностями этнопсихологических портретов китайцев считаются: «1) сохранение лица, принцип которого предписывает каждому китайцу избегать ситуаций, которые могут уронить его достоинство» [13]; «2) склонность к простым и практическим логическим конструкциям. Китаец отдает предпочтение простым интеллектуальным построениям как наиболее доступным и рациональным для запоминания, жизни и деятельности; 3) коллективизм. Китайцы строго дисциплинированы, с четким разделением труда и конкретной сплоченностью; 4) выступление как объект пассивного обучения. Предпочтение пассивному обучению, копированию готовых решений или действиям по шаблонам, а не активным методам обучения» [14] и др. Исходя из этого, мы разработаем нашу модель тестирования по РКИ в рамках реализации показателей качества лингводидактических тестов: надежности, валидности и практичности.

 

Обзор литературы / Literature review

 

В России и зарубежных странах вопросам тестирования и модели тестирования посвящены исследования многих авторов.

С точки зрения важности теста Н. Б. Шибаева отмечает, что «современный процесс обучения предполагает наличие независимого способа оценивания речевых навыков и умений учащихся. Таким способом является лингводидактическое тестирование» [15]. Это позволяет «определить у тестируемых степень их языковой и/или речевой компетенции с помощью специальной шкалы результатов» [16]. «Активизация познавательной деятельности студентов занимает центральное место среди методов совершенствования учебного процесса в вузе, поэтому необходим инструмент проверки уровня знаний для определения истинного уровня подготовленности каждого студента в отдельности. Таким инструментом может служить тест» [17]. Сюй Инпин полагает, что «система тестирования по русскому языку как иностранному соответствует уровню преподавания действующей российской системы высшего образования, адаптируется к потребностям обменов с зарубежными странами и к потребностям международного развития преподавания русского языка, а также отвечает развитию методики обучения иностранным языкам» [18].

С точки зрения развития тестовых заданий И. Н. Ерофеева анализирует структуру, содержание и проблемы ТРКИ. Она считает, что «под влиянием тенденций глобализации экономики заставляют идти по пути выявления лучшего в методиках обучения различным языкам и признания, введения многих этапов обучения в свою систему. Именно таким путем идет во всех странах решение проблемы контроля качества знаний студентов, в том числе ТРКИ» [19]. По результатам тестирования И. Ю. Павловская объясняет классические методики статистической обработки. Она думает, что «в научную парадигму мышления прочно начинают входить статистические измерения. Попадают они и в лингвистику, и в психологию, и через нее – тестологию. Важным фактором для теста является степень корреляции данных по одному тесту с данными других тестов или с каким-либо другим объективным критерием» [20]. Ли Сяоцзюй говорит о том, что разработка тестовых заданий должна основываться на пяти вопросах: «(1) способ изучения языка и тестирования; (2) как работать с базовыми языковыми умениями и навыками; (3) должно ли содержание теста помещаться в реальную ситуацию; (4) является ли язык в тестовых материалах реальным; (5) тестовые задания должны основываться на лексике и грамматике или на информации» [21].

C точки зрения создания модели тестирования М. Б. Челышкова подчеркивала важность разработки педагогических тестов на основе современных математических моделей [22]. А. А. Коренев построил модель оценивания знаний по иностранным языкам в вузе. Он анализирует основные проблемы, которые связаны с построением модели оценивания, такие как определение целей обучения и конечного уровня владения для выпускников [23]. В Китае Ван Чжэнья разработал модель современного языкового тестирования. Основываясь на «системе полезности теста» в рамках модели языкового тестирования Вachman, он проанализировал языковые коммуникативные способности и методы тестирования и выдвинул соответствующие предложения по реформе [24]. Юе Хунли также представила свои мысли о построении и оценке тестовой модели. Предлагаемая ею модель ориентирована на результат, т. е. «две формы (немедленная оценка и отсроченная оценка), три меры (самооценка студентов, оценка между студентами и оценка преподавателя), четыре модуля (тест на занятии, тест после занятия, онлайн-тест, офлайн-тест) и шесть стандартов (надежность, валидность, аутентичность, интерактивность, влияние и работоспособность)» [25]. Сюй Инпин провел исследование модели тестирования профессионального уровня русского языка в вузах. Он упомянул две инновационные модели тестирования: «1) на основе китайского теста по русскому языку 4-го уровня должны быть разработаны тесты базового этапа, продвинутого этапа и высшего этапа; 2) тест не реализуется на базовом этапе, а на продвинутом и высшем этапах непосредственно принимается ТРКИ-3 и ТРКИ-4» [26] и др. Все научные работы закладывают важную основу для разработки и использования языковых тестов и вносят значительный вклад в развитие теории и практики лингводидактического тестирования во всем мире.

 

Методологическая база исследования / Methodological base of the research

 

Гипотеза исследования: обучение китайских студентов русскому языку будет более эффективным, если в системе контроля будет использоваться модель, созданная на основе принципа учета лингвоэтнопсихологического обучения китайских студентов.

Объектом данной работы выбраны тесты по РКИ.

Предмет данной работы – тестовые задания по различным видам речевой деятельности, а также показатели качеств лингводидактических тестов.

Теоретическая значимость: определение надежности, валидности и практичности по отношению к психологическим особенностям, важным при составлении тестов по РКИ, и разработка модели тестирования по РКИ для китайских студентов.

Практическая значимость: планирование и разработка модели тестов по РКИ для китайских студентов с возможностью использования данной работы преподавателями русского языка как иностранного.

Материалы исследования – российские и зарубежные работы по системе тестирования по русскому языку как иностранному, содержащие анализ взаимосвязей надежности, валидности и практичности, и труды методистов, изучающих этнопсихологические особенности китайских студентов.

Методы исследования: аналитический, синтетический, сравнительный, описательный, математический методы.

 

Результаты исследования / Research results

 

Структура модели тестирования качества подготовки китайских студентов по русскому языку как иностранному представлена путем изучения взаимосвязи трех показателей качеств лингводидактических тестов (надежность, валидность и практичность).

С точки зрения В. А. Коккоты, показатели качества лингводидактических тестов: 1) «надежность – определенная стабильность и устойчивость результатов теста; 2) валидность – ответ на вопрос, измеряет ли данный тест действительно то, что хотели его составители; делится на сопоставительную, прогностическую, содержательную, конструктную и внешную валидности; 3) практичность – доступность инструкций теста и содержания заданий теста для понимания тестируемыми; 4) экономичность – доступность инструкций теста и содержания заданий для понимания тестируемыми» [27].

И. А. Рапопорт делит валидность на три категории: содержательная валидность, критериальная валидность и конструктная валидность: «1. Содержательная валидность выражает степень, в какой объем теста выборочно репрезентует тот класс ситуаций, относительно которого должны быть сделаны выводы. 2. Критериальная валидность показывает, насколько точно результаты по данному тесту могут быть использованы для определения существующего состояния испытуемых. 3. Конструктная валидность выражает степень обоснованности утверждения о том, что тест измеряет типическое свойство, отображаемое в данном конструкте» [28]. Конструктная валидность теста имеет четыре основных этапа:

1) «изобретение самого конструкта;

2) создание теста, предназначенного для измерения данного конструкта;

3) определение условий, при которых конструктная валидность теста будет считаться экспериментально доказанной;

4) экспериментальная проверка разработанной гипотезы» [29].

А И. А. Рапопорт делит надежность на три основных вида: стабильность, равноценность форм, внутренняя согласованность: «1. Стабильность определяется методом повторного тестирования. 2. Метод эквивалентных форм состоит в том, что вместо одного теста подготавливают два, примерно одинаковых по охвату материала и степени трудности, однако не идентичных. 3. Внутренняя согласованность форм применяется в тех случаях, когда тест состоит из вопросов, примерно одинаковых по трудности и содержанию» [30].

Объединяя взгляды вышеупомянутых ученых, можем полагать, что надежность относится к согласованности измерения. Эта согласованность может быть согласованностью между разными периодами времени, разными тестовыми работами, состоящими из эквивалентных заданий, разными оценщиками, разными решениями или комбинацией вышеуказанных факторов. Этот показатель является одной из основных характеристик, которыми должны обладать тестовые оценки, но невозможно получить абсолютную согласованность, только сводя к минимуму контролируемые потенциальные источники ошибок, влияющие на степень согласованности в процессе разработки тестов. Валидность представляет собой степень, в которой теория или доказательства подтверждают интерпретацию и предполагаемое использование результатов тестов [31]. Значение валидности не в «валидности теста», объектом валидности является не сам тест, а эффективная интерпретация и использование результатов данного теста. Практичность, по сути, представляет собой ограничения, накладываемые различными факторами влияния на тест. Если говорить о практичности в данной статье, то следует учитывать этнопсихологические особенности китайских кандидатов.

Исследования и обсуждение надежности и валидности неотделимы в любом тесте, и они обеспечивают первичную основу для использования тестовых результатов в качестве основы для выводов или принятия решений. Только когда тест по РКИ имеет определенную степень надежности и валидности, он может достичь цели – достоверное отражение уровня владения языком кандидатов, поэтому мы считаем, что теоретическое и практическое исследование тестов по иностранному языку проводится с надежностью и валидностью как основными линиями.

Надежность и валидность дополняют друг друга, однако есть и противоречия:

1. Для достижения валидности лингводидактическое тестирование требует качественного измерения. При измерении количества объект, подлежащий измерению, должен быть исчисляемым и может быть выражен числами и единицами количества. Но то, что мы хотим измерить, это язык, а не структура языка, компетенции использования языка. Поэтому, если мы хотим полностью учитывать надежность, мы можем разработать тест как количественный тест, который не будет учитывать валидность. Если мы хотим следить за валидностью, то мы можем разработать тест как качественный тест, и тогда у нас не получится сохранить надежность.

2. Надежность требует двухточечной оценки, т. е. каждая контрольная ключевая точка знаний в тесте имела только два суждения – правильное или неправильное. Однако валидность языковых тестов требует постоянного суждения. Из-за использования языка практически невозможно измерить его просто правильно или неправильно. Неважно с точки зрения фонетики, грамматики или лексики, грамотности, беглости и эффективности его использования, а также глубины или поверхностности его понимания в восприятии языка, даже если они точны, – все это относится к вопросу степени владения языком. Следовательно, если мы постоянно будем судить об использовании языка в соответствии с его исходной природой, это будет полезно для валидности, но будет вредно для надежности.

3. Если целое разделено на различные части, тест соответствует требованиям надежности:

1) Разделить сложное целое на отдельные составляющие для проверки, что способствует получению объективных и четких данных.

2) Чем меньше разделяемая часть, тем больше число, т. е. чем больше тестовых заданий, тем выше надежность.

Но это не соответствует требованиям валидности лингводидактического тестирования, потому что нарушает целостный взгляд на язык:

– Это отклоняется от реальности общего использования языка. При использовании языка мы никогда не разделяем слова и предложения одно за другим, разделяем фонетические, грамматические и лексические единицы одни за другими и используем их изолированно.

– Это отклоняется от того факта, что «весь язык больше, чем сумма его частей». Язык не лоскутное одеяло, а органичное сочетание частей. Отдельные части утратили базовую природу языка, поэтому только общий языковой тест может соответствовать требованиям валидности.

Однако получить объективные и четкие данные для общеязыкового теста сложно, а также сложно иметь достаточно большое количество тестовых заданий, поэтому трудно получить высокую надежность.

4. Для измерения длины прямой линии на плоскости нетрудно получить достоверные данные. Но для измерения объектов неправильной формы необходимо проводить многомерное измерение, поэтому получить достоверные данные непросто. Измерение языка как одномерного явления может представлять высокую надежность, но реальный язык многомерен. Использование языка включает в себя множество аспектов, таких как значение, среда, фон и прочие, такие системы, как фонетика, лексика и грамматика; такие каналы, как аудирование, говорение, чтение, письмо и перевод; такие условия, как ситуации, регионы, жанры, социальные, культурные, исторические, этнические, традиционные и другие фоны. В этом случае уже труднее поддерживать надежность.

5. Если измерение представляет собой натюрморт, измерение легко контролировать, то оно точно. Если измерение представляет собой динамику, измерение трудно контролировать, и тогда оно является неточным. На самом деле, если язык оценивается как постоянно динамическая система, а изучение и применение языка людьми рассматривается как процесс, а не результат, получить надежность при проверке будет непросто, но будет легче получить валидность.

Поэтому необходимо создать модель тестирования, чтобы разобраться с соотношением между надежностью и валидностью и всесторонне рассмотреть «позицию теста» среди трех вышеупомянутых показателей качеств лингводидактических тестов. Обращаем внимание на то, что «позиция теста» относится к позиции с учетом ограничений «надежности», «валидности» и «практичности».

В качестве пары противоречий надежность и валидность можно представить как две точки на прямой. Точка «H» представляет надежность, а точка «D» – достоверность, линия выглядит следующим образом (рис. 1).

 

 

Рис. 1. Соотношение между надежностью и валидностью с учетом только двух точек надежности
и валидности в рамках модели

 

Расстояние между этими двумя точками фиксировано, и его невозможно сократить, и тем более невозможно, чтобы две точки перекрывались. Ни один тест не может иметь 100%-ную надежность и 100%%-ную валидность одновременно, поэтому точка «E», представляющая «тест», не может попасть на точку «H» и точку «D». Между двумя точками может быть определена только одна позиция точки «E».

Требования надежности теста подобны сдерживающей силе, притягивающей точку «T» к точке «H», а требования валидности теста формируют другую сдерживающую силу, притягивающую точку «E» к точке «D». Конечное положение точки «E», ближе ли она к точке «H» или к точке «D», зависит от того, считает ли разработчик теста, что разработанный им тест должен придавать большее значение надежности или валидности. Пропорция, полученная после размышлений, отражает пропорцию двух сдерживающих сил, которые, как мы предполагали, сдерживали тест.

Но тест – это не просто установка двух точек на прямой. Одновременно есть еще одна сила, которая будет сдерживать тест, – это третья сила (третья точка), т. е. «практичность», основанная на учете этнопсихологических особенностей китайских студентов. Эта точка обозначена буквой «P». Следовательно, три точки: «H», «D», «P» – образуют треугольник. Мы предполагаем, что в этом треугольнике сторона «DP» намного длиннее стороны «HP», потому что для достижения валидности в тесте по сравнению с достижением надежности требования к практичности, основанные на этнопсихологических особенностях китайских студентов, намного выше. На рис. 2 показана треугольная форма в этом случае, т. е. ограничительное влияние надежности, валидности и практичности на тест. Тест (точка «E») находится в любой точке треугольника и притягивается к трем вершинам треугольника тремя сдерживающими силами.

 

Рис. 2. Соотношение в рамках модели между надежностью, валидностью
и практичностью с учетом этнопсихологических особенностей китайских студентов

 

Но на самом деле точка «E» может быть где угодно в треугольнике. Разные тесты занимают разное положение в треугольнике из-за разного соотношения сильных и слабых сторон трех ограничений.

Если этнопсихологические особенности китайских студентов не будут учтены, это сильно ограничит тест, который мы хотим разработать, что сделает тест неспособным обеспечить валидность и надежность. Следовательно, точка «E1» на рисунке (см. рис. 3) вынуждена находиться очень близко к точке «P» и далеко от точки «H» и точки «D».

 

Рис. 3. Соотношение в рамках модели между надежностью, валидностью и практичностью
с учетом этнопсихологических особенностей китайских студентов

 

Учитывая тот факт, что надежность и валидность несовместимы, мы стремимся одновременно достичь высочайшего уровня надежности и валидности. Точка «E2» находится в средней точке стороны «HD», т. е. точка «E2» находится на таком же расстоянии от точки «D», как и от точки «H». Эту позицию следует назвать наиболее идеальной позицией для баланса надежности и валидности в реальных ситуациях, но для обеспечения этой позиции линия E2P должна быть достаточно длинной, значит, в этом тесте должна полностью учитываться практичность на основе этнопсихологических особенностей китайских студентов (рис. 4):

 

 

Рис. 4. Соотношение в рамках модели между надежностью, валидностью и практичностью
с учетом этнопсихологических особенностей китайских студентов

 

Однако, если мы хотим полностью сбалансировать надежность, валидность и практичность, мы должны поставить тест (точку «P») на фиксированный уровень, т. е. мы можем достичь половины ситуации на рис. 4, а точку «P» принять за центр круга. Нарисуем дугу с радиусом фиксированной длины, представляющую «Практичность», эта фиксированная длина составляет половину длины стороны E2P на рис. 4, которая называется стороной E3E3′, тогда положение теста можно зафиксировать в любой точке дуги. Конкретное положение на дуге зависит от решения разработчика теста относительно надежности и валидности (рис. 5):

 

 

Рис. 5. Соотношение в рамках модели между надежностью, валидностью и практичностью
с учетом этнопсихологических особенностей китайских студентов

 

Содержание модели будет разделено на три части: 1. Сравнение валидности и практичности каждого субтеста тест по русскому языку как иностранному второго уровня (ТРКИ-2) и теста по русскому языку восьмого уровня (ТРЯ-8) с учетом этнопсихологических особенностей китайских студентов и получение данных о соответствующих сильных и слабых сторонах двух тестов. 2. На основе полученных результатов разработка нового ТРКИ-2 с точки зрения реализации принципа учета этнопсихологических особенностей китайских кандидатов и проведение эксперимента. 3. Сравнение надежности двух тестов с экспериментальными результатами, чтобы отношения между тремя показателями качеств теста достигли оптимального состояния (см. рис. 5).

 

Заключение / Conclusion

 

1．В статье представлена лингводидактическая модель тестирования качества подготовки китайских студентов по русскому языку как иностранному с учетом этнопсихологических особенностей.

2．Структура модели представлена посредством исследования соотношения трех показателей качеств лингводидактических тестов – надежности, валидности и практичности.

-     Три показателя (надежность, валидность и практичность) тесно связаны между собой и влияют друг на друга, в том числе надежность и валидность обеспечивают первичную основу для использования тестовых результатов для выводов или принятия решений.

-     Надежность и валидность дополняют друг друга, но также существуют противоречия. Практичность исследована с учетом этнопсихологических особенностей китайских студентов.

-     В зависимости от степени надежности, валидности и практичности позиция теста также различна. Так как позиция практичности заключается в рассмотрении этнопсихологических особенностей китайских студентов, только разработанный тест может быть выполнен на основе полного использования этих показателей качеств, модель тестирования является наиболее подходящей.

3．Содержание модели включает сравнение надежности, валидности и практичности с учетом этнопсихологических особенностей китайских студентов. Данная модель тестирования будет использоваться для оценки конкретных тестовых заданий тестирования, в том числе ТРКИ в России и ТРЯ в Китае, в соответствии с этой моделью, чтобы предоставить обоснованные теоретические аргументы для оценки и разработки соответствующих систем тестирования, а также дать рациональные рекомендации по направлению будущих задач тестирования.