Full text

Одной из ключевых концепций современного маркетинга – это мнение потребителя, ибо только он в конечном итоге определяет качество потребляемого продукта или предоставляемой услуги. Именно эту концепцию оценки качества образовательных услуг взял за основу отдел маркетинга Минского филиала МЭСИ (в настоящее время РЭУ имени Г.В Плеханова), а в качестве потребителя выступает студент очного и заочного отделений. Именно студенты  достаточно критично сравнивают степень доступности материала, манеру проведения лекционных и семинарских занятий у разных категорий преподавателей: докторов, кандидатов наук и ассистентов; преподавателей мужчин и преподавателей женщин; молодых и опытных преподавателей; использующих современные образовательные технологии или преподающих по «старинке». Обычный инструмент для проведения опросов – анкетирование студентов. Исходные данные для проведения анализа являются анкеты, заполняемые студентами всех курсов (за исключением первого) всех форм обучения. Содержащие вопросы, которые объединены по тематическим разделам:

  • изложение материала конкретным преподавателем (показатели - «Владение содержание», «Творческий подход к изложению», «Доступность изложения», «Контакт с аудиторией», «Интерес к дисциплине», «Оценка студента» и др.);
  • методы, используемые преподавателем (показатели - «Деловые и ролевые игры», «Практикумы», «Case study», «Тестирование в течение семестра», «Контрольные работы», «Лабораторные и семестровые работы», «Коллоквиумы» и др.);
  • информационные средства, используемые преподавателем (показатели: «Сайты», «СДО «Кампус»», «Демонстрационные презентации», «Тематические печатные издания», «Электронная почта», «Устная речь» и др.).

Рассмотрим типовой процесс проведение анкетирования. Сотрудник отдела маркетинга Филиала знакомит студентов с правилами прохождения анкетирования и раздает заранее подготовленные анкеты для заполнения. Заполненные анкеты передаются в отдел маркетинга Филиала, где на их основе готовятся отчеты по результатам тестирования, которые затем отправляются директорату и руководителям структурных подразделений.

Отчетность представляется в двух формах:

  • краткой – сводная информация в виде таблиц и диаграмм;
  • полной – содержащую обработанную методами многомерного статистического анализа информацию.

Результаты анализа рассматриваются на заседаниях кафедр и Учебно-методического совета и отражаются в протоколах заседаний кафедр и Учебно-методического совета, годовых отчетах кафедр. По итогам рассмотрения представленных материалов, принимаются решения и оформляются соответствующие распоряжения по исполнению принятых решений.

Изучение результатов анкетирования породило ряд вопросов, например:

  1. Имеется ли связь между критериями оценки деятельности преподавателя?
  2. Чем определяется интерес студента к предмету?
  3. Объективна оценка студента своего преподавателя и имеет ли она связь с другими критериями?
  4. Существуют ли обобщающие (скрытые) факторы оценки деятельности преподавателя?
  5. Имеется ли связь между используемыми преподавателями методиками преподавания и  применяемыми им  средствами ТСО?
  6. В чем заключается творческий подход и доступность изложения материала, связаны ли они с применяемыми электронными средствами обучения?
  7. Связаны ли пропуски занятий студентами с качеством преподавания преподавателя?

Для получения ответов на эти вопросы использовались методы интеллектуального анализа (англ. Data Mining), а именно кластерный, факторный и регрессионный анализ данных. В качестве основного инструментария для анализа данных использовался ППП MS Excel 2007 и Statistica 7.0. Результаты анализа представлены в ежегодных отчетах кафедры и публикациях [2].

При обработке данных мы столкнулись с рядом методических и программно-информационных проблем, которые затрудняют исследования, и, самое главное, не дают представления об изменениях качества преподавания в пространственно-временных измерениях.

Проблемные места процесса

  • перенос результатов анкетирования с бумажного носителя в цифровой
  • сохранение и накопление данных предыдущих опросов («исторических данных»)
  • трансформация данных для обработки в разных программно-информационных средах.

Для повышения производительности труда аналитика и получения качественных результатов анализа путем сравнения текущих и исторических данных было решено разработать информационно-аналитическую систему для анализа эффективности качества преподавания в филиале. Внедрение такой системы должно обеспечить обработку накопленного материала статистических опросов и в конечном счете даст рекомендации руководству института по стратегии развития, укреплению материально-технической и методической базы, кадровой политике и в конечном итоге ввести действительно научно обоснованную систему показателей качества обучения.

В 2012 году филиале был разработан экспериментальный образец такой информационно-аналитической системы «Anketa», выполненный студентами Филиала специальности «Прикладная информатика» [4]. Дальнейшие разработки также выполнялись выпускниками Филиала в рамках прохождения учебной практики и дипломного проектирования. Новая редакция информационно–аналитической системы, получившей новое название «Anketa Date, позволяет:

  • проводить электронное анкетирование потребителей по различным аспектам учебного процесса в соответствии с методическими рекомендациями МЭСИ;
  • накапливать результаты анкетирования в хранилище данных системы;
  • предоставлять, по многовариантным запросам пользователя, различную информацию, отражающую качество преподавания;
  • выполнять оперативный OLAP и интеллектуальный (Data Mining) анализы данных;
  • подготавливать руководству отчеты по результатам анализа для восприятия потребителями и принятия на ее основе адекватных решений;
  • обеспечивать возможности расширения информационного обеспечения системы посредством введение новых анкет, а также новых вопросов в существующие анкеты.

Схема архитектуры «Anketa Date» приведена на рис 1, за основу взята типовая архитектура информационно-аналитических систем, приведенная в [4].

 

Рис 1 Схема архитектуры «Anketa Date» 

Система реализована в среде СУБД Microsof SQL Server. Структура хранилища данных выполнена по схеме «Снежинка» [3]. Основной таблицей является таблица фактов, таблицы измерений, хранящие сведения о студентах, преподавателях и консольные таблицы, содержащие справочные данные, всего 13 таблиц.

Процесс начинается с авторизации пользователя, логин-пароль, следующим шагом выбирается анкета, На «Форме выбора анкеты» пользователь при помощи кнопок навигатора выбирает необходимую для заполнения анкету рис. 2 и нажимает на кнопку «Заполнить анкету». 

Рис 2. Выбор формы анкеты. 

После чего откроется «Форма для заполнения анкет» из раскрывающегося списка выбирается фамилия преподавателя и одновременно отображаются предметы, который ведет данный преподаватель в текущем году. 

 Рис. 3 Рабочая форма для проведения анкетирования. 

Затем студент заполняет форму анкеты рис. 3. По окончании нажатием кнопки «Ввести данные в базу», данные из анкеты поступают в хранилище. Из хранилища они выбираются посредством запросов аналитика использованием популярных средств MS Excel, SPSS, Statistica. Рез выполнения одного из аналитических запросов представлен на рис.4. 

Рис.4 Результат выполнения аналитического запроса с календарем 

Эксперименты с «Anketa Date» показали:

  • повышение производительности труда аналитика примерно в три раза, за счет сокращения рутинной работы.
  • улучшение качества анализа, посредством использования, не только текущих, но и «исторических» данных.
  • возможности расширения и адаптации системы к условиям конкретного вуза.

Помимо основных достижений, связанных с повышением производительности труда аналитика и улучшения качества, предоставляемых руководству отчетов, ряд косвенных, в частности студенты выпускники получили хорошую практику по проектированию и разработке информационно–аналитических систем, баз данных корпоративных хранилищ и др.