Методы оценки юзабилити системы дистанционного образования

Введение

 Прогресс в области электронного обучения всегда развивается в России медленно. В основном это связано с проблемами плохого дизайна систем электронного обучения. Вероятно, причина такого положения кроется в обесценивании важности юзабилити. Разработчики программ перестали уделять нужное внимание и развивать данное направление при разработке web сервисов и систем дистанционного образования.

Система Дистанционного образования(СДО) – образовательная система, обеспечивающая получение образования с помощью дистанционных технологий обучения. [3].

Обычно, оценка юзабилити (usability) состоит из методологии
для измерения различных юзабилити аспектов системы пользовательского интерфейса (UI) и выявления конкретных проблем.

Общие мероприятия при оценке включают в себя:

• · сбор данных юзабилити, т.е: время выполнения задания, ошибки, нарушения основного положения, и субъективных оценок;
• · интерпретация данных юзабилити для выявления проблем в интерфейсе;
• · оптимизация решения для ликвидации проблем.

Юзабилити в термине E-Learning предполагает фокус на взаимодействия человека с компьютером и системы электронного образования, чтобы определить, как вовлечь учащихся в процесс обучения и мотивировать их, чтобы постоянно и беспроблемно взаимодействовать с системами образования [8].

Удобство и простота является ключевым вопросом в юзабилити системы, так как обычно это относится к качеству пользовательского интерфейса. Международная организация по стандартизации (ISO-9241) определяет юзабилити как [6]: степень, в которой продукт может быть использован определенными пользователями для достижения поставленных целей с достоверностью, эффективностью и удовлетворенностью.

В рассматриваемых работах по оценке юзабилити[5,7], общий вывод сводиться к тому, что необходимо заниматься сбором информации о пригодности интерфейс путем выявления проблем и предложения улучшений [9]. Для того, чтобы обеспечить удобство и простоту использования, оценка должна, в идеале, быть выполнена во время развития [5]. Обычные методы для пользовательских интерфейсов, таких как опросы пользователей, наблюдения и тестирования, а также эвристическая оценка могут быть применены для выявления проблем в области дистанционного обучения, но не применяются для подтверждения проблем или проделанной работы[7]. Тем не менее, Squires, D. и Preece, J. [10] рекомендуют, что подходы эвристической оценки и экспертной оценки, должны быть использованы оценке электронного обучения, но не приводится ни каких пример, как можно доказать что они дополняют друг друга и помогают сделать общий вывод по оценки юзабилити.

При оценке образовательного программного обеспечения следует изучить удобство использования(юзабилити), дизайн взаимодействия, а также, насколько хорошо ученики поддерживаются в процессе обучения. В идеале интерфейс должен быть интуитивно понятным для обучающего [11]. Когда систему сложно использовать, учащиеся тратят слишком много времени, пытаясь разобраться в механизме пользования системой и ее функционалом, вместо того, чтобы в полной мере проходить обучение. [4]. На самом деле, должна быть синергия между процессом обучения и взаимодействием с системой дистанционного образования.

Выбор метода и средств оценки юзабилити

Выбор соответствующих методов оценки зависит от различных факторов, касающихся исследуемой СДО. К сожалению, никто еще не придумал универсальной меры оценки юзабилити. Абстрактное “удобство” измерить сложно. Поэтому при оценке юзабилити мы опираемся на ряд факторов:

• · Скорость обучения — способность пользователя самостоятельно освоить продукт. Это важно, если у продукта много новых пользователей и период использования продукта краток. Мы можем пожертвовать скоростью работы ради скорости обучения.
• · Скорость работы — скорость, с которой пользователь может выполнять типовые операции с продуктом. Важно, когда у продукта не много новых пользователей, но существующие взаимодействуют с продуктом длительное время. Например, банк-клиент, с помощью которого финансовый менеджер компании проводит банковские операции. Менеджер может потратить некоторые ресурсы на изучение системы, если в дальнейшем она позволит быстро выполнять необходимые действия.
• · Ошибки, которые совершают пользователи при взаимодействии с продуктом.
• · Субъективная удовлетворенность пользователем работой с продуктом.

В небольшом многообразии методов оценки юзабилити, можно отметить что выделяются 2 основных блока:

• · Экспертная оценка
• · Эвристическая оценка

Каждый из них считает, удобство и простоту использования с точки зрения целого ряда критериев, помогающих формализовать поведение пользователя для его поддержки в системе. В первую очередь рассматривается легкость использования системы, с участием субъективные суждения, а во вторую - технические составляющие аналитики системы.

В рамках представленной работы рассматриваемый объект исследования по оценке юзабилити стал институт информационных технологий(ИИТ) ЧелГУ. В институте была модернизирована система дистанционного образования Moodle с версии 1.9 до версии 3.0. Для проведения эвристической оценки, был выбран метод анкетирования пользователей СДО Moodle, который дает возможность измерить удовлетворенность студентов новой системой, оценить качество измененного функционала и дизайна, а также описать существующие проблемы, появившиеся в системе. Анкета представляет собой список утверждений, которые пользователи должны оценить применительно к себе по 10-балльной шкале с пояснениями. Основой вопросов в анкете стали уже существующие формальные анкеты от компании IBM: QUIS (Questionnaire for User Interface Satisfaction), CSUQ (Computer System Usability Questionnaire). При доработке вопросов анкета приобрела следующий вид: 

1. Экран (Текст на экране компьютера). Шкала: трудно читать – 1 10 – легко читать
2. Экран (Выделение цветом или подчеркивание элемента упрощает работу). Шкала: совсем нет – 1 10 - очень
3. Экран (Расположение информации). Шкала: запутанная (сбивает с толку) - 1 10 – очень ясная
4. Экран (последовательность экранов). Шкала: запутанная сбивает с толку) - 1 10 – очень ясная
5. Удобство интерфейса (Использование цветов и звуков). Шкала: Ужасные – 1 10 - Отличные
6. Обучение (Необходимость элемента подсказка для упрощения понимания системы). Шкала: Необходимо – 1 10 – Все очень ясно и без него
7. Обучение (Обучение работе с системой). Шкала: Сложно – 1 10 - Легко       
8. Обучение (Изучение новых возможностей методом проб и ошибок). Шкала: Сложно – 1 10 - Легко        
9. Обучение (Оценка сложности выполнения задач в системе). Шкала: Очень сложно – 1 10 – Все предельно ясно
10. Системные сообщения и оповещения системы о новых событиях. Шкала: Ужасные – 1 10 - Отличные
11. Оцените в целом "Удобство использования системы"(usability). Шкала: Очень плохо – 1 10 - Замечательно
12. Оцените в целом "Дизайн системы". Шкала: Очень плохой – 1 10 - Замечательный
13. Оцените в целом "Функционал системы". Шкала: Совершенно не нужный (не полный) – 1 10 - Функционал полностью необходим
14. На сколько бы вы оценили систему в целом по десятибалльной шкале. Шкала: Очень плохо – 1 10 – Замечательно

Данные вопросы можно поделить на несколько групп: 1 группа вопросов называется Оценка представления. В нее входят 1-5 вопросы, результатом оценки данной группы является качество представления информации для отображения пользователю на мониторе. В исследовании в ИИТ ЧелГУ приняло более 100 человек, что является оптимальным для апробации юзабилити СДО. По результатам средних голосов, данная группа вопросов получила 8,53 из 10 баллов. Что свидетельствует о качественном представлении информации пользователям. 2 группа вопросов называется Оценка обучения. В нее входят 6-10 вопросы, результатом оценки данной группы является простота обучения системой. По результатам средних голосов, данная группа вопросов получила 7,96 из 10 баллов. Система Moodle 3.0 интуитивно понятная для пользователей по результатам анкеты, но все же стоит сделать документ с описанием типовых сценариев работы студента в системе. Вопросы 11-14 можно условно отнести к группе Общие выводы по анкетированию, но оценивать их следует по отдельности. В результате заполняемой анкеты, студенты проголосовали таким образом, что среднее Usability – 8,1; Дизайн системы – 7,7; Функционал системы – 7,61; Система в целом- 8.

Если анкетируемые внимательно и честно отвечают на вопросы данной анкеты, то среднее общей итоговой группы, не должны сильно отличаться от предыдущих групп. Как видно из общих выводов по анкете, они все выше среднего, удовлетворенность студентов новой системой оценена в 8 баллов.

В анкете также присутствовали вопросы с открытым вариантом ответа, например: Какого функционала, вам не хватает в системе? Какой функционал вам нравится в Moodle (eu.iit.csu.ru), который точно не стоит заменять? Задавая эти вопросы можно более детально понять о плюсах и минусах конфигурируемой системы. Но также стоит отметить, что необходимо выделять из слов респондентов потребности, а не готовые решения. В полученной обратной связи по внедренной СДО, критичных проблем не выявилось. Появились лишь маленькие замечания, но трудозатраты на их решения оказались больше, чем сама проблема. Поэтому был сделан вывод - не добавлять лишний функционал.

Так как проводилась модернизация СДО, то вопросы о необходимости в функционале задавались в сравнении с предыдущей версией, для совершенно нового функционала вопросы выглядят следующим образом: Появился дополнительный элемент “Планирование встреч” (Запись на консультации в систему moodle) с вариантами ответов: Полезно, бесполезно, сомневаетесь или еще не поняли. Для функционала, который был в прошлой версии, но потерпел изменения, вопросы задавались с количественной шкалой до 5, например: 1) Просмотр текущей успеваемости по всем предметам. Шкала 1-5 баллов, либо ответ: не использовал функционал.

Следующий шаг, который необходимо было предпринять, - провести экспертную оценку. Для того, чтобы понять, как изменился интерфейс системы, было принято решение воспользоваться web-приложением Feng-GUI, который имитирует взгляд пользователя в течение первых 5 секунд воздействия визуального эффекта. Аналогом данного приложения служит usabilityhub.com – Five second test, который работает уже не алгоритмам анализа, а представляет картинку для реальных пользователей.

Для того чтобы воспользоваться web-приложением Feng-GUI, необходимо предоставить домены всех страниц сайта с открытым доступом, либо же сделать screenshots. В работе были использованы интерфейсы, как старой версии Moodle 1.9, так и обновленной 3.0.

Feng-GUI расставляет приоритетно точки, на которые при загрузке страницы будет бросаться взгляд человека, на рисунке 1 слева представлено отображение в старой версии, а справа - новой.  В центре страницы располагается самая нужная информация на данной странице, при модернизации СДО Moodle, удалось добиться того, чтобы взгляд пользователя изначально бросался в центр. Данное web-приложение необходимо использовать, чтобы наиболее удачно располагать элементы системы. Проведя опыт со всеми страницами старой и новой версии, удалось не только в нужном месте расположить элементы в системе, но и доказать, что модернизация системы обосновывается и техническими средствами.

Рисунок 1. Элемент курсы, приоритетные взгляды пользователей 

Следующим шагом, была проведена оценка с помощью яндекс метрики. Этот метод оценки требует большого количества участников — около 1000 и дает в первую очередь статистические данные согласно метрикам. Однако из-за размера выборки осложнен контроль ее качества.

Из-за того, что яндекс метрика стояла раньше на Moodle 1.9, данные легко можно получить за предыдущие периоды. Главным параметром в оценки юзабилити было принято количество кликов до цели. Для получения этих данных, необходимо задавать необходимую цель и просматривать среднюю глубину поиска до этой цели. Данный показатель покажет насколько легко и быстро пользователь может выполнить поставленную задачу. Для определения этого показателя, были просмотрены десятки повторов действий пользователей, как на старой версии, так и на новой. Проанализировав повторы и глубину поиска до цели, можно отметить, что количество кликов сократилось на 3 единицы. Для СДО уменьшение этого показателя благоприятно влияет на удовлетворенность пользователя и нагрузку на систему. Рассматриваемый показатель также влияет на время нахождения на сайте. При уменьшении количества кликов, среднее время нахождения в СДО уменьшилось на 35%.

Так же для подтверждения результата анкетирования, была проанализирована карта кликов и скроллинга на всех страницах обновленного moodle. В результате это дает представление о самых популярных функциях системы и дает возможность переносить их на более высокие приоритеты в системе, а также получается избавиться от ненужного функционала.

В данной работе был использован математический метод Закон Фиттса. Закон Фиттса – некая модель, с помощью которой можно обоснованно применять те или иные решения при разработке пользовательских интерфейсов и макетов веб-страниц. Этот закон можно совмещать с другими методами расчета, ведь главная цель – это создание удобного пользовательского интерфейса.[2]

Закон сосредоточен в одном математическом уравнении. Он вычисляет время, необходимое для того, чтобы достичь объекта. В случаи с СДО, это может быть кнопка, ползунок, форма ввода текста и т.д. Основная идея: чем быстрее найдется объект, тем проще и удобнее этот объект использовать.

Формула: 

где T — время работы пользователя с меню в (мс), a и b — это коэффициенты регрессии, определяемые опытным путем, где а=50, b=150, D — расстояние от одного до другого пункта меню, W — ширина пункта меню при движении к нему от другого пункта меню.

При оценке СДО Moodle, были взяты самые используемые объекты, полученные из ранее представленных методов. В результате, при применении данного метода была внесена поправка в подсчеты времени(табл.1). В старой версии для того, чтобы добрать до последнего курса в списке меню, необходимо было нажать на год курса и перейти на следующую страницу и только тогда выбрать курс. А в новой версии на курс можно было попасть сразу. Расстояния между объектами измерялись благодаря ПО Caliper. Время загрузки страницы переходы равняется 1.09 секунды, данные были получены при помощи Яндекс метрики.

Таблица 1

 Оценка двух сценариев на разных страницах методом Фиттса.

На основании полученных данных можно говорить о том, что помимо уменьшения кликов в системе, доказанных в предыдущем методе, можно доказать уменьшение времени при обновлении системы СДО или рассчитать оптимальное необходимое при построении системы с нуля. 

Заключение

В проделанной работы были применены 2 типа оценки эвристическая и экспертная. Для того, что реализовать эвристическую оценку для оценки СДО, необходимо было доработать уже существующие формальные анкеты от компании IBM: QUIS (Questionnaire for User Interface Satisfaction), CSUQ (Computer System Usability Questionnaire). В результате проведенного исследования можно судить об удовлетворенности клиентов юзабилити СДО, а также его составляющих - дизайна интерфейса и функционала.

Для того, чтобы доказать, что эта анкета дает достоверный результат, необходимо было провести экспертную оценка, а именно провести анализа интерфейса, с помощью web-сервиса Feng-GUI. Также, была проведена оценка яндекс метрикой изменений количественных показателей СДО с старой версии на новую. В результате удалось получить данные об изменении количества кликов до цели с одной версии системы по отношении к другой. Помимо этого, был проведен анализ времени нахождении в системе при решении определенных задач пользователями системы, в случаи СДО уменьшение времени для решения задачи, это положительная тенденция. Используя тепловую карту кликов и скроллинга, удалось определить наиболее необходимый функционал в системе, который необходимо вытаскивать на более высокое место в графе расположения объектов. Чтобы определить благодаря чему уменьшается время работы в системе у пользователя, и какие самые используемые элементы располагаются слишком глубоко в системе, был проведен анализ методом Фиттса. В результате, которого определились объекты, которые необходимо перенести ближе к рабочему пространству пользователя. А так же благодаря этому методу, при обновления системы, легко доказать из-за чего сокращается работа в системе, при удачном расположении объектов.

В целом, следует выделить основные преимущества использования юзабилити оценки:

• · получение объективных данных, которыми можно воспользоваться при принятии решения;
• · Возможность быстрого реагирования при обнаружении проблемы или недостатка в функционирующей системе.
• · Менее затратная процедура выявления недочетов, на этапе проектирования и раннего внедрения.

Преимущества методов количественного анализа

1. Быстрый расчет эффективности

2. Не требует дополнительных ресурсов

3. Конкретные доказательства преимущества определенного решения 

Каждый из перечисленных методов хорош по-своему и решает свои задачи. Поэтому не стоит отдавать предпочтение одному из них, необходимо комбинировать методы, чтобы добиться правдивой оценки от пользователей, которая доказывается с помощью статистических и математических данных.