Автоматизированная информационная система мониторинга учебной, научной, творческой, спортивной и общественной деятельности учащихся вуза с использованием технологии OLAP-кубов
ART 86716
Авторы:
О.
И. Драгуновская, В.
О. Журин
О.
И. Драгуновская, В.
О. Журин Библиографическое описание статьи для цитирования:
Драгуновская
О.
И.,
Журин
В.
О. Автоматизированная информационная система мониторинга учебной, научной, творческой, спортивной и общественной деятельности учащихся вуза с использованием технологии OLAP-кубов // Научно-методический электронный журнал «Концепт». –
2016. – Т. 11. – С.
3396–3400. – URL:
http://e-koncept.ru/2016/86716.htm.
Аннотация. В работе описывается создание автоматизированной информационной системы мониторинга деятельности учащихся с использованием технологии OLAP. В статье обосновывается актуальность создания данного ПО, производится анализ процесса мониторинга с использованием методологии IDEF0. Основную часть занимает описание построения OLAP-куба, хранилища данных для его реализации, описание ETL-процесса. Результатом являются спроектированные SADT-диаграммы процесса мониторинга, построенное хранилище данных для системы.
Текст статьи
Драгуновская Ольга Игоревна,студент ФБОУ ВПО «Брянского государственного технического университета», кафедры «Информатика и программное обеспечение», гр. 12ПрИdoi1994@mail.ru
Журин Владислав Олегович,студент ФБОУ ВПО «Брянского государственного технического университета», кафедры «Информатика и программное обеспечение», гр. 12МОАvlad032_grax@mail.ru
Научный руководитель –Копелиович Дмитрий Игоревич,кандидат технических наук, доцент ФБОУ ВПО «Брянского государственного технического университета», кафедры «Информатика и программное обеспечение»dkopeliovich@rambler.ru
Автоматизированная информационная система мониторинга учебной, научной, творческой, спортивной и общественной деятельности учащихсявуза с использованием технологии OLAPкубов
Аннотация.Вработе описывается создание автоматизированной информационной системы мониторингадеятельности учащихся с использованием технологии OLAP. В статьеобосновываетсяактуальность создания данного ПО, производитсяанализ процесса мониторингас использованием методологии IDEF0. Основную часть занимает описание построения OLAPкуба, хранилища данных для его реализации, описание ETLпроцесса. Результатом являются спроектированные SADTдиаграммы процесса мониторинга, построенное хранилище данных для системы.Ключевые слова:мониторинг, SADTдиаграмма, OLAPкуб, хранилище данных, денормализация, ETL.
Введение
Параметры современной среды жизнедеятельности человека и проблемы управления, встающие перед людьми, порождают задачи, связанные с разработкой принципов и моделей мониторинга среды. Для лиц, принимающих решения, необходим инструмент, позволяющий эффективнопроводить анализ и наблюдать за управляемой системой. Одной из проблем ВУЗа является контроль деятельности студентов. На данный моментсуществуют множество видов учета, среди них: текущая успеваемость студента, результаты научной деятельности студентов, заслуги в творческой, спортивной и общественной жизни университета. В настоящее время в большинстве учебных заведений эти данныехранятся в журналах, экзаменационных и зачетных ведомостях, справках, приказах.В результате мониторинга деятельности становится возможным выявление лучших студентов и начисление им стипендии; формирование переводного приказа и организация учебного процесса.
Анализ процессов в ВУЗеIDEF0 –методология функционального моделирования и графическая нотация, предназначенная для формализации и описания бизнеспроцессов. Отличительной особенностью IDEF0 является её акцент на соподчинённость объектов. В IDEF0 рассматриваются логические отношения между работами, а не их временная последовательность (поток работ).Для улучшенного представления и понимания особенностей проведения мониторинга разработана SADTдиаграмму [1]. На рис. 1 представлена контекстная диаграмма процесса мониторинга.Первый уровень модели SADTпредставляет собой градацию всего процесса (рис. 2). После соответствующей подготовки и проведения контрольнодиагностических мероприятий (экзамены, аттестации, научные конкурсы, спортивные и творческие мероприятия) сотрудниками деканата проводится обработка полученных результатов, а также установление их соответствия запланированным показателям. В случае наличияотклонений разрабатывается комплекс коррекционных мероприятий. Отчеты о результатах мониторинга и предложения по коррекциирезультатов передаются в учебнометодическое управление университета. Там с учетом этих данных происходит проектирование целей учебновоспитательной работы, а также в случае необходимости разрабатываются мероприятия, направленные на повышение образовательных, культурных, научных, спортивных результатов, и рекомендации по их внедрению в учебный процесс ВУЗа.
Вторые уровни содержат более детальные описания процессов: подготовки и непосредственного проведения мониторинга. На рис. 3 и 4 показан процесс подготовки к проведению мониторинга и сам процесс проведения соответственно.
Рис. 1.Контекстная диаграмма модели SADT
Рис. 2. Первый уровень модели SADT
Рис. 3. Второй уровень модели SADT. Подготовка к проведению мониторинга
Рис. 4.Второй уровень модели SADT. Проведение мониторинга
OLAPкубРеляционные базы данных разрабатывались и используются для осуществления параллельных транзакцийс сохранением производительности и целостности данных, однакоони мало эффективны при анализе больших объемовданных. Для этого необходимо получать основанный на наборе запрос, информация для которого собирается и агрегируется«на лету». Такие запросы затратны, так как опираются на множественные соединения и агрегатные функции.Кубы —это многомерные сущности, предназначенные для устранения указанного недостатка в реляционныхБД, которое достигается путем предварительного агрегирования данных по нескольким измерениям. Ячейки куба, как правило, составные (на факультете несколько кафедр, группы состоят из студентов и т. д.). Кубы различного уровня образуют иерархию. Гиперкуб (первый уровень) содержит объединенную информацию, отражающуювсе области мониторинга в ВУЗе в целом (рис. 5). Стоит отметить, что здесь отражен только один из множества вариантов выбора измерений. Важнопонимать, что количество измерений и характеристик в каждом может быть любым, следовательно, куб —это только термин, который не устанавливает точное числовозможных данных.
Рис. 5. ГиперкубРабочей средой OLAPсистем являются хранилища данных[2].Хранилище данных –предметноориентированная информационная корпоративная база данных, предназначенная для подготовки отчётов, анализа бизнеспроцессов с целью поддержки принятия решений[3].При проектировании ХД используется пространственная модель, которая обеспечивает высокуюскорость выполнения запросов. Наличие множества консольных таблиц приводит к объединению большого числа данных, что повышает время обработки. Однако использование полностью денормализованной модели приводит к нарушениюссылочной целостности и лишает возможностиполучить целый ряд выводов. Запросы на обновления производятся, как правило, в определенное время (сессия, конференция, конкурс), а запросы на выборку требуются чаще, их количество превышает количество первых. Был сделан вывод о необходимости частичной денормализации, уменьшающей иерархию на несколько уровней и ориентированной на повышение производительности. При выбранном количестве консольных таблиц обработка запросов не будет заниматьмного времени, но при этом таблицы не слишком перегружены. Конечная модель ХД, объединяющая в себе схемы отдельных процессов,представляет собой «созвездие фактов»[4]. Для реализации хранилища выбран MSSQLServer2014 (рис. 6).
Рис. 6. Диаграмма ХД в MS SQL Server 2014Процессы извлечения, преобразования и загрузки (ETL), происходящие при загрузке данных в ХД и их консолидации, представляют собой преобразование данных по заданным правилам к заданной структуре и их дальнейшую загрузку в область постоянного хранения. ETLпроцессы с точки зрения наполняемых ими сущностей, можно условно разделить на пять типов:процессы загрузки справочников и классификаторов (НСИ);процессы загрузки сущностей, описывающих связи;процессы загрузки фактических значений;процессы агрегации и подготовки витрин данных;процессы подготовки данных для внешних систем[5].Спроектированная диаграмма, иллюстрирующая один из сложных процессов –формирования данных справочников и классификаторов представлена на рис. 7.В первую очередь осуществляется полное извлечение данных из внешней системы и сохранение этих данных в интерфейсную таблицу области временного хранения (Т). Далее производится захват изменений, произошедших с момента последней загрузки в хранилище: данныеиз первой таблицы сравниваются с данными из второй; по результатам формируется дельта записей (Δ=ТК), для каждой из которых проставляется признак типа произошедшего с ней изменения. После захвата осуществляется очистка и трансформация. Далее для новых записей из последовательности базы формируются суррогатные ключи, а для измененных записей определяются на основе соответствия в таблице (СК).Полученный набор загружается в целевую таблицу области постоянного хранения.
ЗаключениеРеализация автоматизированной информационной системымониторинга учебной, научной, творческой, общественной и спортивной деятельности студентов с использованием технологии OLAPкубов–это комплексная задача, которая состоит из многих аспектов,охватывающих почти весь процесс функционирования деканата, начиная от отслеживания неуспевающих студентов и заканчивая анализом качестваработы преподавателей. Использование современных технологий и средств, предназначенных для анализа,выводит работу деканата на новый уровень.Подробно преимущества разрабатываемой системы представлены в статье [6].Применение описанной архитектуры для ИАС дает возможность модифицировать систему для более широкого применения [7].С использованием расширенного функционала данной системы проведен мониторинг данных о студентах для проведения профориентационной работы в школах[8]; выявлены качества, присущие студентам, увлекающимся информационными технологиями[9].
Ссылки на источники1.Диаграмма SADT. [Электронный ресурс] URL: http://orsv.narod.ru/SADT/SADT.htm (дата обращения 20.11.2015).2.Барсегян,А.А.Методыимоделианализаданных:OLAPиDataMining/А.А.Барсегян.–СПб.:БХВПетербург,2009.–336с.
3.Спирли,Э.Корпоративныехранилищаданных.Планирование,разработкаиреализация./Э.Спирли. –СПб.:Вильямс,2001.–Т.1.–400с.4.Копелиович,Д.И.АвтоматизированнаясистемамониторингауспеваемостистудентовуниверситетасприменениемтехнологииOLAP/Д.И.Копелиович//ПроблемыиперспективыразвитияобразованиявРоссии:сборникматериаловXIМеждународнойнаучнопрактическойконференции.– Новосибирск:ИздательствоНГТУ,2011.–С.152156.5.Haertzen, D.ETL Tools.The Analytical Puzzle: Profitable Data Warehousing, Business Intelligence and Analytics./ D. Haertzen.—Technics Publications, 2012. —346 p. 6.Драгуновская,О.И.Использованиеавтоматизированнойсистемымониторингастудентовкакфакторулучшенияпроцессаобразования/О.И.Драгуновская,В.О.Журин//МатериалыХXIМолодежноймеждународнойнаучнопрактическойконференции«ИнтеллектуальныйпотенциалXXIвека:ступенипознания».–Новосибирск:ИздвоЦРНС,2014.–С.102105.7.Копелиович,Д.И.Интегрированнаяплатформадлясозданияинформационноаналитическихсистеммониторингаисистемподдержкипринятиярешений/Д.И.Копелиович,О.И.Драгуновская,В.О.Журин//Материалымеждународнойнаучнопрактическойконференции"МихаилоАрхангельскиечтения".–Рыбница,2014.– С.353355.8.Копелиович,Д.И.Анализданныхостудентахдляпроведенияпрофориентационнойработысредишкольников/Д.И.Копелиович,О.И.Драгуновская//ФормированиеинформационногообществокакфакторинновационногоразвитияэкономикиРФ:МатериалыМеждународнойнаучнопрактическойконференции.–Брянск:Курсив,2013.–С.338341.9.Драгуновская,О.И.Использованиеавтоматизированнойсистемымониторингадеятельностистудентовдлявыявленияличностныхкачеств,отличающихлюдей,склонныхкработевITсфере/О.И.Драгуновская, В.О.Журин//МатериалыМеждународнойстуденческойнаучнопрактическойконференции«Юностьнауки–2014».–Чернигов:ЧГИЭУ,2014.–С.140141.
Журин Владислав Олегович,студент ФБОУ ВПО «Брянского государственного технического университета», кафедры «Информатика и программное обеспечение», гр. 12МОАvlad032_grax@mail.ru
Научный руководитель –Копелиович Дмитрий Игоревич,кандидат технических наук, доцент ФБОУ ВПО «Брянского государственного технического университета», кафедры «Информатика и программное обеспечение»dkopeliovich@rambler.ru
Автоматизированная информационная система мониторинга учебной, научной, творческой, спортивной и общественной деятельности учащихсявуза с использованием технологии OLAPкубов
Аннотация.Вработе описывается создание автоматизированной информационной системы мониторингадеятельности учащихся с использованием технологии OLAP. В статьеобосновываетсяактуальность создания данного ПО, производитсяанализ процесса мониторингас использованием методологии IDEF0. Основную часть занимает описание построения OLAPкуба, хранилища данных для его реализации, описание ETLпроцесса. Результатом являются спроектированные SADTдиаграммы процесса мониторинга, построенное хранилище данных для системы.Ключевые слова:мониторинг, SADTдиаграмма, OLAPкуб, хранилище данных, денормализация, ETL.
Введение
Параметры современной среды жизнедеятельности человека и проблемы управления, встающие перед людьми, порождают задачи, связанные с разработкой принципов и моделей мониторинга среды. Для лиц, принимающих решения, необходим инструмент, позволяющий эффективнопроводить анализ и наблюдать за управляемой системой. Одной из проблем ВУЗа является контроль деятельности студентов. На данный моментсуществуют множество видов учета, среди них: текущая успеваемость студента, результаты научной деятельности студентов, заслуги в творческой, спортивной и общественной жизни университета. В настоящее время в большинстве учебных заведений эти данныехранятся в журналах, экзаменационных и зачетных ведомостях, справках, приказах.В результате мониторинга деятельности становится возможным выявление лучших студентов и начисление им стипендии; формирование переводного приказа и организация учебного процесса.
Анализ процессов в ВУЗеIDEF0 –методология функционального моделирования и графическая нотация, предназначенная для формализации и описания бизнеспроцессов. Отличительной особенностью IDEF0 является её акцент на соподчинённость объектов. В IDEF0 рассматриваются логические отношения между работами, а не их временная последовательность (поток работ).Для улучшенного представления и понимания особенностей проведения мониторинга разработана SADTдиаграмму [1]. На рис. 1 представлена контекстная диаграмма процесса мониторинга.Первый уровень модели SADTпредставляет собой градацию всего процесса (рис. 2). После соответствующей подготовки и проведения контрольнодиагностических мероприятий (экзамены, аттестации, научные конкурсы, спортивные и творческие мероприятия) сотрудниками деканата проводится обработка полученных результатов, а также установление их соответствия запланированным показателям. В случае наличияотклонений разрабатывается комплекс коррекционных мероприятий. Отчеты о результатах мониторинга и предложения по коррекциирезультатов передаются в учебнометодическое управление университета. Там с учетом этих данных происходит проектирование целей учебновоспитательной работы, а также в случае необходимости разрабатываются мероприятия, направленные на повышение образовательных, культурных, научных, спортивных результатов, и рекомендации по их внедрению в учебный процесс ВУЗа.
Вторые уровни содержат более детальные описания процессов: подготовки и непосредственного проведения мониторинга. На рис. 3 и 4 показан процесс подготовки к проведению мониторинга и сам процесс проведения соответственно.
Рис. 1.Контекстная диаграмма модели SADT
Рис. 2. Первый уровень модели SADT
Рис. 3. Второй уровень модели SADT. Подготовка к проведению мониторинга
Рис. 4.Второй уровень модели SADT. Проведение мониторинга
OLAPкубРеляционные базы данных разрабатывались и используются для осуществления параллельных транзакцийс сохранением производительности и целостности данных, однакоони мало эффективны при анализе больших объемовданных. Для этого необходимо получать основанный на наборе запрос, информация для которого собирается и агрегируется«на лету». Такие запросы затратны, так как опираются на множественные соединения и агрегатные функции.Кубы —это многомерные сущности, предназначенные для устранения указанного недостатка в реляционныхБД, которое достигается путем предварительного агрегирования данных по нескольким измерениям. Ячейки куба, как правило, составные (на факультете несколько кафедр, группы состоят из студентов и т. д.). Кубы различного уровня образуют иерархию. Гиперкуб (первый уровень) содержит объединенную информацию, отражающуювсе области мониторинга в ВУЗе в целом (рис. 5). Стоит отметить, что здесь отражен только один из множества вариантов выбора измерений. Важнопонимать, что количество измерений и характеристик в каждом может быть любым, следовательно, куб —это только термин, который не устанавливает точное числовозможных данных.
Рис. 5. ГиперкубРабочей средой OLAPсистем являются хранилища данных[2].Хранилище данных –предметноориентированная информационная корпоративная база данных, предназначенная для подготовки отчётов, анализа бизнеспроцессов с целью поддержки принятия решений[3].При проектировании ХД используется пространственная модель, которая обеспечивает высокуюскорость выполнения запросов. Наличие множества консольных таблиц приводит к объединению большого числа данных, что повышает время обработки. Однако использование полностью денормализованной модели приводит к нарушениюссылочной целостности и лишает возможностиполучить целый ряд выводов. Запросы на обновления производятся, как правило, в определенное время (сессия, конференция, конкурс), а запросы на выборку требуются чаще, их количество превышает количество первых. Был сделан вывод о необходимости частичной денормализации, уменьшающей иерархию на несколько уровней и ориентированной на повышение производительности. При выбранном количестве консольных таблиц обработка запросов не будет заниматьмного времени, но при этом таблицы не слишком перегружены. Конечная модель ХД, объединяющая в себе схемы отдельных процессов,представляет собой «созвездие фактов»[4]. Для реализации хранилища выбран MSSQLServer2014 (рис. 6).
Рис. 6. Диаграмма ХД в MS SQL Server 2014Процессы извлечения, преобразования и загрузки (ETL), происходящие при загрузке данных в ХД и их консолидации, представляют собой преобразование данных по заданным правилам к заданной структуре и их дальнейшую загрузку в область постоянного хранения. ETLпроцессы с точки зрения наполняемых ими сущностей, можно условно разделить на пять типов:процессы загрузки справочников и классификаторов (НСИ);процессы загрузки сущностей, описывающих связи;процессы загрузки фактических значений;процессы агрегации и подготовки витрин данных;процессы подготовки данных для внешних систем[5].Спроектированная диаграмма, иллюстрирующая один из сложных процессов –формирования данных справочников и классификаторов представлена на рис. 7.В первую очередь осуществляется полное извлечение данных из внешней системы и сохранение этих данных в интерфейсную таблицу области временного хранения (Т). Далее производится захват изменений, произошедших с момента последней загрузки в хранилище: данныеиз первой таблицы сравниваются с данными из второй; по результатам формируется дельта записей (Δ=ТК), для каждой из которых проставляется признак типа произошедшего с ней изменения. После захвата осуществляется очистка и трансформация. Далее для новых записей из последовательности базы формируются суррогатные ключи, а для измененных записей определяются на основе соответствия в таблице (СК).Полученный набор загружается в целевую таблицу области постоянного хранения.
ЗаключениеРеализация автоматизированной информационной системымониторинга учебной, научной, творческой, общественной и спортивной деятельности студентов с использованием технологии OLAPкубов–это комплексная задача, которая состоит из многих аспектов,охватывающих почти весь процесс функционирования деканата, начиная от отслеживания неуспевающих студентов и заканчивая анализом качестваработы преподавателей. Использование современных технологий и средств, предназначенных для анализа,выводит работу деканата на новый уровень.Подробно преимущества разрабатываемой системы представлены в статье [6].Применение описанной архитектуры для ИАС дает возможность модифицировать систему для более широкого применения [7].С использованием расширенного функционала данной системы проведен мониторинг данных о студентах для проведения профориентационной работы в школах[8]; выявлены качества, присущие студентам, увлекающимся информационными технологиями[9].
Ссылки на источники1.Диаграмма SADT. [Электронный ресурс] URL: http://orsv.narod.ru/SADT/SADT.htm (дата обращения 20.11.2015).2.Барсегян,А.А.Методыимоделианализаданных:OLAPиDataMining/А.А.Барсегян.–СПб.:БХВПетербург,2009.–336с.
3.Спирли,Э.Корпоративныехранилищаданных.Планирование,разработкаиреализация./Э.Спирли. –СПб.:Вильямс,2001.–Т.1.–400с.4.Копелиович,Д.И.АвтоматизированнаясистемамониторингауспеваемостистудентовуниверситетасприменениемтехнологииOLAP/Д.И.Копелиович//ПроблемыиперспективыразвитияобразованиявРоссии:сборникматериаловXIМеждународнойнаучнопрактическойконференции.– Новосибирск:ИздательствоНГТУ,2011.–С.152156.5.Haertzen, D.ETL Tools.The Analytical Puzzle: Profitable Data Warehousing, Business Intelligence and Analytics./ D. Haertzen.—Technics Publications, 2012. —346 p. 6.Драгуновская,О.И.Использованиеавтоматизированнойсистемымониторингастудентовкакфакторулучшенияпроцессаобразования/О.И.Драгуновская,В.О.Журин//МатериалыХXIМолодежноймеждународнойнаучнопрактическойконференции«ИнтеллектуальныйпотенциалXXIвека:ступенипознания».–Новосибирск:ИздвоЦРНС,2014.–С.102105.7.Копелиович,Д.И.Интегрированнаяплатформадлясозданияинформационноаналитическихсистеммониторингаисистемподдержкипринятиярешений/Д.И.Копелиович,О.И.Драгуновская,В.О.Журин//Материалымеждународнойнаучнопрактическойконференции"МихаилоАрхангельскиечтения".–Рыбница,2014.– С.353355.8.Копелиович,Д.И.Анализданныхостудентахдляпроведенияпрофориентационнойработысредишкольников/Д.И.Копелиович,О.И.Драгуновская//ФормированиеинформационногообществокакфакторинновационногоразвитияэкономикиРФ:МатериалыМеждународнойнаучнопрактическойконференции.–Брянск:Курсив,2013.–С.338341.9.Драгуновская,О.И.Использованиеавтоматизированнойсистемымониторингадеятельностистудентовдлявыявленияличностныхкачеств,отличающихлюдей,склонныхкработевITсфере/О.И.Драгуновская, В.О.Журин//МатериалыМеждународнойстуденческойнаучнопрактическойконференции«Юностьнауки–2014».–Чернигов:ЧГИЭУ,2014.–С.140141.
