Оценка эффективности системы менеджмента качества ВУЗа.
ART 53339
Р.
О. НазаровБиблиографическое описание статьи для цитирования:
Назаров
Р.
О.,
Семенов
В.
П.,
Виноградов
Л.
В. Оценка эффективности системы менеджмента качества ВУЗа. // Научно-методический электронный журнал «Концепт». –
2013. – Т. 3. – С.
1681–1685. – URL:
http://e-koncept.ru/2013/53339.htm.
Аннотация. В статье приведен краткий обзор и анализ существующих проблем современного подхода к многофакторному анализу эффективности систем менеджмента качества ВУЗов. Приведен перечень рекомендаций по обработке
результатов экспертизы с позиций теории проекционных методов, а так же имитационного математического моделирования, позволяющих уменьшить количество критериев для оценки, а так же обеспечить адекватность получаемых результатов при работе с объектами нечисловой природы, являющимися значимыми показателями «Субкритериями».
Ключевые слова:
эффективность вузов, оптимизация количества параметров, проекционные методы, объекты нечисловой природы, метод главных компонент, коэффициент «конкордации», критерии для оценки эффективности
Текст статьи
1УДК 336.645Семенов Виктор Павловичд.э.н., профессор, СанктПетербургский государственный экономический университет, город СанктПетербургEmail: viktor.semenov@engec.ru
Виноградов Леонид Викторович
к.т.н., доцент, СанктПетербургский государственный экономический университет, город СанктПетербургEmail: leonid.vinogradov@engec.ru
Назаров Роман Олеговичаспирант, СанктПетербургский государственный экономический университет, город СанктПетербургEmail: romannazarov@me.com
ОЦЕНКА ЭФФЕКТИВНОСТИСИСТЕМЫ МЕНЕДЖМЕНТА КАЧЕСТВА ВУЗА
В статье приведен краткий обзор и анализ существующих проблем современного подходак многофакторному анализу эффективности систем менеджмента качества ВУЗов. Приведен перечень рекомендаций по обработке результатов экспертизы с позиций теории проекционных методов, а так же имитационного математического моделирования, позволяющих уменьшитьколичествокритериев для оценки, а так же обеспечить адекватность получаемых результатов при работе с объектами нечисловой природы, являющимися значимымипоказателями Субкритериямиª.Ключевые слова:Эффективность ВУЗов, оптимизацияколичествапараметров, проекционныеметоды, объекты нечисловой природы, метод главных компонент, коэффициент Конкордацииª, критерии для оценки эффективности.
Как показали недавние бурные обсуждения результатов эффективности деятельности вузов представленные Минобрнауки многиеиз используемых критериевнуждаются в доработке, так как не всегда отражают действительное положение дел, т.е. принятая в данном случае модель СМК не является отражением адекватной действительности. Кроме того, вызывает сомнение правильность математических процедур по которым производится сама сравнительная оценка.Под моделью системы менеджмента качества вуза обычно понимается совокупность критериев и составляющих ихподкритериев, характеризующих основныепроцессы деятельности вуза, направленные на достижение требуемых результатов по качеству.В настоящее время в России [1], для оценки СМК, общепринятой является методика оценки результативностидеятельности образовательной организации, основанная на том, что качество образования есть результат достижения необходимой величины пяти критериев:1.Трудоустройство выпускников;2.Знания, умения и навыки студентов;3.Удовлетворенность работодателей;4.Удовлетворенность студентов;5.Удовлетворенность персонала.Очевидна трудность,а в ряде случаев, невозможность количественной оценки ряда критериев.Поэтому, в настоящее время предлагается весьма сложная и сугубо субъективная процедураперевода качественных значений параметров, 2подкритериев [2] и критериев в количественные(баллы). Делается это с помощьюцелого набора переводных квалиметрических шкал, а затем,путем линейной свертки критериевс использованием весовых коэффициентов,и,наконец,получение численного значения субкритерия по которомупроизводится оценка эффективности деятельности вуза.Но, как показывают исследования в области статистики объектов нечисловой природы [3], описанные выше методы некорректны, так как бальные ранжировкиотносят к объектам нечисловой природы, аследовательно они должны описываться с подходов репрезентативной теории измерений, базирующейся на принципах теории нечетких множеств, которая запрещает производить алгебраические действияс объектами нечисловой природы.Пренебрежение этими правилами приводит к значительным погрешностям и может свести на нет результаты кропотливой работы группы экспертов, анализировавшихдеятельность СМК вуза.Поэтому для получения объективного ответана вопрос о динамике развития вуза или сравнения эффективности деятельности нескольких вузов, необходимо воспользоваться методами многокритериальной оценки.Данные методы применительно к оценке деятельности СМК предприятий были разработаны нами и изложены, и,составляют один из этапов общей методики построения и исследования оптимальных систем менеджмента качества (Рисунок 1)[4,5].В основеэтой методики лежит использование принципа системного анализа сложных систем и главного его инструмента имитационного математического моделирования. Использование данной методики позволяет не только произвести адекватный выбор наилучшего варианта СМК, но и получить наилучшее сочетаниевходных параметров,обеспечивающее наивысшую эффективность системы.В соответствии с вышеупомянутой методикой, обработку результатов оценки критериев начинают путем согласования кластерных ранжировок полученных критериев.При этомпротиворечия переводятсяв специальным образом построенные кластеры, гдеполученное упорядочение кластеров соответствует одновременно всем исходным упорядочениям. После этого определяют медиану рангов, для чегонеобходимо взять все ранги, соответствующие каждому элементу, и расположить их в порядке неубывания, азатем вычислить среднее арифметическое центральных членов вариационного ряда.Вычисление медианы Кемени, наиболее достоверным методом,позволит с помощью многокритериальной оценки (по пяти критериям сразу), найти самый эффективный период деятельности СМК вуза или выбрать вуз с лучшей СМК.Медиана Кемени определяет ранжировку, которая находится на наименьшем расстоянии от объективногомнения:,где
расстояние Кемени, s
количество сравниваемых объектов.Элементы удовлетворяют условию:, если и,, если
3Для расчета медианы Кемени разработана программная среда в приложении MicrosoftOfficeExcel2007. Программа рассчитана на максимальное количество объектов равное 10.Как показал опыт использования разработанной методики создания оптимальных СМК [5], уже при наличии более десяти исследуемых параметров имеют место значительные математические трудности решения подобных задач, обусловленные еще и латентностью многочисленных переменныхисследуемых СМК вузов.Значительно снизить количество параметров модели оптимальной СМК (иногда до двух порядков) можно используя методы проекционного подхода математического анализа, и, в частности, метода главных компонент [6] разработанный Пирсоном в начале 20 века.Так, в случае двух переменных, главные компоненты находятся в два этапа:1.Сначала переносим нулевую точку координат в середину зоны рассеяния данных;2.После этого производим вращение системы координат до получения минимального рассеивания данных по одной из координат. (Рисунок 2).Например,перенесли начало отсчета в центр и построили диаграмму рассеяния по двум параметрам x1и x2. Новые параметры y1и y2выбираются так, чтобы сумма квадратов расстояний до новой оси y1была минимальной, а вторая ось выбирается перпендикулярно первой.Данные вдоль оси y1имеют максимальную дисперсию. Значительной потери информации при таком повороте координат не происходит. Тем не менее y1является самой информативной осью. В случае если между x1и x2существует строго линейная зависимость, то y1будет содержать всю информацию и вторая ось будет не нужна. Значит можно будет сократить размерность данных от двух до одной.
4
Рисунок 1.Общая схема методики построения и анализа оптимальных СМК.
Рисунок2. Метод главных компонент.
Для реализации на практике метода PCA используется специальная надстройка для программы Excel (AddIn) Chemometrics.xlaª. Она включается в список стандартных функций Excel и позволяет проводить PCA разложение на листах рабочей книги[7].1. Формулировка целейразработки системы обеспечения качества и выбор критериев ее характеризующих
2.Определение перечня параметров обеспечения качества данной ПС и накладываемых на них ограничений 4. Математическое моделирование ПС и ее элементов 3. Построение функциональных структур ПС и ее элементов 5. Оптимизационное исследование параметров системы обеспечения качества ПС на основании выбранных критериев6. Неформализованный анализполученных результатов7. Принятие решений о управленческих, технических и технологических действиях для улучшениякачества функционирования данной ПСХ1Х2Х1Х2У2У1
5В качестве примера рассмотрим задачу о построении итогового рейтинга пяти вузов, которые обозначим как Х1,Х2,Х3,Х4,Х5.Они оцениваются по 5 критериям: Р1,Р2,Р3,Р4,Р5.
Результаты рейтингов вузов по каждому из параметров :
Рост рейтинга по каждому вузу снизу вверх.Для определения медианы Кемени находим матрицупотерь, которая для данного случая:
Проводя последовательные итерации [5] получили на основе расчетов медианы Кемени следующий ранжированный ряд:Х4�Х1�Х2�Х5�Х3Применения же общепринятого для подобного случая метода подсчета суммы рангов дает такой ранжированный ряд:Х4�Х2�Х1�Х5�Х3Причем коэффициент конкордации для данного случая W 0,25, что говорит о том,что в этом случае [3]вообще нельзя использовать данные экспертизы.Описанныевыше методы, значительно повышают достоверность оценкиэффективности СМК вуза за счет применения прогрессивного метода многокритериальной оценки и снижения (иногда на порядок) количества учитываемых параметров модели вуза.
Литература1.Степанов С.А. Модель и критерии эффективности внутривузовской системыменеджмента качества // Качество, инновации, образование. 2004. №1. С.30 37.2.Левшина В.В., Шимохина В.В. Оценка результативности системы менеджмента качества образовательной организации // Проблемы современной экономики. 2007.№23. С.18 24.
3.Орлов А. И. Нечисловая статистика. М.:Пресс. М.: 2004, С. 427.4.Л.В. Виноградов .В.П. Семенов . Средства и методы управления качеством. Учебное пособие .СПб.: СПбГИЭУ, 2010.5.Л.В. Виноградов, В.П. Семенов, В.С. Бурылов.Экономикоматематические методы вуправлении качеством.Монография .СПб.: СПбГИЭУ, 2011.6.Померанцев А.Л., Родионова О.Е. Многомерный статистическийконтроль процессов. Методы менеджмента качества, №6 , 2002 г., с.15…22.7.Померанцев А.Л., Родионова О.Е.Проекционные методы в системе ЕХСЕL. Российское хемометрическое общество,2008.
6Semenov Viktor Pavlovichdoctor of Economic Science, professor, St. Petersburg State University of Economic, SaintPetersburg CityVinogradov Leonid Viktorovichcandidate of Engineering Science, docent, St. Petersburg State University of Economic, SaintPetersburg CityNazarov Roman Olegovichpost graduated student, St. Petersburg State University of Economic, SaintPetersburg City
EVALUATIONOFQUALITY MANAGEMENTHIGHER EDUCATION INSTITUTION
In article the short review and the analysis of existing problems of modern approach is provided to the multiplefactor analysis of efficiency of systems of quality management of HIGHER EDUCATION INSTITUTIONS. The list of recommendations about processing of results of examination from positions of the theory of projective methods, and as the imitating mathematical modeling, allowing to reduce quantity of criteria for an assessment and as to provide adequacy of received results during the work with the objects of the nonnumerical nature being significant indicators of "Sub сriteria" is provided.Keywords: Efficiency of HIGHER EDUCATION INSTITUTIONS, optimization of number of parameters, projective methods, objects of the nonnumerical nature, method main a component, konkordationª coefficient, criteria for an efficiency assessment.
Виноградов Леонид Викторович
к.т.н., доцент, СанктПетербургский государственный экономический университет, город СанктПетербургEmail: leonid.vinogradov@engec.ru
Назаров Роман Олеговичаспирант, СанктПетербургский государственный экономический университет, город СанктПетербургEmail: romannazarov@me.com
ОЦЕНКА ЭФФЕКТИВНОСТИСИСТЕМЫ МЕНЕДЖМЕНТА КАЧЕСТВА ВУЗА
В статье приведен краткий обзор и анализ существующих проблем современного подходак многофакторному анализу эффективности систем менеджмента качества ВУЗов. Приведен перечень рекомендаций по обработке результатов экспертизы с позиций теории проекционных методов, а так же имитационного математического моделирования, позволяющих уменьшитьколичествокритериев для оценки, а так же обеспечить адекватность получаемых результатов при работе с объектами нечисловой природы, являющимися значимымипоказателями Субкритериямиª.Ключевые слова:Эффективность ВУЗов, оптимизацияколичествапараметров, проекционныеметоды, объекты нечисловой природы, метод главных компонент, коэффициент Конкордацииª, критерии для оценки эффективности.
Как показали недавние бурные обсуждения результатов эффективности деятельности вузов представленные Минобрнауки многиеиз используемых критериевнуждаются в доработке, так как не всегда отражают действительное положение дел, т.е. принятая в данном случае модель СМК не является отражением адекватной действительности. Кроме того, вызывает сомнение правильность математических процедур по которым производится сама сравнительная оценка.Под моделью системы менеджмента качества вуза обычно понимается совокупность критериев и составляющих ихподкритериев, характеризующих основныепроцессы деятельности вуза, направленные на достижение требуемых результатов по качеству.В настоящее время в России [1], для оценки СМК, общепринятой является методика оценки результативностидеятельности образовательной организации, основанная на том, что качество образования есть результат достижения необходимой величины пяти критериев:1.Трудоустройство выпускников;2.Знания, умения и навыки студентов;3.Удовлетворенность работодателей;4.Удовлетворенность студентов;5.Удовлетворенность персонала.Очевидна трудность,а в ряде случаев, невозможность количественной оценки ряда критериев.Поэтому, в настоящее время предлагается весьма сложная и сугубо субъективная процедураперевода качественных значений параметров, 2подкритериев [2] и критериев в количественные(баллы). Делается это с помощьюцелого набора переводных квалиметрических шкал, а затем,путем линейной свертки критериевс использованием весовых коэффициентов,и,наконец,получение численного значения субкритерия по которомупроизводится оценка эффективности деятельности вуза.Но, как показывают исследования в области статистики объектов нечисловой природы [3], описанные выше методы некорректны, так как бальные ранжировкиотносят к объектам нечисловой природы, аследовательно они должны описываться с подходов репрезентативной теории измерений, базирующейся на принципах теории нечетких множеств, которая запрещает производить алгебраические действияс объектами нечисловой природы.Пренебрежение этими правилами приводит к значительным погрешностям и может свести на нет результаты кропотливой работы группы экспертов, анализировавшихдеятельность СМК вуза.Поэтому для получения объективного ответана вопрос о динамике развития вуза или сравнения эффективности деятельности нескольких вузов, необходимо воспользоваться методами многокритериальной оценки.Данные методы применительно к оценке деятельности СМК предприятий были разработаны нами и изложены, и,составляют один из этапов общей методики построения и исследования оптимальных систем менеджмента качества (Рисунок 1)[4,5].В основеэтой методики лежит использование принципа системного анализа сложных систем и главного его инструмента имитационного математического моделирования. Использование данной методики позволяет не только произвести адекватный выбор наилучшего варианта СМК, но и получить наилучшее сочетаниевходных параметров,обеспечивающее наивысшую эффективность системы.В соответствии с вышеупомянутой методикой, обработку результатов оценки критериев начинают путем согласования кластерных ранжировок полученных критериев.При этомпротиворечия переводятсяв специальным образом построенные кластеры, гдеполученное упорядочение кластеров соответствует одновременно всем исходным упорядочениям. После этого определяют медиану рангов, для чегонеобходимо взять все ранги, соответствующие каждому элементу, и расположить их в порядке неубывания, азатем вычислить среднее арифметическое центральных членов вариационного ряда.Вычисление медианы Кемени, наиболее достоверным методом,позволит с помощью многокритериальной оценки (по пяти критериям сразу), найти самый эффективный период деятельности СМК вуза или выбрать вуз с лучшей СМК.Медиана Кемени определяет ранжировку, которая находится на наименьшем расстоянии от объективногомнения:,где
расстояние Кемени, s
количество сравниваемых объектов.Элементы удовлетворяют условию:, если и,, если
3Для расчета медианы Кемени разработана программная среда в приложении MicrosoftOfficeExcel2007. Программа рассчитана на максимальное количество объектов равное 10.Как показал опыт использования разработанной методики создания оптимальных СМК [5], уже при наличии более десяти исследуемых параметров имеют место значительные математические трудности решения подобных задач, обусловленные еще и латентностью многочисленных переменныхисследуемых СМК вузов.Значительно снизить количество параметров модели оптимальной СМК (иногда до двух порядков) можно используя методы проекционного подхода математического анализа, и, в частности, метода главных компонент [6] разработанный Пирсоном в начале 20 века.Так, в случае двух переменных, главные компоненты находятся в два этапа:1.Сначала переносим нулевую точку координат в середину зоны рассеяния данных;2.После этого производим вращение системы координат до получения минимального рассеивания данных по одной из координат. (Рисунок 2).Например,перенесли начало отсчета в центр и построили диаграмму рассеяния по двум параметрам x1и x2. Новые параметры y1и y2выбираются так, чтобы сумма квадратов расстояний до новой оси y1была минимальной, а вторая ось выбирается перпендикулярно первой.Данные вдоль оси y1имеют максимальную дисперсию. Значительной потери информации при таком повороте координат не происходит. Тем не менее y1является самой информативной осью. В случае если между x1и x2существует строго линейная зависимость, то y1будет содержать всю информацию и вторая ось будет не нужна. Значит можно будет сократить размерность данных от двух до одной.
4
Рисунок 1.Общая схема методики построения и анализа оптимальных СМК.
Рисунок2. Метод главных компонент.
Для реализации на практике метода PCA используется специальная надстройка для программы Excel (AddIn) Chemometrics.xlaª. Она включается в список стандартных функций Excel и позволяет проводить PCA разложение на листах рабочей книги[7].1. Формулировка целейразработки системы обеспечения качества и выбор критериев ее характеризующих
2.Определение перечня параметров обеспечения качества данной ПС и накладываемых на них ограничений 4. Математическое моделирование ПС и ее элементов 3. Построение функциональных структур ПС и ее элементов 5. Оптимизационное исследование параметров системы обеспечения качества ПС на основании выбранных критериев6. Неформализованный анализполученных результатов7. Принятие решений о управленческих, технических и технологических действиях для улучшениякачества функционирования данной ПСХ1Х2Х1Х2У2У1
5В качестве примера рассмотрим задачу о построении итогового рейтинга пяти вузов, которые обозначим как Х1,Х2,Х3,Х4,Х5.Они оцениваются по 5 критериям: Р1,Р2,Р3,Р4,Р5.
Результаты рейтингов вузов по каждому из параметров :
Рост рейтинга по каждому вузу снизу вверх.Для определения медианы Кемени находим матрицупотерь, которая для данного случая:
Проводя последовательные итерации [5] получили на основе расчетов медианы Кемени следующий ранжированный ряд:Х4�Х1�Х2�Х5�Х3Применения же общепринятого для подобного случая метода подсчета суммы рангов дает такой ранжированный ряд:Х4�Х2�Х1�Х5�Х3Причем коэффициент конкордации для данного случая W 0,25, что говорит о том,что в этом случае [3]вообще нельзя использовать данные экспертизы.Описанныевыше методы, значительно повышают достоверность оценкиэффективности СМК вуза за счет применения прогрессивного метода многокритериальной оценки и снижения (иногда на порядок) количества учитываемых параметров модели вуза.
Литература1.Степанов С.А. Модель и критерии эффективности внутривузовской системыменеджмента качества // Качество, инновации, образование. 2004. №1. С.30 37.2.Левшина В.В., Шимохина В.В. Оценка результативности системы менеджмента качества образовательной организации // Проблемы современной экономики. 2007.№23. С.18 24.
3.Орлов А. И. Нечисловая статистика. М.:Пресс. М.: 2004, С. 427.4.Л.В. Виноградов .В.П. Семенов . Средства и методы управления качеством. Учебное пособие .СПб.: СПбГИЭУ, 2010.5.Л.В. Виноградов, В.П. Семенов, В.С. Бурылов.Экономикоматематические методы вуправлении качеством.Монография .СПб.: СПбГИЭУ, 2011.6.Померанцев А.Л., Родионова О.Е. Многомерный статистическийконтроль процессов. Методы менеджмента качества, №6 , 2002 г., с.15…22.7.Померанцев А.Л., Родионова О.Е.Проекционные методы в системе ЕХСЕL. Российское хемометрическое общество,2008.
6Semenov Viktor Pavlovichdoctor of Economic Science, professor, St. Petersburg State University of Economic, SaintPetersburg CityVinogradov Leonid Viktorovichcandidate of Engineering Science, docent, St. Petersburg State University of Economic, SaintPetersburg CityNazarov Roman Olegovichpost graduated student, St. Petersburg State University of Economic, SaintPetersburg City
EVALUATIONOFQUALITY MANAGEMENTHIGHER EDUCATION INSTITUTION
In article the short review and the analysis of existing problems of modern approach is provided to the multiplefactor analysis of efficiency of systems of quality management of HIGHER EDUCATION INSTITUTIONS. The list of recommendations about processing of results of examination from positions of the theory of projective methods, and as the imitating mathematical modeling, allowing to reduce quantity of criteria for an assessment and as to provide adequacy of received results during the work with the objects of the nonnumerical nature being significant indicators of "Sub сriteria" is provided.Keywords: Efficiency of HIGHER EDUCATION INSTITUTIONS, optimization of number of parameters, projective methods, objects of the nonnumerical nature, method main a component, konkordationª coefficient, criteria for an efficiency assessment.
