Байесовские оценки доли признака на основе данных альтернативного контроля
Международная
публикация
С.
В. ЮдинБиблиографическое описание статьи для цитирования:
Юдин
С.
В.,
Юдин
А.
С. Байесовские оценки доли признака на основе данных альтернативного контроля // Научно-методический электронный журнал «Концепт». –
2014. – Т. 20. – С.
526–530. – URL:
http://e-koncept.ru/2014/54369.htm.
Аннотация. Статья посвящена некоторым вопросам оценки доли признака в генеральной совокупности на основе альтернативных данных или частному случаю дискриминантного анализа. Решение данной задачи позволяет разбить множество объектов на две группы в соответствии с оценкой доли признака. Предложенный метод, разработанный на основе байесовского подхода, позволяет повысить точность и надежность разделения множества объектов, что имеет большое значение при экономических и социологических исследованиях.
Текст статьи
ЮдинСергей Владимирович,доктор технических наук, профессор, ФГБОУ ВПО Российский экономический университет им. Г.В. Плеханова», Тульский филиал, г. Тулаsvjudin@rambler.ru
Юдин Александр Сергеевич,кандидат технических наук, доцент, ФГБОУ ВПО Российский экономический университет им. Г.В. Плеханова», Тульский филиал, г. Тулаalextula78@rambler.ru
Байесовские оценки доли признака на основе данных альтернативного контроля
Аннотация. Статья посвящена некоторым вопросам оценки доли признака в генеральной совокупности на основе альтернативных данныхили частному случаю дискриминантного анализа. Решение данной задачи позволяет разбить множество объектов на две группы в соответствии с оценкой доли признака. Предложенный метод, разработанный на основе байесовского подхода, позволяет повысить точность и надежность разделения множества объектов, что имеет большое значение при экономических и социологических исследованиях.Ключевые слова:байесовские оценки, дискриминантный анализ, доверительные интервалы.
С 17 века начала свое триумфальное шествие такая ветвь математики, как теория вероятностей. Как следует из названия, основная задача, которую она решает –исчисление вероятностей. Изначально она применялась для оценки шансов на выигрыш в азартных играх, однако вскоре область ее применения неизмеримо расширилась.Впервые методы теории вероятностей и математической статистики в приложении к вопросам промышленного производства применил выдающийся русский математик М.В.Остроградский, который еще в 1846 году указывал на возможность применения выборочного метода при контроле качества готовой продукции [1]. Одними из первых исследовали возможность применения математической статистики и теории вероятностей для анализа причин изменчивости величин русские ученые П.А.Чебышев, А.А.Марков, А.М.Ляпунов см. обзор в[2]).Широкое применение нашли теория вероятностей и математическая статистика в экономических исследованиях. Существенным толчком явилось развитие статистической теории в трудах Ф. Гальтона 18221911, К. Пирсона 18571936, Ф. Эджворта (18451926. Появились первые применения парной корреляции: при изучении связей между уровнем бедности и формами помощи бедным Дж. Э. Юл, 18951896; между уровнем брачности в Великобритании и благосостоянием Г. Хукер 1901, в котором использовалось несколько индикаторов благосостояния, исследовались временные ряды экономических переменных см. обзор в[3, 4]).Начиная с первой трети 20го века,теория вероятностей и математическая статистика стали основой для первичной обработки данных, построения и анализа моделей сложных экономических, социальных, технических процессов. Вместе с тем следует указать, что многие задачи еще не полностью решены.Управление экономическими и социальными процессами является важнейшей задачей, сложность которой настолько велика, что мы вынуждены прибегать к упрощению связей. Любой процесс управления базируется на реализации следующих элементов: 1 получение информации о состоянии объекта путем измерения выходной переменной и определение задание требований, предъявляемых к ее значениям; 2 разработка информации о состоянии объекта; 3 принятие решений об изменении состояния объекта и выработка закона управления; 4 отработка исполнительными органами воздействия на объект в соответствии с выбранным законом управления.Авторышироко применялиметоды математической статистики при изучении задач контроля качества см., например, [2, 5]). Соответствующие методы альтернативного приемочного контроля с некоторыми с некоторыми изменениями и дополнениями возможно использовать и в изучении экономических и социальных процессов.Эта задача относится к задачам дискриминантного анализа.Задача оценки доли признакаявляется одной изважнейших в анализе состояния процессов. Для ее решения существует множество различных подходов, некоторые из которых описаныв[2, 6], которые основаны на использовании гипергеометрическогораспределения числа объектов, отнесенных к нужной группе, ввыборке.Все они не учитывают столь важную информацию, как законраспределения исследуемого фактора, что не позволяет сдостаточной степенью точности оценить входнойуровеньдоли признака, т.е. долю объектов,отнесенных к требуемой группе,имеющихся в исследуемойгенеральной совокупности. Более того, нет ни одного надежного метода оценки доверительного интервала этой доли. Практически все методы дают только точечные оценки.Отличие предлагаемого метода прогнозирования доли признака по результатам исследованиязаключается в использовании априорных законов распределения контролируемых параметров.Предположим, что доля признакараспределена по закону Гаусса с функцией плотности
Здесь и далее MX
математическое ожидание случайной величины X. Для удобства изложения в дальнейшем будем рассматривать нормированную случайную величину Xс математическим ожиданием MX=0 и дисперсией DX=1. Это всегда можно сделать преобразованием
Считаем, что диапазон измененияпараметра от предполагаемого ограниченинтервалом [x1, x2]. Тогда пристационарном процессе вероятностьпопадания в этот диапазон равна
,
где q
вероятность того, что объект принадлежит группе.В момент проведения контроля с помощью выборки конечногообъемаn выборочные среднее и дисперсия S2 будут отличатьсяот математического ожидания МХи дисперсии DX. Отклонения оценок от указанных параметров могут существенно отразиться нарезультатах контроля. Примем следующее допущение: в процессе производства возможна лишь однопараметрическая флуктуация, т.е. флуктуируетлибо среднее либо среднее квадратическое отклонение S. Такое допущение вполне приемлемо для стационарных процессов.Известно [7], если генеральная совокупность распределена по нормальному закону, то выборочные средние также распределены по закону Гаусса с функцией плотности
В свою очередь выборочнаядисперсия будет иметь распределение Пирсона
Это распределение определяется выражением
, где гаммафункция.Предположим, что в результате контроля в выборке объемаn
обнаружено d объектов, принадлежащих группе. Это событие обозначим как.Определим вероятность этого события при условии состояния процесса на предполагаемом уровне:
(1)
Поскольку было принято допущение о возможности флуктуацийстатистических оценок, то это, в свою очередь, приведет к изменению величины qв пределах от qi1до qi. Если ,то применяя линейную интерполяцию к формуле 1), получим
,
где.Разобьем область определения доли признака на kинтервалов
таким образом, что
Обозначим через Aiсобытие, заключающееся в том, что. Зная априорную вероятность событий Ai, можно найти априорные вероятности событий :
где .Применяя формулу Байеса, определим апостериорные вероятности событий Ai:
(2)
Формула 2 позволяет оценить вероятность нахожденияпроцесса на любом уровне в зависимости от результатов контроля,но для этого необходимо предварительно оценить вероятности .Рассмотрим случай, когда функция распределения f(x)зависит от флуктуации . Колебания приведут к тому, что величина qбудет также изменяться в некоторых пределах. Найдем зависимость, связывающую вероятность с флуктуациями .Поскольку функция плотности вероятностей нормального распределения является симметричной, то и при вероятность . Следовательно,
Вводя новую переменную , получаем
, где
Устремим количество интервалов разбиения области определения долипризнакак бесконечности. Обозначим через dAi событие, заключающееся в том, что q[qi; qi+dq]. Тогда вероятность события dAi равна
Переходя к пределу, получим оценкуапостериорнойвероятности: (3)Выражение 3 является апостериорнойфункцией плотностивероятности для входнойвероятности признака, а ее функциейраспределения является следующая величина: (4)
Выражения 3 и 4 дают возможность определить среднийвходной уровень дефектности и доверительный интервал для любой заданной доверительной вероятности α: (5)Для решения полученной системы уравнений (5) были составлены программы на языке программирования ФОРТРАН и системе численного и аналитического решения математических задач MathCad. Результаты расчетов одного из вариантов расчетовпредставлены в табл.1 и на рис. 1.Таблица 1Прогноз доли признака объектовпорезультатам текущего контроляДоверительный уровень:0.0500; объем выборки: 100
Рис. 1. Прогноз доли признака объектов по результатам текущего контроля:1 –верхняя граница доверительного интервала доли признака в группе;2 –средняя доля признака в группе;3 –нижняя граница доверительного интервала доли признака
Колво объектов спризнакомСредняя доляпризнака в группеМинимальная доля признака в группеМаксимальная доля признака в группе10,010,0030,03420,0180,0030,04930,0270,0050,06540,0360,010,07950,0460,0150,09260,0550,020,10670,0680,0260,11980,0790,0330,1390,0860,040,14100,0940,0450,155110,1020,050,17120,1110,0540,184130,1250,0610,206140,1340,0640,227150,1410,0690,242Таким образом,получены расчетные оценки доверительного интервала входного значения доли признака с учетом априорного распределенияисследуемого фактора. Это дает возможность оперативно отслеживать изменение характеристик процесса и принимать управляющие решения с большей надежностью.Авторы полагают, что дальнейшее развитие предлагаемого подхода с использованием методов математической теории информации и теории энтропии позволит существенно повысить точность и надежность методов получения и анализа статистической информации, необходимой для управления экономическими и социальными процессами.
Ссылки на источники1. ОстроградскийМ.В. Sur une question des probabilities. Extrait. [По поводу одного вопроса о вероятностях. Извлечение]. Bull. de la Cl. phys.mth. de l’Ad. de . de St.Pbg., 1948, t. 6, № 2122, col. 321346. / Принято23 октября1846 г.2. Григорович В.Г., Юдин С.В., Козлова Н.О., Шильдин В.В. Информационные методы в управлении качеством. М.: РИА "Стандарты и качество", 2001. 208 с. Серия Дом качества”, вып. 1 10;3. Математические методы и информационные технологии обработки и использования экономической информации: Монография / Под. ред. С.В. Юдина –Тула: Издво ТулГУ, 2008. –477 с. –Илл.; 4. Юдин С.В., Юдин А.С. Информационностатистические методы решения эконометрических, социологических и психометрических задач: Монография. –Тула: Издво ТулГУ, 2010. –124 с.5. Юдин С.В., Юдин А.С. Статистика, информация, качество // Проблемы иопыт обеспечения качества в производстве и образовании / Научные труды. Международная научнопрактическая конференция. Тула, 1517 февраля 2001 г. Тула, ТулГУ, 2001. С. 126131/6. Лумельский Л.П. Статистическиеоценки результатов контроля качества / П.Л. Лумельский М.: Издво стандартов, 1979. 200 с.7. Крамер Г. Математическиеметоды статистики / Г. Крамер М.: Мир,1975. 648 с.
Sergey Iudin,Doctor of Technical Sciences, Professor, TheTula Branch of the Plekhanov Russian University of EconomicsAlexandre Iudin,Candidate of Technical Sciences, Associate Professor, The Tula Branch of the Plekhanov Russian University of EconomicsBayes' estimations of a share of an indication on the basis of the data of alternative controlAbstract. The paper is devoted some problems of an estimation of a share of an indication in a universe on the basis of the alternative data or to a discriminant analysis special case. The solution of the given problem allows to divide set of plants on two groups according to an estimation of a share of an indication. The offered method develoed on the fundmentl Bye’ roh, llow to rie extitude nd relibility of separation of set of plants that is of great importance at economic and social researches.Keywords: Bye’ etimtion, diriminnt nlyi, onfidene intervl.
Юдин Александр Сергеевич,кандидат технических наук, доцент, ФГБОУ ВПО Российский экономический университет им. Г.В. Плеханова», Тульский филиал, г. Тулаalextula78@rambler.ru
Байесовские оценки доли признака на основе данных альтернативного контроля
Аннотация. Статья посвящена некоторым вопросам оценки доли признака в генеральной совокупности на основе альтернативных данныхили частному случаю дискриминантного анализа. Решение данной задачи позволяет разбить множество объектов на две группы в соответствии с оценкой доли признака. Предложенный метод, разработанный на основе байесовского подхода, позволяет повысить точность и надежность разделения множества объектов, что имеет большое значение при экономических и социологических исследованиях.Ключевые слова:байесовские оценки, дискриминантный анализ, доверительные интервалы.
С 17 века начала свое триумфальное шествие такая ветвь математики, как теория вероятностей. Как следует из названия, основная задача, которую она решает –исчисление вероятностей. Изначально она применялась для оценки шансов на выигрыш в азартных играх, однако вскоре область ее применения неизмеримо расширилась.Впервые методы теории вероятностей и математической статистики в приложении к вопросам промышленного производства применил выдающийся русский математик М.В.Остроградский, который еще в 1846 году указывал на возможность применения выборочного метода при контроле качества готовой продукции [1]. Одними из первых исследовали возможность применения математической статистики и теории вероятностей для анализа причин изменчивости величин русские ученые П.А.Чебышев, А.А.Марков, А.М.Ляпунов см. обзор в[2]).Широкое применение нашли теория вероятностей и математическая статистика в экономических исследованиях. Существенным толчком явилось развитие статистической теории в трудах Ф. Гальтона 18221911, К. Пирсона 18571936, Ф. Эджворта (18451926. Появились первые применения парной корреляции: при изучении связей между уровнем бедности и формами помощи бедным Дж. Э. Юл, 18951896; между уровнем брачности в Великобритании и благосостоянием Г. Хукер 1901, в котором использовалось несколько индикаторов благосостояния, исследовались временные ряды экономических переменных см. обзор в[3, 4]).Начиная с первой трети 20го века,теория вероятностей и математическая статистика стали основой для первичной обработки данных, построения и анализа моделей сложных экономических, социальных, технических процессов. Вместе с тем следует указать, что многие задачи еще не полностью решены.Управление экономическими и социальными процессами является важнейшей задачей, сложность которой настолько велика, что мы вынуждены прибегать к упрощению связей. Любой процесс управления базируется на реализации следующих элементов: 1 получение информации о состоянии объекта путем измерения выходной переменной и определение задание требований, предъявляемых к ее значениям; 2 разработка информации о состоянии объекта; 3 принятие решений об изменении состояния объекта и выработка закона управления; 4 отработка исполнительными органами воздействия на объект в соответствии с выбранным законом управления.Авторышироко применялиметоды математической статистики при изучении задач контроля качества см., например, [2, 5]). Соответствующие методы альтернативного приемочного контроля с некоторыми с некоторыми изменениями и дополнениями возможно использовать и в изучении экономических и социальных процессов.Эта задача относится к задачам дискриминантного анализа.Задача оценки доли признакаявляется одной изважнейших в анализе состояния процессов. Для ее решения существует множество различных подходов, некоторые из которых описаныв[2, 6], которые основаны на использовании гипергеометрическогораспределения числа объектов, отнесенных к нужной группе, ввыборке.Все они не учитывают столь важную информацию, как законраспределения исследуемого фактора, что не позволяет сдостаточной степенью точности оценить входнойуровеньдоли признака, т.е. долю объектов,отнесенных к требуемой группе,имеющихся в исследуемойгенеральной совокупности. Более того, нет ни одного надежного метода оценки доверительного интервала этой доли. Практически все методы дают только точечные оценки.Отличие предлагаемого метода прогнозирования доли признака по результатам исследованиязаключается в использовании априорных законов распределения контролируемых параметров.Предположим, что доля признакараспределена по закону Гаусса с функцией плотности
Здесь и далее MX
математическое ожидание случайной величины X. Для удобства изложения в дальнейшем будем рассматривать нормированную случайную величину Xс математическим ожиданием MX=0 и дисперсией DX=1. Это всегда можно сделать преобразованием
Считаем, что диапазон измененияпараметра от предполагаемого ограниченинтервалом [x1, x2]. Тогда пристационарном процессе вероятностьпопадания в этот диапазон равна
,
где q
вероятность того, что объект принадлежит группе.В момент проведения контроля с помощью выборки конечногообъемаn выборочные среднее и дисперсия S2 будут отличатьсяот математического ожидания МХи дисперсии DX. Отклонения оценок от указанных параметров могут существенно отразиться нарезультатах контроля. Примем следующее допущение: в процессе производства возможна лишь однопараметрическая флуктуация, т.е. флуктуируетлибо среднее либо среднее квадратическое отклонение S. Такое допущение вполне приемлемо для стационарных процессов.Известно [7], если генеральная совокупность распределена по нормальному закону, то выборочные средние также распределены по закону Гаусса с функцией плотности
В свою очередь выборочнаядисперсия будет иметь распределение Пирсона
Это распределение определяется выражением
, где гаммафункция.Предположим, что в результате контроля в выборке объемаn
обнаружено d объектов, принадлежащих группе. Это событие обозначим как.Определим вероятность этого события при условии состояния процесса на предполагаемом уровне:
(1)
Поскольку было принято допущение о возможности флуктуацийстатистических оценок, то это, в свою очередь, приведет к изменению величины qв пределах от qi1до qi. Если ,то применяя линейную интерполяцию к формуле 1), получим
,
где.Разобьем область определения доли признака на kинтервалов
таким образом, что
Обозначим через Aiсобытие, заключающееся в том, что. Зная априорную вероятность событий Ai, можно найти априорные вероятности событий :
где .Применяя формулу Байеса, определим апостериорные вероятности событий Ai:
(2)
Формула 2 позволяет оценить вероятность нахожденияпроцесса на любом уровне в зависимости от результатов контроля,но для этого необходимо предварительно оценить вероятности .Рассмотрим случай, когда функция распределения f(x)зависит от флуктуации . Колебания приведут к тому, что величина qбудет также изменяться в некоторых пределах. Найдем зависимость, связывающую вероятность с флуктуациями .Поскольку функция плотности вероятностей нормального распределения является симметричной, то и при вероятность . Следовательно,
Вводя новую переменную , получаем
, где
Устремим количество интервалов разбиения области определения долипризнакак бесконечности. Обозначим через dAi событие, заключающееся в том, что q[qi; qi+dq]. Тогда вероятность события dAi равна
Переходя к пределу, получим оценкуапостериорнойвероятности: (3)Выражение 3 является апостериорнойфункцией плотностивероятности для входнойвероятности признака, а ее функциейраспределения является следующая величина: (4)
Выражения 3 и 4 дают возможность определить среднийвходной уровень дефектности и доверительный интервал для любой заданной доверительной вероятности α: (5)Для решения полученной системы уравнений (5) были составлены программы на языке программирования ФОРТРАН и системе численного и аналитического решения математических задач MathCad. Результаты расчетов одного из вариантов расчетовпредставлены в табл.1 и на рис. 1.Таблица 1Прогноз доли признака объектовпорезультатам текущего контроляДоверительный уровень:0.0500; объем выборки: 100
Рис. 1. Прогноз доли признака объектов по результатам текущего контроля:1 –верхняя граница доверительного интервала доли признака в группе;2 –средняя доля признака в группе;3 –нижняя граница доверительного интервала доли признака
Колво объектов спризнакомСредняя доляпризнака в группеМинимальная доля признака в группеМаксимальная доля признака в группе10,010,0030,03420,0180,0030,04930,0270,0050,06540,0360,010,07950,0460,0150,09260,0550,020,10670,0680,0260,11980,0790,0330,1390,0860,040,14100,0940,0450,155110,1020,050,17120,1110,0540,184130,1250,0610,206140,1340,0640,227150,1410,0690,242Таким образом,получены расчетные оценки доверительного интервала входного значения доли признака с учетом априорного распределенияисследуемого фактора. Это дает возможность оперативно отслеживать изменение характеристик процесса и принимать управляющие решения с большей надежностью.Авторы полагают, что дальнейшее развитие предлагаемого подхода с использованием методов математической теории информации и теории энтропии позволит существенно повысить точность и надежность методов получения и анализа статистической информации, необходимой для управления экономическими и социальными процессами.
Ссылки на источники1. ОстроградскийМ.В. Sur une question des probabilities. Extrait. [По поводу одного вопроса о вероятностях. Извлечение]. Bull. de la Cl. phys.mth. de l’Ad. de . de St.Pbg., 1948, t. 6, № 2122, col. 321346. / Принято23 октября1846 г.2. Григорович В.Г., Юдин С.В., Козлова Н.О., Шильдин В.В. Информационные методы в управлении качеством. М.: РИА "Стандарты и качество", 2001. 208 с. Серия Дом качества”, вып. 1 10;3. Математические методы и информационные технологии обработки и использования экономической информации: Монография / Под. ред. С.В. Юдина –Тула: Издво ТулГУ, 2008. –477 с. –Илл.; 4. Юдин С.В., Юдин А.С. Информационностатистические методы решения эконометрических, социологических и психометрических задач: Монография. –Тула: Издво ТулГУ, 2010. –124 с.5. Юдин С.В., Юдин А.С. Статистика, информация, качество // Проблемы иопыт обеспечения качества в производстве и образовании / Научные труды. Международная научнопрактическая конференция. Тула, 1517 февраля 2001 г. Тула, ТулГУ, 2001. С. 126131/6. Лумельский Л.П. Статистическиеоценки результатов контроля качества / П.Л. Лумельский М.: Издво стандартов, 1979. 200 с.7. Крамер Г. Математическиеметоды статистики / Г. Крамер М.: Мир,1975. 648 с.
Sergey Iudin,Doctor of Technical Sciences, Professor, TheTula Branch of the Plekhanov Russian University of EconomicsAlexandre Iudin,Candidate of Technical Sciences, Associate Professor, The Tula Branch of the Plekhanov Russian University of EconomicsBayes' estimations of a share of an indication on the basis of the data of alternative controlAbstract. The paper is devoted some problems of an estimation of a share of an indication in a universe on the basis of the alternative data or to a discriminant analysis special case. The solution of the given problem allows to divide set of plants on two groups according to an estimation of a share of an indication. The offered method develoed on the fundmentl Bye’ roh, llow to rie extitude nd relibility of separation of set of plants that is of great importance at economic and social researches.Keywords: Bye’ etimtion, diriminnt nlyi, onfidene intervl.
