Тема 4. Использование многомерных статистических методов в задачах принятия решений 1 страница

При анализе и принятии решений в сфере социально-экономических явлений исследователь довольно часто сталкивается с многомерностью их описания. Это происходит при решении задачи сегментирования рынка, построении типологии стран по достаточно большому числу показателей, прогнозирования конъюнктуры рынка отдельных товаров, изучении и прогнозировании экономической депрессии и многих других проблем. Другими словами возникает задача анализа неоднородных в некотором смысле данных. Так, например, исследуя зависимость спроса от цены товара, взяв для исследования данные за 2002 и 2007 гг. получаем следующую зависимость: увеличение цены приводит к росту спроса на товар. Такая зависимость не соответствует реальным экономическим процессам. С чем связана полученная ошибка? Ответ состоит в том, что не учтены инфляционные процессы, произошедшие за этот период времени и, соответственно, повысившуюся цену на товар. В таких случаях, прежде, чем переходить к построению регрессионных моделей, необходимо выделить однородные группы объектов и уже внутри каждой группы строить регрессионные зависимости. В данном случае необходимо было рассматривать два уравнения, описывающих развитие процесса в 2002 и 2007 гг. раздельно. В таких случаях для анализа данных применяют методы многомерного анализа, как наиболее действенный инструмент для исследования социально-экономических процессов, описываемых большим количеством характеристик.

В задачах принятия решений широко используются различные многомерные статистические методы. В частности можно применять следующие методы;

· кластерный анализ используется для разбиения множества исходных объектов на некоторые классы и отнесения исследуемых объектов к одному из выделенных классов;

· с использованием дискриминантного анализа на основе обучающей выборки производится классификация объектов, затем исследуемый объект относится к какому классу;

· корреляционный анализ используется для определения взаимосвязи между несколькими показателями, характеризующими одинаковые объекты;

· факторный анализ используется для выделения факторов, оказывающих наибольшее влияние на исследуемые объекты.

Рассмотрим подробно некоторые статистические методы.

Кластерный анализ

Первое применение кластерный анализ нашел в социологии. Название кластерный анализ происходит от английского слова cluster – гроздь, скопление. Впервые в 1939 был определен предмет кластерного анализа и сделано его описание исследователем Трионом. Главное назначение кластерного анализа – разбиение множества исследуемых объектов и признаков на однородные в соответствующем понимании группы или кластеры. Это означает, что решается задача классификации данных и выявления соответствующей структуры в ней. Кластерный анализ в литературе также называют численной таксономией, численной классификацией, распознаванием образов с обучением.

Методы кластерного анализа можно применять в самых различных случаях, даже в тех случаях, когда речь идет о простой группировке, в которой все сводится к образованию групп по количественному сходству. Большое достоинство кластерного анализа в том, что он позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ в отличие от большинства математико-статистических методов не накладывает никаких ограничений на вид рассматриваемых объектов, и позволяет рассматривать множество исходных данных практически произвольной природы. Это имеет большое значение, например, для прогнозирования конъюнктуры, когда показатели имеют разнообразный вид, затрудняющий применение традиционных эконометрических подходов.

Задача кластерного анализа заключается в том, чтобы на основании данных, содержащихся во множестве Х, разбить множество объектов Q на m (m – целое) кластеров (подмножеств) Q₁, Q₂, …, Q_m, так, чтобы каждый объект принадлежал одному и только одному подмножеству разбиения и чтобы объекты, принадлежащие одному и тому же кластеру, были сходными, в то время, как объекты, принадлежащие разным кластерам были разнородными.

Например, пусть множество Q включает n стран, любая из которых характеризуется ВНП на душу населения (F₁), числом автомашин на 1 тысячу человек (F₂), потреблением электроэнергии (F₃), потреблением стали (F₄) и т.д. Тогда Х₁ (вектор измерений) представляет собой набор указанных характеристик для первой страны, Х₂ - для второй, Х₃ для третьей, и т.д. Задача заключается в том, чтобы разбить страны по уровню развития. Решением задачи кластерного анализа являются разбиения, удовлетворяющие некоторому критерию оптимальности.

Традиционно эта задача решается следующим образом. Из множества признаков, описывающих объект, отбирается один, наиболее информативный с точки зрения исследователя, и производится группировка в соответствии со значениями данного признака. Если требуется провести классификацию по нескольким признакам, ранжированным между собой по степени важности, то сначала производится классификация по первому признаку, затем каждый из полученных классов разбивается на подклассы по второму признаку и т.д. Подобным образом строится большинство комбинационных статистических группировок.

Полученные в результате разбиения группы обычно называются кластерами (таксонами, образами), методы их нахождения - кластер-анализом (соответственно численной таксономией или распознаванием образов с самообучением).

При этом необходимо с самого начала четко представить, какая из двух задач классификации подлежит решению. Если решается обычная задача типизации, то совокупность наблюдений разбивают на сравнительно небольшое число областей группирования (например, интервальный вариационный ряд в случае одномерных наблюдений) так, чтобы элементы одной такой области находились друг от друга по возможности на небольшом расстоянии.

Решение другой задачи заключается в определении естественного расслоения исходных наблюдений на четко выраженные кластеры, лежащие друг от друга на некотором расстоянии.

Если первая задача типизации всегда имеет решение, то при второй постановке может оказаться, что множество исходных наблюдений не обнаруживает естественного расслоения на кластеры, т.е. образует один кластер.

Обычной формой представления исходных данных в задачах кластерного анализа служит прямоугольная матрица X размером n*k.

каждая строка которой представляет результат измерений k рассматриваемых признаков на одном из n обследованных объектов. В конкретных ситуациях может представлять интерес как группировка объектов, так и группировка признаков. В тех случаях, когда разница между двумя этими задачами не существенна, например при описании некоторых алгоритмов, используют только термином “объект”, включая в это понятие и “признак”.

Матрица Х не является единственным способом представления данных в задачах кластерного анализа. Иногда исходная информация задана в виде квадратной матрицы R=(r_ij), i,j =1, 2,..., k, где элемент r_ij, который определяет степень близости i- го объекта к j -му.

Большинство алгоритмов кластерного анализа полностью исходит из матрицы расстояний (или близостей), либо требует вычисления отдельных ее элементов, поэтому если данные представлены в форме Х, то первым этапом решения задачи поиска кластеров будет выбор способа вычисления расстояний, или близости, между объектами или признаками.

Относительно проще решается вопрос об определении близости между признаками. Как правило, кластерный анализ признаков преследует те же цели, что и факторный анализ - выделение групп связанных между собой признаков, отражающих определенную сторону изучаемых объектов. Мерами близости в этом случае служат различные статистические коэффициенты связи.

Кластерный анализ позволяет рассматривать достаточно большой объем информации и резко сокращать, сжимать большие массивы социально-экономической информации, делать их компактными и наглядными.

Важное значение кластерный анализ имеет применительно к совокупностям временных рядов, характеризующих экономическое развитие (например, общехозяйственной и товарной конъюнктуры). Здесь можно выделять периоды, когда значения соответствующих показателей были достаточно близкими, а также определять группы временных рядов, динамика которых наиболее схожа.

В кластерном анализе считается, что:

а) выбранные характеристики допускают в принципе желательное разбиение на кластеры;

б) единицы измерения (масштаб) выбраны правильно. Выбор масштаба играет большую роль. Как правило, данные нормализуют вычитанием среднего и делением на стандартное отклонение, так что дисперсия оказывается равной единице.

Рассмотрим пример процедуры кластерного анализа.

Кластер имеет следующие математические характеристики: центр, радиус, среднеквадратическое отклонение, размер кластера.

Центр кластера - это среднее геометрическое место точек в пространстве переменных.

Радиус кластера - максимальное расстояние точек от центра кластера.

Кластеры могут быть перекрывающимися. Такая ситуация возникает, когда обнаруживается перекрытие кластеров. В этом случае невозможно при помощи математических процедур однозначно отнести объект к одному из двух кластеров. Такие объекты называют спорными.

Спорный объект - это объект, который по мере сходства может быть отнесен к нескольким кластерам.

Размер кластера может быть определен либо по радиусу кластера, либо по среднеквадратичному отклонению объектов для этого кластера. Объект относится к кластеру, если расстояние от объекта до центра кластера меньше радиуса кластера. Если это условие выполняется для двух и более кластеров, объект является спорным.

Наиболее трудным и наименее формализованным в задаче классификации является определение понятия однородности объектов.

В общем случае понятие однородности объектов задается либо введение правила вычисления расстояний с(x_i,x_j) между любой парой исследуемых объектов (х₁, х₂,..., х_n), либо заданием некоторой функции r(x_i,x_j), характеризующей степень близости i -го и j -го объектов. Если задана функция с(x_i,x_j), то близкие с точки зрения этой метрики объекты считаются однородными, принадлежащими к одному классу. Очевидно, что необходимо при этом сопоставлять с(х_i,x_j) с некоторыми пороговыми значениями, определяемыми в каждом конкретном случае по-своему.

Аналогично используется и мера близости r(x_i,x_j), при задании которой необходимо помнить о выполнения следующих условий:

1. симметрии r(x_i,x_j)= r(x_j,x_i);

2. r(x_i,x_j)>0 для всех x_i и x_j

3. максимального сходства объекта с самим собой r(x_i,x_i) = r(x _i,x_j), при 1≤ i,j≤n, и монотонного убывания r(x_i,x_j) по мере увеличения с(x_i,x_j), т.е. из с(x_k,x_l)≥с (x_i,x_j) должно следовать неравенство r(x_k,x_l)≤r(x_i,x_j).

Выбор метрики или меры близости является узловым моментом исследования, от которого в основном зависит окончательный вариант разбиения объектов на классы при данном алгоритме разбиения. В каждом конкретном случае этот выбор должен производиться по-своему в зависимости от целей исследования, физической и статистической природы вектора наблюдений Х, априорных сведений о характере вероятностного распределения Х.

Рассмотрим наиболее широко используемые в задачах кластерного анализа расстояния и меры близости:

· обычное Евклидово расстояние

 

где х_ie,, x_je - величина е-ой компоненты у i-го (j-го) объекта (е=1,2,...,к, i,j=1,2,...,n)

· взвешенное Евклидово пространство

применяется в тех случаях, когда каждой компоненте x_l вектора наблюдений X удается приписать некоторый “вес” щ_l, пропорционально степени важности признака в задаче классификации. Обычно принимают 0≤щ_e≤1, где e=1,2,...k.

Определение “весов”, как правило, связано с дополнительными исследованиями, например, организацией опроса экспертов и обработкой их мнений.

· Хеммингово расстояние

Используется как мера различия объектов, задаваемых дихотомическими признаками. Это расстояние определяется по формуле

(5)

и равно числу несовпадений значений соответствующих признаков в рассматриваемых i-м и j-м объектах.

В ряде процедур классификации (кластер-процедур) используют понятия расстояния между группами объектов и меры близости двух групп объектов.

Пусть s_i - i-я группа (класс, кластер), состоящая из n_i объектов;

x_{i (ср)}- среднее арифметическое векторных наблюдений s_i группы, т.е. "центр тяжести" i-й группы;

с(s_l,s_m) - расстояние между группами s_l и s_m.

Наиболее употребительными расстояниями и мерами близости между классами объектов являются:

- расстояние, измеряемое по принципу “ближайшего соседа”. Здесь расстояние между двумя кластерами определяется расстоянием между двумя наиболее близкими объектами (ближайшими соседями) в различных кластерах. Этот метод позволяет выделять кластеры сколь угодно сложной формы при условии, что различные части таких кластеров соединены цепочками близких друг к другу элементов. В результате работы этого метода кластеры представляются длинными "цепочками" или "волокнистыми" кластерами, "сцепленными вместе" только отдельными элементами, которые случайно оказались ближе остальных друг к другу.

 

(6)

- расстояние, измеряемого по принципу “дальнего соседа” Здесь расстояния между кластерами определяются наибольшим расстоянием между любыми двумя объектами в различных кластерах (т.е. "наиболее удаленными соседями"). Метод хорошо использовать, когда объекты действительно происходят из различных "рощ". Если же кластеры имеют в некотором роде удлиненную форму или их естественный тип является "цепочечным", то этот метод не следует использовать.

(7)

- расстояние, измеряемое по “центрам тяжести” групп

(8)

- расстояние, измеряемое по принципу “средней связи”, определяется как среднее арифметическое всех попарных расстояний между представителями рассматриваемых групп

(9)

Методы кластерного анализа можно разделить на две группы:

· иерархические;

· неиерархические.

Каждая из групп включает множество подходов и алгоритмов.

Используя различные методы кластерного анализа, аналитик может получить различные решения для одних и тех же данных. Это считается нормальным явлением.

Рассмотрим иерархические и неиерархические методы подробно.

Суть иерархической кластеризации состоит в последовательном объединении меньших кластеров в большие или разделении больших кластеров на меньшие.

Иерархические агломеративные методы

Эта группа методов характеризуется последовательным объединением исходных элементов и соответствующим уменьшением числа кластеров.

В начале работы алгоритма все объекты являются отдельными кластерами. На первом шаге наиболее похожие объекты объединяются в кластер. На последующих шагах объединение продолжается до тех пор, пока все объекты не будут составлять один кластер.

Иерархические дивизимные (делимые) методы

Эти методы являются логической противоположностью агломеративным методам. В начале работы алгоритма все объекты принадлежат одному кластеру, который на последующих шагах делится на меньшие кластеры, в результате образуется последовательность расщепляющих групп.

Программная реализация алгоритмов кластерного анализа широко представлена в различных инструментах Data Mining, которые позволяют решать задачи достаточно большой размерности. Например, агломеративные методы реализованы в пакете SPSS, дивизимные методы - в пакете Statgraf.

Иерархические методы кластеризации различаются правилами построения кластеров. В качестве правил выступают критерии, которые используются при решении вопроса о "схожести" объектов при их объединении в группу (агломеративные методы) либо разделения на группы (дивизимные методы).

Иерархические методы кластерного анализа используются при небольших объемах наборов данных.

Преимуществом иерархических методов кластеризации является их наглядность.

Иерархические алгоритмы связаны с построением дендрограмм (от греческого dendron - "дерево"), которые являются результатом иерархического кластерного анализа. Дендрограммаописывает близость отдельных точек и кластеров друг к другу, представляет в графическом виде последовательность объединения (разделения) кластеров.

Дендрограммутакже называют древовидной схемой, деревом объединения кластеров, деревом иерархической структуры и представляет собой вложенную группировку объектов, которая изменяется на различных уровнях иерархии.

Примером использования кластерного анализа является задача принятия решения о деление стран на группы по уровню развития.

Изучались 65 стран по 31 показателю (национальный доход на душу населения, доля населения занятого в промышленности в %, накопления на душу населения, доля населения, занятого в сельском хозяйстве в %, средняя продолжительность жизни, число автомашин на 1 тыс. жителей, численность вооруженных сил на 1 млн. жителей, доля ВВП промышленности в %, доля ВВП сельского хозяйства в %, и т.д.)

Каждая из стран выступает в данном рассмотрении как объект, характеризуемый определенными значениями 31 показателя. Соответственно они могут быть представлены в качестве точек в 31-мерном пространстве. Такое пространство обычно называется пространством свойств изучаемых объектов. Сравнение расстояния между этими точками будет отражать степень близости рассматриваемых стран, их сходство друг с другом. Социально-экономический смысл подобного понимания сходства означает, что страны считаются тем более похожими, чем меньше различия между одноименными показателями, с помощью которых они описываются.

Первый шаг подобного анализа заключается в выявлении пары народных хозяйств, учтенных в матрице сходства, расстояние между которыми является наименьшим. Это, очевидно, будут наиболее сходные, похожие экономики. В последующем рассмотрении обе эти страны считаются единой группой, единым кластером. Соответственно исходная матрица преобразуется так, что ее элементами становятся расстояния между всеми возможными парами уже не 65, а 64 объектами – 63 экономики и вновь преобразованного кластера – условного объединения двух наиболее похожих стран. Из исходной матрицы сходства выбрасываются строки и столбцы, соответствующие расстояниям от пары стран, вошедших в объедение, до всех остальных, но зато добавляются строка и столбец, содержащие расстояние между кластером, полученным при объединении и прочими странами.

Расстояние между вновь полученным кластером и странами полагается равным среднему из расстояний между последними и двумя странами, которые составляют новый кластер. Иными словами, объединенная группа стран рассматривается как целое с характеристиками, примерно равными средним из характеристик входящих в него стран.

Второй шаг анализа заключается в рассмотрении преобразованной таким путем матрицы с 64 строками и столбцами. Снова выявляется пара экономик, расстояние между которыми имеет наименьшее значение, и они, так же как в первом случае, сводятся воедино. При этом наименьшее расстояние может оказаться как между парой стран, так и между какой-либо страной и объединением стран, полученным на предыдущем этапе.

Дальнейшие процедуры аналогичны описанным выше: на каждом этапе матрица преобразуется так, что из нее исключаются два столбца и две строки, содержащие расстояние до объектов (пар стран или объединений – кластеров), сведенных воедино на предыдущей стадии; исключенные строки и столбцы заменяются столбцом и строкой, содержащими расстояния от новых объединений до остальных объектов; далее в измененной матрице выявляется пара наиболее близких объектов. Анализ продолжается до полного исчерпания матрицы (т. е. до тех пор, пока все страны не окажутся сведенными в одно целое). Обобщенные результаты анализа матрицы можно представить в виде дерева сходства (дендограммы), подобного описанному выше, с той лишь разницей, что дерево сходства, отражающее относительную близость всех рассматриваемых нами 65 стран, много сложнее схемы, в которой фигурирует только пять народных хозяйств. Это дерево в соответствии с числом сопоставляемых объектов включает 65 уровней. Первый (нижний) уровень содержит точки, соответствующие каждых стране в отдельности. Соединение двух этих точек на втором уровне показывает пару стран, наиболее близких по общему типу народных хозяйств. На третьем уровне отмечается следующее по сходству парное соотношение стран (как уже упоминалось, в таком соотношении может находиться либо новая пара стран, либо новая страна и уже выявленная пара сходных стран). И так далее до последнего уровня, на котором все изучаемые страны выступают как единая совокупность.

В результате применения кластерного анализа были получены следующие пять групп стран:

· афро-азиатская группа;

· латино-азиатская группа;

· латино-среднеземнаморская группа;

· группа развитых капиталистических стран (без США)

· США.

Дискриминантный анализ.

Дискриминантный анализ — это раздел теории принятия решений, содержанием которого является разработка методов решения задач различения (дискриминации) объектов наблюдения по определенным признакам. Например, разбиение совокупности предприятий на несколько однородных групп по значениям каких-либо показателей производственно-хозяйственной деятельности.

Методы дискриминантного анализа находят применение в различных областях: медицине, социологии, психологии, экономике и т.д. При наблюдении больших статистических совокупностей часто появляется необходимость разделить неоднородную совокупность на однородные группы (классы). Такое расчленение в дальнейшем при проведении статистического анализа дает лучшие результаты моделирования зависимостей между отдельными признаками.

Дискриминантный анализ используется для принятия решения о том, какие переменные различают (дискриминируют) две или более возникающие совокупности (группы). Например, некий исследователь в области образования может захотеть исследовать, какие переменные относят выпускника средней школы к одной из трех категорий: (1) поступающий в вуз, (2) поступающий в колледж (техникум) или (3) отказывающийся от дальнейшего образования или профессиональной подготовки. Для этой цели исследователь может собрать данные о различных переменных, связанных с учащимися школы. После выпуска большинство учащихся естественно должно попасть в одну из названных категорий. Затем можно использовать дискриминантный анализдля определения того, какие переменные дают наилучшее предсказание выбора учащимися дальнейшего пути.

Медик может регистрировать различные переменные, относящиеся к состоянию больного, чтобы выяснить, какие переменные лучше предсказывают, что пациент, вероятно, выздоровел полностью (группа 1), частично (группа 2) или совсем не выздоровел (группа 3). Биолог может записать различные характеристики сходных типов групп, чтобы затем провести анализ дискриминантной функции, наилучшим образом разделяющей группы.

Дискриминантный анализ применяется и в экономике. Для оценки финансового состояния своих клиентов при выдаче им кредита банк классифицирует их на надежных и ненадежных по ряду признаков. Таким образом, в тех случаях, когда возникает необходимость отнесения того или иного объекта к одному из реально существующих или выделенных определенным способом классов, можно воспользоваться дискриминантным анализом.

Аппарат дискриминантного анализа разрабатывался многими учеными-специалистами, начиная с конца 50-х годов XX в. Дискриминантным анализом, как и другими методами многомерной статистики, занимались П.Ч. Махаланобис, Р. Фишер, Г. Хотеллинг и другие ученые.

Все процедуры дискриминантного анализа можно разбить на две группы и рассматривать их как совершенно самостоятельные методы. Первая группа процедур позволяет интерпретировать различия между существующими классами, вторая — проводить классификацию новых объектов в тех случаях, когда неизвестно заранее, к какому из существующих классов они принадлежат.

Дискриминантный анализ как метод классификации выполняет разделение объектов на определенные группы при наличии начальных представлений о характере групп. Эти начальные представления формализются как выборки из общей совокупности объектов, причем каждая выборка относится к одному строго определенному классу (группе) объектов. Выборки предполагаются многомерными, т.е. каждый объект характеризуется набором показателей.

К основным предположениям дискриминантного анализа можно отнести:

1. Объекты должны принадлежать одному из двух (или более) классов (групп). Объекты являются основными единицами анализа. Объектами изучения могут быть люди, животные, страны, экономика стран в различные периоды времени и т.д. В практических задачах допускаются объекты, которые нельзя отнести ни к одной группе (классу). Например, иногда определенное число наблюдений не удается идентифицировать либо по какой-то причине откладывается анализ этих наблюдений. Такие объекты будут классифицироваться позже, на основе математических функций, полученных из анализа наблюдений с известной принадлежностью.

2. Дискриминантный анализ – это общий термин, относящийся к нескольким тесно связанным статистическим процедурам. В некоторых ситуациях не обязательно использовать все эти процедуры. Их можно разделить на методы интерпретации межгрупповых различий и методы классификации наблюдений по группам. Речь идет об интерпретации, когда рассматриваются различия между классами (группами). Другими словами, при интерпретации необходимо ответить на вопросы: возможно ли, используя данный набор характеристик, отличить один класс от другого; насколько хорошо эти характеристики позволяют провести различение и какие из них наиболее информативны. Метод, относящийся к классификации, связан с получением одной или нескольких функций, обеспечивающих возможность отнести данный объект к одной из групп. Эти функции, называемые дискриминантными, зависят от значений характеристик таким образом, что появляется возможность отнести объект к одной из групп.

Например, общий вид дискриминантной функции

d = b₁х₁+b₂х₂+... + b_nх_n+а,

где x₁ и х_n — значения переменных, соответствующих рассматриваемым случаям, константы b₁,…,b_n и a — коэффициенты, которые и предстоит оценить с помощью дискриминантного анализа. Целью является определение таких коэффициентов, чтобы по значениям дискриминантной функции можно было с максимальной четкостью провести разделение по группам.

Чаще всего используется две составляющие дискриминантного анализа.

3. Характеристики, применяемые для того, чтобы отличать один класс от другого, называют дискриминантными переменными. Эти переменные должны измеряться либо по интервальной шкале, либо по шкале отношений. Таким образом, становится возможным вычисление математических ожиданий, дисперсий и правомерно использование дискриминантных переменных в математических уравнениях. Однако, существуют определенные ограничения, касающиеся дискриминантных переменных. Ни одна переменная не может быть линейной комбинацией других переменных. Переменная, являющаяся линейной комбинацией других, не несет никакой новой информации помимо той, которая содержится к линейной комбинации, поэтому она является лишней. Не допустимо использовать переменные коэффициент корреляции которых равен единице.

4. При построении дискриминантных функций предполагают, что ковариационные матрицы для различных классов равны. Это позволяет строить линейные дискриминантные функции. Этот метод наиболее прост, т.к. предположение об одинаковых ковариационных матрицах для различных классов значительно упрощает формулы для вычислений и облегчает проверку гипотез о статистической значимости полученных результатов.