Дискриминантный анализ

Дискриминантный анализ, наряду с алгоритмами кластер-анализа, относится к методам многомерной классификации. Однако если кла­стер-анализ устанавливает близость/удаленность объектов в много­мерном признаковом пространстве, то дискриминантный ана­лиз определяет принадлежность объекта к одной из нескольких (как правило, двух) заданных заранее групп.

В такой формулировке цель дискриминантного анализа похожа на цель дисперсионного анализа, но дискриминантный анализ является гораздо более мощным статистическим инструментом. Во-первых, в данном методе корректно использовать независимые переменные, измеренные и на порядковом, и на номинальном уровнях, и — что особенно важно — на интервальном уровне. Так, в дисперсионном анализе переменную «возраст» мы были вынуждены приводить к по­рядковому виду (младший — средний — старший), что имело след­ствием потерю информации и ухудшение качества классификации. Очевидно, что интервальная переменная «возраст» является лучшим предиктором участия в выборах, чем вероятность «человек старшего возраста скорее пойдет на выборы, чем человек младшего возраста». Во-вторых, дискриминантный анализ использует несколько незави­симых переменных, выстраивает целостную модель классификации объектов.

Модель дискриминантного анализа очень напоминает модель мно­жественной регрессии (в целом дискриминантный анализ как бы «вбирает в себя», синтезирует черты нескольких более простых мето­дов, изученных нами ранее).

d = b1X1 + b2X2 +…+ bnXn +a,

где d — значение дискриминантной функции, по которому судят о принадлежности объекта к тому или иному классу; X1 — хп — значения переменных, соответствующих рассматриваемым случаям; b1 — bn — коэффициенты, определяющие вклад каждой независимой переменной в итоговый результат; а — константа.

Именно коэффициенты вклада и константу рассчитывает дискри­минантный анализ, причем таким образом, чтобы значение функции (d) с максимально возможной точностью показывало принадлеж­ность объекта к классу.

Расчет дискриминантной функции может осуществляться тремя основными способами:

• стандартным, предполагающим включение в анализ всех неза­висимых переменных одновременно;

• пошаговым с включением, предполагающим включение в модель на первом шаге переменной, которая лучше всего дискриминирует за­висимую переменную, на втором — вторую по «вкладу» независимую переменную и т.д.;

• пошаговым с исключением, когда все переменные будут сначала включены в модель, а затем на каждом шаге будут удаляться вносящие малый вклад в предсказания. Этот метод оптимален, когда исследова­тель желает оставить в модели только те факторы, которые являются сильными предикторами зависимой переменной.

Стандартный метод, как правило, используется в том случае, если число независимых переменных относительно невелико и каждая из них обладает предсказательной силой по отношению к зависимой пе­ременной. В ситуации поискового исследования (когда в анализ вклю­чается большое число переменных, причем в отношении «предсказа­тельной силы» многих из них сформулированы лишь самые общие предположения) рекомендуется пошаговый метод с исключением. Он позволит «очистить» модель от явно слабых предикторов. К тому же всегда полезно сопоставление результатов, полученных разными мето­дами.

Рассмотрим пример. Пусть зависимой (группирующей) перемен­ной, как и ранее, будет участие/неучастие в выборах. Это номинальная дихотомическая переменная с двумя значениями: О (неучастие); 1 (участие). В качестве независимых переменных возьмем:

• Возраст — интервальная переменная, годы;

• Пол — номинальная переменная (1 — мужской, 2 — женский);

• Доход — интервальная переменная, тыс. руб.

Имеем следующие исходные данные (пример учебный):

Вычислительный алгоритм дискриминантного анализа относи­тельно сложен, и мы не будем здесь рассматривать его подробно.

Остановимся на интерпретации ключевых позиций весьма обшир­ной итоговой статистики дискриминантного анализа.

В первую очередь (как и в регрессионном анализе) рассматривает­ся статистика, свидетельствующая о качестве полученной модели. Сначала анализируется дисперсионная статистика для изучаемых пе­ременных, которая включает:

• таблицу средних значений каждой переменной для: (а) группы «неучаствующих» (участие = 0), (б) группы «участвующих» (участие = 1) и (в) обеих групп вместе;

• значения теста на значимость различий средних переменных в группах «участвующих» и «неучаствующих». В качестве тестовой величины в дискриминантном анализе обычно служит лямбда (X) Уилка (Wilk's Lambda), иногда используется и простой дисперсионный анализ.

Гипотеза о различии средних полностью подтвердилась для пере­менных «возраст» и «доход».

Теперь можно сделать предположение об «удельном весе» каждой пе­ременной в конечной дискриминантной функции, исходя из/в значения лямбды Уилка. Так, наибольший вклад в дискриминацию внесет пере­менная «возраст», для которой p-значение самое низкое — 0,000305. На втором месте «доход», на третьем — с большим отставанием — «пол».

Рассчитанные коэффициенты самой дискриминантной функции представлены в стандартизированном и нестандартизированном виде (округлены до второго знака после запятой); в статистических про­граммах они обозначаются как Standardized (Unstandardized) Canonical Discriminant Function Coefficients.

Нестандартизированные коэффициенты — это те, по которым, собственно, и рассчитываются значения дискриминантной функции (множители заданных значений переменной). В нашем случае:

d = 0,05 х Возраст,, + 0,81 х Пол,, + 0,29 х Доход,- - 4,69.

Нестандартизированные коэффициенты нельзя сравнивать непо­средственно. Фактически это прямой аналог коэффициента b в множе­ственном регрессионном анализе. Стандартизированные же коэффици­енты отражают «вклад» каждой независимой переменной в изменение зависимой и в этом отношении являются прямыми аналогами бета-коэффициентов множественной регрессии.

Используя нестандартизированные коэффициенты, мы можем вычислить все значения дискриминантной функции для наших случаев. К примеру, значение d для случая 1 составит:

d= 3,54 = 0,05 х 87 + 0,81 х 1 + 0,29 х 10 - 4,69.

Но каким образом по значению функции определить, к какой группе принадлежит объект? Для этого рассчитываются так называвмые групповые центроиды дискриминантной функции. Делается это очень просто: рассчитываются средние значения дискриминантной функции для группы «участвующих» (участие =1) и для группы «неучаствующих» (участие = 0). В нашем случае:

Именно групповые центроиды являются «критериями» для отне­сения объекта к той или иной группе. Вычисляется расстояние между значением дискриминантной функции в конкретном случае и обоими центроидами. Если значение ближе к центроиду группы «участие = 0», объект классифицируется как принадлежащий к группе «неучаст­вующих», и наоборот.

Наличие подсчитанных значений дискриминантной функции по­зволяет дополнительно оценить качество модели. Так, мерами удачности дискриминантной функции служат:

• канонический корреляционный коэффициент между ее значениями и показателем принадлежности к группе. В нашем примере он равен 0,793, что свидетельствует о достаточно высоком качестве модели;

• лямбда Уилка, показывающая, значимо ли в обеих группах (учас­твующих и неучаствующих) различие в средних значениях дискрими­нантной функции. В нашем случае р = 0,0000009, что свидетельствует об очень высокой значимости;

• собственное значение (eigenvalue), соответствующее отношению сум­мы квадратов между группами к сумме квадратов внутри групп. Это зна­чение можно получить, проведя дисперсионный анализ значений дис­криминантной функции по переменной «участие». Чем больше собственное значение (относительно 1), тем лучше подобрана функция. В нашем случае eigenvalue = 1,69, что также можно считать хорошим по­казателем.

Однако наиболее комплексным показателем качества модели явля­ется сопоставление результатов классификации, произведенной с помо­щью дискриминантной функции по значениям независимых перемен­ных, и исходных значений зависимой переменной. Проще говоря, нас интересует процент соответствия предсказаний модели и истинных зна­чений. В нашем случае модель неверно классифицировала два случая из 30, что составляет 6,6%. Правильно классифицированных случаев — 28, или 93,3%:

Как видно из итоговой таблицы, два «активных» избирателя были ошибочно классифицированы как «пассивные» (в нашем примере это случаи 21 и 25). Постарайтесь самостоятельно определить, почему именно эти случаи оказались «ошибочными».

Если бы мы использовали для тех же самых данных пошаговый анализ с исключением, то переменных в модели оказалось бы всего две: «возраст» и «доход». При этом ее качество снизилось бы очень не­существенно. Это означает, что обычно интервальные переменные являются куда лучшими предикторами, чем номинальные.