Линейный дискриминантный анализ

Лабораторная работа № 10

I. Результаты наблюдений составляют два набора строк, всего строк в таблице. В каждой строке содержатся числовые значения переменных: первый набор и второй набор.

Зададим две матрицы:

и

Процедура линейного дискриминантного анализа заключается в нахождении такой линейной комбинации переменных , чтобы как можно лучше разделить два набора данных.

Линейная дискриминантная функция определяется выражением

(1)

Центры двух множеств (векторы средних) задаются формулами:

, ,

-среднее по значениям переменной для набора данных

Сумма квадратов отклонений от среднего является мерой вариации переменной.

Тогда внутригрупповой вариацией данных является величина:

где

Объединенной ковариационной матрицей называют

Межгрупповую вариацию можно записать в виде:

.

Один из методов поиска оптимальной дискриминантной функции заключается в максимизации отношения:

или ,

отличается от только числовым коэффициентом. Максимизация введенных величин означает максимизацию отношения межгрупповой вариации к внутригрупповой вариации.

Будем считать, что параметры выбираются из условия максимума отношения или . Вычислив производные по неизвестным параметрам и приравняв их к нулю, получим равенство, которому должны удовлетворять неизвестные параметры:

Подставив в , получим:

Величину называют обобщенным расстоянием или расстоянием Махалонобиса.

Константу можно выбрать произвольным образом, так как она входит в качестве множителя в дискриминантную функцию. Значение коэффициента не влияет на возможность дискриминации между группами. Коэффициент часто задают равным единице или выбирают так, чтобы

Для задания правила классификации необходимо выбрать пороговое значение , если цена ошибочной классификации одинакова для обеих групп и если вероятность принадлежности наблюдения к каждой из групп одинакова, то

.

Правило классификации:

отнести наблюдение к группе I, если

отнести наблюдение к группе II, если