Анализ главных компонент

Лабораторная работа № 11

I. Предположим, что рассматривается случайных переменных В анализе главных компонент составляют линейных комбинаций этих переменных, называемых главными компонентами таким образом, чтобы каждая линейная комбинация «забирала» бы как можно большую часть вариации и в то же время была линейно независима от всех других главных компонент. Будем рассматривать выборочные характеристики, а не генеральные.

Главная компонента представляют собой некоторую линейную комбинацию переменных. Таким образом,

(1)

есть главная компонента. В матричных обозначениях

,

где

При заданном векторе коэффициентов выборочная дисперсия определяется выражением

(2)

где выборочная ковариационная матрица.

Для того, чтобы найти первую главную компоненту надо максимизировать выборочную дисперсию по неизвестным параметрам при выполнении условия нормировки:

Из линейной алгебры известно, что в качестве переменных следует выбрать нормированный собственный вектор матрицы соответствующий максимальному собственному числу матрицы . Вторая главная компонента представляет собой линейную комбинацию переменных с коэффициентами, равными нормированному характеристическому вектору, соответствующему второму по величине собственному числу матрицы , и т.д. до ой главной компоненты. Выборочная дисперсия каждой главной компоненты, вычисляемая по формуле (2), равна соответствующему собственному числу матрицы , . Все собственные вектора выбираются взаимно ортогональными между собой. Можно показать справедливость следующих свойств:

Определитель ковариационной матрицы называется обобщенной дисперсией.

Относительную «важность» ой главной компоненты измеряют отношением:

.

Отношение показывает долю суммарной дисперсии, объясненной фактором .

При использовании первых главных компонент величина называется объясненной дисперсией, величина остаточной дисперсией, а величина относительной ошибкой.

Как оценить число необходимых главных компонент?

Простейший метод отбора главных компонент дает правило: значимы те главные компоненты, для которых