Алгоритм метода главных факторов
Найдем матрицу факторного отображения А. Будем считать, что нам известна матрица коэффициентов корреляции исходных признаков R и известны общности , , а, следовательно, известна редуцированная матрица . Начнем с нахождения первого столбца матрица A, т.е. с построения первого главного фактора.
Первый главный фактор будем строить таким образом, чтобы максимизировать его вклад в суммарную общность всех исходных признаков:
.
Так как , то на элементы и в том числе на необходимо наложить следующие ограничения:

Таким образом, максимизация вклада первого главного фактора в суммарную общность исходных признаков осуществляется при «наилучшем» восстановлении корреляционных связей между исходными признаками. Оптимизационная задача для построения первого главного фактора имеет вид:
(5.13)
Для решения задачи (5.13) воспользуемся методом множителей Лагранжа. Составим функцию Лагранжа:
,
где – множители Лагранжа.
Воспользуемся необходимым условием существования экстремума функции:
, ; (5.14)
, , . (5.15)
Выражения (5.14) и (5.15) можно объединить следующим образом:
, , , (5.16)
где – символ Кронекера.
Получили систему уравнений вида:
, , . (5.17)
Умножим обе части выражения (5.17) на и просуммируем по i:
, .
Согласно (5.14) . Тогда предыдущее выражение принимает вид:
, . (5.18)
Умножим обе части выражения (5.18) на и просуммируем по r:
, . (5.19)
В выражении (5.19) , а . Обозначим , тогда (5.19) принимает вид:
или , . (5.20)
Учитывая, что , получаем систему уравнений:
(5.21)
Систему (5.21) можно записать в векторно-матричном виде:
. (5.22)
Система (5.22) – это однородная система k -линейных уравнений с k неизвестными и одним параметром . Для того, чтобы существовало ненулевое решение системы (5.22), матрица должна быть вырожденной:
. (5.23)
Уравнение (5.23) называется характеристическим для матрицы и имеет k вещественных неотрицательных корней , называемых собственными значениями матрицы . Так как есть величина , которую согласно задаче (5.13) необходимо максимизировать, то для построения первого главного фактора необходимо выбрать наибольшее собственное число . Далее подставляется в систему (5.22) и система решается относительно вектора . Решением системы (5.22) является собственный вектор матрицы , соответствующий наибольшему собственному числу . Обозначим решение системы (5.22) через . Для того, чтобы было выполнено требование , проводят нормировку вектора . Тогда искомый вектор определяется следующим образом: .
Далее необходимо решить задачу построения второго главного фактора, обеспечивающего максимальный вклад в остаточную общность. Для решения этой задачи рассчитывается матрица остаточных коэффициентов корреляции : , где – корреляционная матрица, вычисленная с учетом только первого главного фактора. Тогда для нахождения вектора коэффициентов при втором главном факторе необходимо решить оптимизационную задачу вида:
(5.24)
Решая задачу (5.24) аналогично задаче (5.13), приходят к системе уравнений вида: , где определяют как нормированный собственный вектор матрицы , соответствующий наибольшему собственному значению . Построение главных факторов продолжается до тех пор, пока сумма собственных чисел не начнёт превосходить суммарную общность, равную следу матрицы , или до тех пор, пока элементы матрицы остаточных коэффициентов корреляции не будут близки к нулю.
В отличие от метода главных компонент в рассмотренном алгоритме построение главных факторов происходит поэтапно. Однако можно показать, что главные факторы можно построить, используя алгоритм метода главных компонент к редуцированной матрице [25].
Пусть , , …, – нормированные собственные векторы матрицы . Выясним, не будут ли они совпадать с собственными векторами матрицы . Умножим обе части выражения справа на : . Так как – это собственный вектор матрицы , соответствующий собственному значению , то можно записать: . Тогда получаем выражение: .
Если , то согласно (5.18) и . Таким образом, собственный вектор , соответствующий наибольшему собственному значению матрицы , является и собственным вектором матрицы , но соответствующее ему собственное значение равно нулю. Если , то согласно (5.18) и . Следовательно, за исключением собственные значения и собственные векторы матрицы равны соответствующим собственным значениям и собственным векторам матрицы . Несмотря на полученный результат, с вычислительной точки зрения предпочтение отдается итерационному алгоритму построения главных факторов, требующему нахождения не всех собственный значений и собственных векторов матрицы , а только одного (наибольшего) собственного числа и соответствующего ему собственного вектора матрицы на каждой итерации алгоритма.
|