Оценка параметров уравнения линейной множественной регрессии

Рассмотрим уравнение линейной множественной регрессии

(3)

Для оценки параметров уравнения множественной регрессии обычно применяется метод наименьших квадратов (МНК), согласно которому следует выбирать такие значения параметров а и b_i, при которых сумма квадратов отклонений фактических значений результативного признака y_i от теоретических значений ŷ = f (x_1i, x_2i,..., x_pi) (при тех же значениях фактора x_ij) минимальна, т. е.

С учетом (3) величина S является функцией неизвестных параметров а и b_i

(4)

Оптимальные значения параметров а и b_i удовлетворяют условиям

(5)

Выполняя соответствующие вычисления, получим для определения параметров а и b_i следующую систему уравнений

(6)

откуда после некоторых преобразований получается система нормальных уравнений метода наименьших квадратов

(7)

……………………………………………………………..

.

Решение системы (7) удобно записать с помощью матричных обозначений. Обозначим

(8) где B - матрица-столбец (p+1× 1) из коэффициентов а и b_i;

Y - матриц-столбец (n× 1) исходных значений зависимой переменной y;

X - матрица (p+1× n) исходных значений независимых переменных x_i, в которой первый столбец из единиц можно рассматривать как значения «фиктивной» переменной, соответствующей коэффициенту а.

В этих обозначениях система (7) примет вид

(9)

где X' - транспонированная матрица X. Матрица X ¢ X является неособенной квадратной размерности (p+1× p+1) при условии, что столбцы матрицы X линейно независимы. Решение системы (9) определяется соотношением

. (10)

Независимые переменные x_i имеют различный экономический смысл, разные единицы измерения и масштаб. Если нужно определить степень относительного влияния отдельных факторов x_i на изменение результативной переменной y, то переменные x_i следует привести к сопоставимому виду. Это можно осуществить, вводя, так называемые, «стандартизованные» переменные с помощью соотношений

(11)

где - средние значения,

- средние квадратические отклонения переменных y и x_i.

Стандартизованные переменные обладают следующими свойствами: 1) средние значения равны нулю ; 2) средние квадратические отклонения равны единице .

Уравнения множественной регрессии в стандартизованных переменных принимает вид (12)

Величины β _i называются стандартизованными коэффициентами. Их связь коэффициентами множественной регрессии b_i задается соотношениями

или (i = 1, 2, …, p). (13)

Параметр а уравнения (3) можно определить из соотношения

(14)

Стандартизованные коэффициенты регрессии β _i показывают, на сколько сигм (средних квадратических отклонений) изменится в среднем результативный признак y за счет изменения соответствующего фактора на одну сигму при неизмененном значении других факторов, закрепленных на среднем уровне.

Система нормальных уравнений МНК (7) в стандартизованных переменных принимает вид:

(15)

………………………………………………..

Стандартизованные коэффициенты регрессии β _i сравнимы между собой, что позволяет ранжировать факторы по силе их воздействия на результат. Большее относительное влияние на изменение результативной переменной y оказывает тот фактор, которому соответствует большее по модулю значение коэффициента β _i.

Отметим, что в случае парной линейной регрессии стандартизованный коэффициент регрессии β совпадает с линейным коэффициентом корреляции r_yx.

Для оценки параметров нелинейных уравнений множественной регрессии предварительно осуществляется преобразование последних в линейную форму (с помощью замены переменных) и МНК применяется для нахождения параметров линейного уравнения множественной регрессии в преобразованных переменных. В случае внутренне нелинейных зависимостей (которые невозможно привести к линейному виду) для оценки параметров по методу наименьших квадратов приходится применять методы нелинейной оптимизации.