Оценка параметров классической регрессионной модели методом наименьших квадратов.

Данные, используемые в корреляционно-регрессионном анализе, рассматриваются как выборочные, неполные. Поэтому количественные характеристики связи между показателями, полученные на основе этих данных, также являются выборочными, т. е. содержащими некую ошибку, отличающимися от объективно существующих, но неизвестных «подлинных» характеристик.

Параметры уравнения регрессии, найденные на основе имеющихся у исследователя данных, называют оценками параметров, подчеркивая то, что они рассчитаны по выборочным данным. Оценки параметров могут меняться от выборки к выборке, поэтому они рассматриваются как случайные величины.

Так как найденные параметры являются лишь выборочными оценками неизвестных параметров по генеральной совокупности, то возникает вопрос об их качестве. Считается, что оценками параметров можно пользоваться для дальнейшего анализа и прогноза, если эти оценки являются несмещенными, эффективными и состоятельными.

Оценка параметра является несмещенной, если её математическое ожидание равно оцениваемому параметру или математическое ожидание остатков равно нулю.

Оценка параметра является эффективной, если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок данного параметра по выборкам одного и того же объема.

Оценка параметра является состоятельной, если с увеличением числа наблюдений оценка параметра стремится к его значению в генеральной совокупности, т.е. точность оценок выборки увеличивается с увеличением объема выборки.

Наиболее простым методом, применяющимся для оценки параметров множественной регрессии, является метод наименьших, квадратов (МНК).

Для оценки вектора неизвестных параметров применим метод наименьших квадратов. Как и в случае регрессионного уравнения с одной переменной целью метода является выбор вектора оценок , минимизирующего сумму квадратов остатков E_i (т.е. квадрат длины вектора остатков E):

Выразим через X и :

(2)

Необходимые условия минимума ESS получаются дифференцированием (2) по вектору :

(3)

Откуда, учитывая обратимость матрицы

находим оценку метода наименьших квадратов:

(4)

Покажем, что, как и в случае одного регрессора, (3) означает, что вектор остатков e ортогонален всем независимым переменным (столбцам матрицы X). Условие эквивалентно равенству . Действительно,