Теорема Гаусса-Маркова.

Предположим, что:

1. Y=XB+E;

2. X – детерминированная матрица, имеет максимальный ранг k+1

3. М(ε)= 0; V(ε)=М(ε ε ^T)=σ ² I_n.

Тогда оценка метода наименьших квадратов является наиболее эффективной (в смысле наименьшей дисперсии) оценкой в классе линейных (по y ) несмещенных оценок.

2.3 Анализ вариации зависимой переменной в регрессии. Коэффициенты R2 и скорректированный

Для регрессионной модели известны следующие величины дисперсий:

где – значение зависимой переменной по исходным данным, - значение зависимой переменной, вычисленное по регрессионной модели, - среднее значение зависимой переменной, определенное по исходным статистическим данным. Для указанных дисперсий справедливо равенство

Как и в случае регрессионной модели с одной с одной независимой переменной, вариацию можно разбить на две части: объясненную регрессионным уравнением и необъясненную (т.е. связанную с ошибками ε):

(5)

Или в векторной форме:

(6)

Третье слагаемое в (6) равно нулю в случае, если константа, т.е. вектор , принадлежит линейной оболочке векторов .

В самом деле,

т.к. Поэтому верно равенство

(7)

Записывая (7) в отклонениях получим теорему Пифагора:

(8)

Определим коэффициент детерминации как

Отметим, что коэффициент R² корректно определен только в том случае, если константа, т.е. вектор , принадлежит линейной оболочке векторов . В этом случае R² принимает значения из интервала [0, 1].

Коэффициент R² показывает качество подгонки регрессионной модели к наблюденным значениям y_t.

Если R² =0, то регрессия на не улучшает качество предсказания y_t по сравнению с тривиальным предсказанием

Другой крайний случай R² =1 означает точную подгонку: все e_t =0, т.е. все точки наблюдений удовлетворяют уравнению регрессии.

Пример другого обозначения: Для модели регрессии вида , где , рассчитаны дисперсии , , , тогда величина коэффициента детерминации рассчитывается по формуле или

В какой степени допустимо использовать критерий R² для выбора между несколькими регрессионными уравнениями? Следующие два замечания побуждают не полагаться только на значение R².

1. R², вообще говоря, возрастает при добавлении еще одного регрессора.

2. R² изменяется даже при простейшем преобразовании зависимой переменной, поэтому сравнивать по значению R² можно только регрессии с одинаковыми зависимыми переменными.

Если взять число регрессоров равным числу наблюдений, всегда можно добиться того, что R² =1, но это вовсе не будет означать наличие содержательной (имеющей экономический смысл) зависимости у от регрессоров.

Попыткой устранить эффект, связанный с ростом R² при возрастании числа регрессоров, является коррекция R² на число регрессоров.

Скорректированным (adjusted) R² называется

Заметим, что нет никакого существенного оправдания именно такого способа коррекции.

Свойства скорректированного R²:

1.

2.

3. но может принимать значения < 0.

В определенной степени использование скорректированного коэффициента детерминации , более корректно для сравнения регрессий при изменении количества регрессоров.

Скорректированный коэффициент детерминации применяется для оценки реальной тесноты связи между результатом и факторами и сравнения моделей с разным числом параметров

В классической множественной линейной регрессии абсолютным показателем силы связи результата с фактором является коэффициент при соответствующем факторе.

Коэффициенты линейной модели множественной регрессии называют коэффициентами условно-чистой регрессии. Они показывают на сколько единиц в среднем изменится результат при изменении фактора на 1 при фиксированном уровне других факторов, включенных в модель

В классической множественной линейной регрессии относительным показателем силы связи результата с фактором является коэффициент эластичности