Метод наименьших квадратов.

При оценке параметров уравнения регрессии применяется МНК. При этом делаются определенные предпосылки относительно случайной составляющей

.

- ненаблюдаемая величина. После того, как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений , можно определить оценки случайной составляющей . Поскольку они не являются реальными случайными остатками, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т.е. . При изменении спецификации модели, добавлении в неё новых наблюдений, выборочные оценки остатков могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений , т.е. остатков.

До сих пор мы останавливались на формальных проверках статистической достоверности коэффициентов регрессии и корреляции с помощью - критерия Стьюдента, - критерия Фишера. Оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний, остатки не будут накапливаться и найденный параметр можно рассматривать как среднее значение из возможного большого числа несмещенных оценок.

Эффективность оценки – оценки, характеризующиеся наименьшей дисперсией.

Состоятельность оценок характеризует увеличение их точности с увеличением выборки.

Указанные критерии должны учитываться при разных способах оценивания. МНК строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточных величин регрессии .

Исследования остатков предполагают проверку наличия следующих предпосылок МНК (т.е. при выполнении их получаются несмещенные эффективные и состоятельные оценки):

1. случайный характер остатков

2. нулевая средняя величина , не зависящая от

3. гомоскедастичность – дисперсия каждого одинакова для всех значений

4. отсутствие автокорреляции остатков. Значения остатков распределены независимо друг от друга.

5. остатки подчиняются нормальному распределению.

Если не все предпосылки выполняются, то следует корректировать модель.

Рассмотрим все предпосылки.

1). На рис. ниже изображено поведение остатков в различных случаях:

2). Эта предпосылка означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей нелинейных относительно оцениваемых параметров и приводимых к линейному виду, например, логарифмированием, средняя ошибка равна нулю для логарифмов.

Вместе с тем несмещенность оценок регрессии означает независимость случайных остатков и . Строятся графики, если полоса, то независимы от , если график показывает зависимость, то модель неадекватна.

5). Предпосылка о нормальным распределении остатков позволяет проводить проверку параметров регрессии с помощью критериев и . Вместе с тем оценки регрессии, найденные с МНК, обладают хорошими свойствами даже при отсутствии нормального распределения остатков.

Совершенно необходимы 3) и 4) предпосылки.

3). Для каждого фактора остатки имеют одинаковую дисперсию, если это условие не выполняется, то имеет место гетероскедастичность.

Для каждого значения распределения остатков одинаковы (гомоскедастичность) и диапазон варьирования остатков меняется с переходом от одного значения к другому (гетероскедастичность).

Наличие гомо и гетероскедастичности можно видеть и по рассмотренным выше двум графикам зависимости остатков от .

Итак, основные предпосылки регрессионного анализа:

1. В модели возмущение есть величина случайная, а объясняющая переменная - величина детерминированная.

2. Математическое ожидание возмущения равно нулю: - несмещенность.

3. Дисперсия возмущения постоянна (условие гомоскедастичности или равноизменчивости возмущения).

4. указывает на некоррелированность ошибок для разных наблюдений. Это условие часто нарушается в случае, когда данные являются временными рядами. В случае, когда это условие не выполняется, говорят об автокорреляции ошибок.

5. Возмущение есть нормально распределенная случайная величина. В этом случае модель называется нормальной линейной регрессионной (CNLR model).

Итак, мы хотим оценить и наилучшим способом. Что значит «наилучшим»? Например, найти в классе линейных (по ) несмещенных оценок наилучшую в смысле минимальной дисперсии.

Заметим, что когда такая оценка найдена, это вовсе не означает, что не существует нелинейной несмещенной оценки с меньшей дисперсией.