Исследование остатков с применением предпосылок метода наименьших квадратов

После того как построено уравнение регрессии проводится проверка присутствия у оценок е_i некоторых свойств. Данные свойства оценок, полученных МНК, имеют довольно весомое практическое значение в применении результатов регрессии и корреляции.

Коэффициенты регрессии a_i, найденные на основе системы нормальных уравнений и представляющие собой выборочные оценки характеристики силы связи, должны обладать свойством несмещености.

Несмещенность оценки – это когда математическое ожидание остатков равно нулю. То есть, найденный параметр регрессии a_i, можно рассматривать как среднее значение вероятных значений коэффициентов регрессии с несмещенными оценками остатков.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными в том случае, когда они характеризуются самой маленькой дисперсией.

Для того чтобы доверительные интервалы параметров регрессии были реальными, необходимо, чтобы оценки были состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.

Для того чтобы исследовать остатки e_i необходимо проверить наличие следующих пяти предпосылок МНК:

1. Случайный характер остатков;

2. Нулевая средняя величина остатков, не зависящая от х_i;

3. Гомоскедастичность - дисперсия каждого отклонения e_i одинакова для всех значений х;

4. Отсутствие автокорреляции остатков - значения остатков e_i распределены независимо друг от друга;

5. Остатки подчиняются нормальному распределению.

Если случайные остаткиe_i не соответствует некоторым предпосылкам МНК, то тогда следует корректировать модель.

Первый этап - проверяется случайный характер остатков e_i.

Верификация гипотезы о случайности распределения случайных отклонений модели направлена на оценивание точности подбора аналитической формы модели. Для верификации гипотезы H₀: относительно альтернативной гипотезы H₁: служит тест количества серий. Так как модель строилась на основе динамических данных, то исходной точкой будем считать упорядоченную по времени последовательность остатков. Для упорядоченной последовательности подсчитывается количество серий S, остатков модели.

Серия – это каждый фрагмент последовательности, который составлен исключительно из положительных или отрицательных элементов.

Из таблиц количества серий для фактических количеств отрицательных n₁ и положительных n₂ остатков, а так же для принятого уровня значимости считываются два критических значения серий: и . Если , то распределение случайных отклонений случайно, аналитическая форма модели подобрана удачно. В то же время, если или , распределение случайных отклонений не случайно, аналитическая форма модели выбрана неудачно.

Вторая предпосылка означает равенство нулю средней величины остатков.

Рассмотрим нулевую среднюю величину остатков, не зависящую от х_t.

Несмещенность является желательным свойством и означает, что математическое ожидание значений ошибок равно нулю. В качестве критерия рассмотрим статистику:

, (2.23)

где — среднее арифметическое остатков; — стандартное отклонение остатков.

. (2.24)

Для того чтобы рассчитать критерий t- теста Стьюдента необходимо воспользоваться функцией СТЬЮДРАСПОБР в MicrosoftExcel для m= n-1 степеней свободы и для принятого уровня значимости 0, 05, это рассчитанное число является критическим значением . Если , то математическое ожидание случайных отклонений несущественно отличается от нуля, поэтому отклонения признаются несмещенными. Если же , то математическое ожидание случайных отклонений существенно отличается от нуля, поэтому отклонения признаются смещенными.

В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора х_j остатки е_i имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность.

Для того чтобы проверить наличие гетероскедастичности в остатках регрессии можно воспользоваться ранговым коэффициентом Спирмена. Суть проверки заключается в том, что в случае гетероскедастичности абсолютные остатки коррелированны со значениями фактора х _t. Эту корреляцию можно измерять с помощью коэффициента ранговой корреляции Спирмена:

, (2.25)

где d- абсолютная разность между рангами значенийх_t и .

Принято считать, что если , то корреляция между значениями остатков и фактора статистически значима, то есть имеет место гетероскедантичность остатков.

(2.26)

Таким образом, принимается гипотеза об отсутствии гетероскедантичности остатков.

Один из более распространенных методов определения автокорреляции в остатках - это расчет критерия Дарбина-Уотсона.

Широко известная статистика Дарбина-Уотсона имеет следующий вид:

(2.27)

Таким образом, величина d=DW есть отношение суммы квадратов, разностей последовательных значений остатков к остаточной сумме квадратов по модели регрессии.

Итак, алгоритм выявления автокорреляции остатков на основе критерия Дарбина-Уотсона следующий:

– выдвигается гипотеза Н₀ об отсутствии автокорреляции остатков. Альтернативные гипотезы Н₁ и Н₁^* состоят, соответственно, в наличии положительной или отрицательной автокорреляции в остатках;

– далее по специальным таблицам определяются критические значения критерия Дарбина-Уотсона dl и du для заданного числа наблюдений п, числа независимых переменных модели т и уровня значимости α. По этим значениям числовой промежуток [0; 4] разбивают на пять отрезков;

– принятие или отклонение каждой из гипотез с вероятностью Р=1–α осуществляется следующим образом: 0 < d < dl – есть положительная автокорреляция остатков, Н₀ отклоняется, с вероятностью Р=1–α принимается Н₁; dl < d < du – зона неопределенности; du < d < 4 – du – нет оснований отклонять Н₀, т.е. автокорреляция остатков отсутствует; 4 – du < d < 4 – dl – зона неопределенности; 4– dl < d < 4 – есть отрицательная автокорреляция остатков, Н₀ отклоняется, с вероятностью Р=1–α принимается Н₁^*.

Если фактическое значение критерия Дарбина-Уотсона попадает в зону неопределенности, то на практике предполагают существование автокорреляции остатков и отклоняют гипотезу Н₀.

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии. Особенно актуально соблюдение данной предпосылки МНК при построении регрессионных моделей по рядам динамики, где ввиду наличия тенденции последующие уровни динамического ряда, как правило, зависят от своих предыдущих уровней.

Исследование остатков на наличие нормальности распределения производится с помощью теста Шапиро-Уилка.

Процедура теста Шапиро-Уилка представляется следующим образом:

1. Остатки упорядочиваются по возрастанию.

2. Рассчитывается значение статистики:

(2.28)

где — целая часть числа a_n-t+1—коэффициенты Шапиро-Уилка.

1. Из таблиц теста Шапиро-Вилька для принятого уровня значимости выбирается критическое значение W^*.

2. Если , то можно говорить о нормальном распределении случайных отклонений. Если же , то распределение отклонений нельзя считать нормальным.

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещённости, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии.

Таким образом, построив окончательное статистически значимое уравнение регрессии уровня безработицы в Российской Федерации, обязательно необходимо проверить выполнение всех предпосылок метода наименьших квадратов. [Э. Ферстер с. 304]