Множественная корреляция

Практическая значимость уравнения регрессии оценивается с помощью показателя множественной корреляции и его квадрата – коэффициента детерминации.

, (при любой форме связи)

где – общая дисперсия результативного признака,

– остаточная дисперсия для уравнения где , так как

Иначе, формула примет вид: , отсюда следует 0≤ R≤ 1.

Этот показатель характеризует тесноту связи рассматриваемого набора факторов с используемым признаком, т.е. оценивает тесноту связи совместного влияния факторов на результат.

При линейной зависимости признаков формула индекса корреляции имеет вид:

где – стандартизованные коэффициенты регрессии,

– парные коэффициенты корреляции результата с каждым фактором.

В справедливости данной формулы можно убедиться, если обратиться к линейному уравнению множественной регрессии в стандартизованном масштабе и определить для него индекс множественной корреляции как

или, что, то же самое

В числителе последней формулы мы имеем факторную сумму квадратов отклонений для стандартизованных переменных: , и тогда так как

, но , отсюда ,

тогда , , …

Выведенная формула называется линейным коэффициентом множественной корреляции или совокупным коэффициентом корреляции.

Возможен иной подход к определению параметров, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе

, где

и - стандартизованные переменные, для которых среднее значение равно нулю , так как

а среднее квадратичное отклонение так как .

Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, получим систему нормальных уравнений вида

Решая систему, найдем параметры.

Стандартизованные параметры – показывают, на сколько сигм изменится в среднем результат, если увеличить соответствующий фактор на одну сигму при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как централизованные и нормированные, то – коэффициенты регрессии сравнимы между собой. Сравнивая их, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов чистой регрессии, которые несравнимы между собой. Связь коэффициентов стандартизованных и нестандартизованных:

Для МНК имеем формулы:

Таким образом, в системе вычисляется коэффициент корреляции по формуле:

так как , , и он равен коэффициенту корреляции в стандартизованных переменных.

Стандартизованные коэффициенты регрессии связаны с коэффициентом регрессии и коэффициентом эластичности Э

,

где β _j – показывает, на сколько величин изменится в среднем y при увеличении только j -ой объясняющей переменной на .

Э – коэффициент эластичности показывает, на сколько процентов от средней величины изменится в среднем y при увеличении только на один процент.

Пример: Сравнить раздельное влияние на сменную добычу углядвух факторов мощности пласта и уровня механизации работ

= 0, 728 =0, 285

Э₁=1, 180 Э₂=0, 340

Таким образом, увеличение мощности пласта и уровня механизации работ на одно или на одно увеличивает в среднем сменную добычу угля на одного рабочего на 0, 728* или на 0, 285* , а увеличение этих переменных на 1% от своих средних значений приводит к росту добычи на 1, 18% и 0, 34%. Итак, по обоим показателям на сменную добычу угля большее влияние оказывает фактор “мощность пласта” по сравнению с фактором “уровень механизации работ”.

Для построения уравнения регрессии используются функции:

– линейная, (1)

– степенная,

в частности, производственная функция Кобба – Дугласа имеет вид:

_, где - капиталовложения, - трудозатраты, а - совокупный выпуск продукции,

– экспоненциальная,

- гиперболическая.

Очевидно, перебирая различные функции и выбирая ту из них, для которой остаточная дисперсия и ошибка аппроксимации коэффициента детерминации минимальны.

Параметры уравнения оцениваются МНК.

Отметим ещё одну формулу для коэффициента детерминации:

Вместе с тем использование только одного коэффициента детерминации для выбора наилучшего уравнения регрессии может оказаться недостаточным. На практике встречаются случаи, когда плохо определяется модель регрессии и может дать сравнительно высокий коэффициент . Недостатком коэффициента является то, что он, вообще говоря, увеличивается при добавлении новых объясняющих переменных, хотя это и не обязательно обозначает улучшение качества регрессионной модели. В этом смысле предпочтительнее использовать скорректированный (адаптированный, поправленный) коэффициент , определяемый по формуле:

из этой формулы следует: чем больше число объясняющих переменных p, тем меньше по сравнению с .

Очевидно, скорректированный коэффициент может уменьшаться при введении в модель новых объясняющих переменных, не оказывающих существенного влияния на зависимую переменную.

Если известен , то используем критерий значимости уравнения регрессии. Гипотеза о равенстве нулю параметров регрессионной модели : отвергается, или уравнение регрессии значимо, если

(1) - табличное значение - критерия Фишера, где α – уровень значимости, n – число наблюдений, p – число факторов.

Частные уравнения регрессии

На основе линейного уравнения множественной регрессии

могут быть найдены частные уравнения регрессии:

…

то есть уравнения регрессии, которые связывают результативный признак y с соответствующими факторами x при закреплении других, учитываемых во множественной регрессии на среднем уровне:

+ +…+

+ +…+

…

+ +…+

При подстановке в эти уравнения средних значений соответствующих факторов, они принимают вид парных уравнений линейной регрессии:

+

+

…

+ +…+ ;

+ + …+ ;

…

+ +…+

Частные уравнения характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены. Это позволяет на основе частных уравнений определять частные коэффициенты эластичности.

Частные индексы корреляции.

В случае, когда имеется одна независимая и одна зависимая переменные, естественной мерой зависимости (в рамках линейного подхода) является (выборочный) коэффициент корреляции между ними.

Использование множественной регрессии позволяет обобщить это понятие на случай, когда имеется несколько независимых переменных. Корректировка здесь необходима по следующим очевидным соображениям. Высокое значение коэффициента корреляции между исследуемой зависимой и какой-либо независимой переменной может, как и раньше, означать высокую степень зависимости, но может быть обусловлено и другой причиной. А именно, есть третья переменная, которая оказывает сильное влияние на две первые, что и служит, в конечном счете, причиной их высокой коррелированности. Поэтому возникает естественная задача найти “чистую” корреляцию между двумя переменными, исключив (линейное) влияние других факторов.

Рассуждения здесь могут быть такими. Обозначим

остаточную дисперсию. Включим в уравнение регрессии ещё один фактор ^, его включение приведет к уменьшению остаточной дисперсии. Чем больше число факторов включения в модель, тем меньше величина остаточной дисперсии. Сокращение остаточной дисперсии за счет дополнительного введения фактора составит:

Чем меньше доля этого сокращения в остаточной вариации до введения дополнительного фактора, то есть в , тем теснее связь между и при постоянном действии фактора . Корень квадратный из этой величины и есть индекс частной корреляции, показывающий в чистом виде тесноту связи и ^.

Следовательно, чистое влияние фактора на результат y можно определить так:

,

аналогично, чистое влияние на результат фактора :

.

Если выразить остаточную дисперсию через показатель детерминации, = то формула коэффициента частной корреляции примет вид:

аналогично,

.

Преобразуем полученную формулу:

, отсюда

, обобщая эту формулу на p независимых переменных, получим

(***)

Из приведённых формул частных коэффициентов корреляции, видна связь этих показателей с совокупным коэффициентом корреляции. Зная частные коэффициенты корреляции последовательного первого, второго, и так далее, порядка, совокупный коэффициент корреляции получается.

При полной зависимости результативного признака от исследуемых факторов корреляции, совокупного их влияния, коэффициент корреляции равен единице. Из единицы вычитается доля остаточной вариации результативного признака , обусловленная последовательно включёнными в анализ факторами. В результате подкоренное выражение характеризует совокупное действие всех исследуемых факторов.

Оценка надежности результатов.

Так же как и для множественной регрессии, можно сформулировать гипотезы о равенстве нулю параметров частных уравнений регрессии

, частный -критерий оценивает статистическую значимость присутствия каждого фактора в уравнений. В числе показан прирост доли объяснённой или факторной вариации за счет дополнительного включения в модель соответствующего фактора:

- - прирост факторной дисперсии за счет ;

… … …

- -прирост факторной дисперсии за счет .

В знаменателе указана доля остаточной вариации по регрессионной модели, включающей полный набор факторов. Числитель и знаменатель формулы приведены к сравнимому виду путем деления на число степеней свободы, соответственно, на 1 и .

В , так как прирост факторной суммы квадратов отклонений обусловлен дополнительным включением в модель одного исследуемого фактора, то число степеней свободы для него равно 1.

Если _, где =1, = , то дополнительное включение в модель фактора x_i в модель статистически оправдано и коэффициент чистой регрессии b_i при факторе x_i статистически значим.

Если , то дополнительное включение в модель фактора x_i не увеличивает существенно долю объяснённой вариации признака , значит, нецелесообразно включение его в модель.

С помощью частного - критерия можно проверить значимость всех коэффициентов регрессии в предположении, что каждый коэффициент вводился последним в уравнение.