Множественная регрессия и корреляция

Парная регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Если это невозможно, то следует попытаться выявить влияние других факторов, вводя их в модель, т.е. построить модель множественной регрессии

- зависимая переменная, результативный признак,

- независимые переменные – факторы.

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. (Применительно к парной регрессии это означало формулировку вида модели, исходя из соответствующей теории связи между переменными). Применительно к множественной регрессии, необходимо до определения вида модели, произвести отбор факторов. Факторы, включаемые в модель должны быть:

1) количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

2) факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи. Это может привести к тому, что система уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения оказываются не интерпретируемыми.

Например, , то в - определяет силу влияния фактора на при неизменном . Если же , то с изменением фактор тоже изменяется, отсюда и нельзя интерпретировать как показатели раздельного влияния и на (, то x_i и x_j коллинеарны, или находятся в линейной зависимости между собой).

Напомним, что коэффициент корреляции определяется по формуле:

.

По величине парных коэффициентов корреляции обнаруживается явная коллинеарность факторов, но может быть и мультиколлинеарность факторов, когда более чем 2 фактора связаны между собой линейной зависимостью, т.е. имеет совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы всегда будут действовать в унисон. В результате вариация в исходных данных перестает быть независимой, и нельзя оценить воздействие каждого фактора в отдельности. Чем сильнее мультиколлинеарность, тем менее надежна оценка с помощью МНК.

Для оценки мультиколлинеарности может использоваться определитель (det) матрицы парных коэффициентов корреляции. Если бы факторы не коррелировали между собой, то

- идеальный случай.

Если есть связь между факторами и все коэффициенты корреляции равны 1, то

.

Чем ближе к 0 det (R), тем сильнее мультиколлинеарность факторов и наоборот.

Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной (факторной) вариации по отдельным факторам с помощью метода (МНК).

, где равно сумме квадратов отклонений, обусловленных влиянием соответствующих факторов.

Если же факторы интеркоррелированы, то последнее равенство нарушается.

Методы построения уравнения множественной регрессии:

· метод исключения,

· метод включения,

· шаговый регрессионный анализ.

Каждый из методов по-своему решает проблему отбора факторов, давая в целом близкие результаты: отсев факторов из полного его набора; дополнительное введение фактора исключение ранее введенного фактора.

При отборе факторов рекомендуется пользоваться следующим правилом: число включаемых факторов примерно в 6-7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной вариации очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми.

В линейной множественной регрессии параметры при называются коэффициентами чистой регрессии, они характеризуют среднее изменение результата с изменением соответствующего фактора на 1 единицу при неизменном значении других факторов, закрепленных на среднем значении.