Множественный регрессионный анализ. Модель множественной регрессии. Содержательный смысл стандартизованных и нестандартизованных коэффициентов регрессии. Предсказание по модели.

Множественный регрессионный анализ предназначен для изучения влияния двух и более независимых переменных (предикторов) на зависимую переменную. Все переменные должны быть измерены в количественной шкале.

МРА может применяться как для решения прикладных задач, так и в исследовательских целях. Обычно МРА применяется для изучения возможности предсказания некоторого результата по ряду предварительно измеренных характеристик. При этом предполагается, что связь между одной зависимой переменной (Y) и несколькими независимыми переменными (Х) можно выразить линейным уравнением:

Y = b + b₁x₁ + b₂x₂ + … + b_px_p + e (модель множественной регрессии),

где Y – зависимая переменная, x₁, …, x_p – независимые переменные, b – свободный член, b₁, …, b_p – коэффициенты регрессии, e – ошибка предсказания.

Помимо предсказания и определения степени его точности МРА позволяет определить и то, какие показатели (независимые переменные) наиболее существенны, важны для предсказания, а какими можно пренебречь, исключив их из анализа.

Следует отметить родственность множественного регрессионного и дисперсионного анализа. В основе этих методов лежит одна и та же линейная модель. МРА можно рассматривать как аналог многофакторного дисперсионного анализа для случая, когда независимые переменные представляют собой не градации факторов, а измерены в количественной шкале.

Коэффициенты регрессии вычисляются методом наименьших квадратов при решении системы линейных уравнений, с минимизацией ошибки e. После вычисления регрессионных коэффициентов по значениям независимых переменных для каждого из объектов могут быть вычислены оценки зависимой переменной Y:

Ŷ = b + b₁x₁ + b₂x₂ + … + b_px_p

Сопоставление значений зависимой переменной Y с их оценками Ŷ по выборке испытуемых, для которых значения Y известны, называется анализом остатков или ошибок и позволяет вычислить возможные погрешности предсказания.

Положительный коэффициент при независимой переменной говорит о том, что с возрастанием последней значение зависимой переменной также возрастает. Верно и противоположное утверждение: при отрицательном коэффициенте с возрастанием значения независимой переменной значение зависимой переменной убывает.

Если зависимая и независимые переменные представлены в z-значениях, уравнение регрессии принимает следующий вид:

Y = β ₁x₁ + β ₂x₂ + … + β _px_p + e,

где β – стандартные (стандартизованные) коэффициенты регрессии.

Стандартные коэффициенты регрессии связаны с исходными корреляциями следующим уравнением (в матричной форме):

B = R^-1A,

где В – вектор-столбец стандартных коэффициентов регрессии, R^-1 – матрица, обратная корреляционной матрице независимых переменных, А – вектор-столбец корреляций независимых переменных с зависимой переменной. На практике регрессионный анализ начинается именно с вычисления стандартных коэффициентов регрессии. Знак β -коэффициента соответствует знаку коэффициента корреляции данной независимой и зависимой переменной. Абсолютная величина β -коэффициента является максимальной – она равна коэффициенту корреляции с зависимой переменной, если данная независимая переменная не коррелирует ни с одной из других независимых переменных. Чем сильнее данная независимая переменная связана с другими независимыми переменными, тем меньше β -коэффициент.

Статистическая значимость β -коэффициентов рассчитывается по критерию t-Стьюдента.

Множественный регрессионный анализ. Модель множественной регрессии. Содержательный смысл коэффициентов множественной детерминации (КМД) и множественной корреляции (КМК). Критерий определения статистической значимости КМК.

Множественный регрессионный анализ предназначен для изучения влияния двух и более независимых переменных (предикторов) на зависимую переменную. Все переменные должны быть измерены в количественной шкале.

МРА может применяться как для решения прикладных задач, так и в исследовательских целях. Обычно МРА применяется для изучения возможности предсказания некоторого результата по ряду предварительно измеренных характеристик. При этом предполагается, что связь между одной зависимой переменной (Y) и несколькими независимыми переменными (Х) можно выразить линейным уравнением:

Y = b + b₁x₁ + b₂x₂ + … + b_px_p + e (модель множественной регрессии),

где Y – зависимая переменная, x₁, …, x_p – независимые переменные, b – свободный член, b₁, …, b_p – коэффициенты регрессии, e – ошибка предсказания.

Коэффициент множественной корреляции R является мерой связи всей совокупности независимых переменных и зависимой переменной; принимает положительные значения от 0 (отсутствие связи) до 1 (строгая прямая связь). КМК наряду с разностями между исходными и оцененными значениями зависимой переменной (ошибкой e) – основные показатели качества модели множественной регрессии.

Коэффициент множественной детерминации – это та часть дисперсии зависимой переменной, которая обуславливается влиянием независимых переменных. Как и КМК, принимает только положительные значения от 0 до 1. Произведение коэффициента β _i на коэффициент парной корреляции r_iY этой переменной с зависимой переменной – это вклад данной переменной в дисперсию зависимой переменной. Ясно, что вклад переменной выше, если ее корреляция с зависимой переменной выше, а с другими независимыми переменными – ниже. Поэтому ценность независимой переменной для МРА определяется не только ее корреляцией с зависимой переменной, но и ее «уникальностью» - слабой связью с другими независимыми переменными.

Если зависимая переменная представлена в z-значениях (дисперсия равна 1), то эта единичная дисперсия зависимой переменной D_y может быть выражена формулой:

D_y = 1 = Σ β _ir_iY + D_e,

где D_е – часть дисперсии, обусловленная влиянием неучтенных факторов, или дисперсия ошибки предсказания.

КМД, или R², можно вычислить по формуле

R² = Σ β _ir_iY = 1 - D_e

Соответственно, КМК, или R – корень из R². Статистическая значимость КМК определяется по критерию F-Фишера для соответствующих степеней свободы.