МНК для множественной регрессии

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, с помощью метода наименьших квадратов. При его применении должна минимизироваться остаточная сумма квадратов отклонений фактических величин от тeopeтических. Для уравнения множественной регрессии y = a +b₁x₁ + b₂x₂ + … + b_px_p + ε это выглядит следующим образом:

Q = Σ (y- y_x)² = Σ (y – (a +b₁x₁ + b₂x₂ + … + b_px_p))²→ min

В данном случае неизвестными являются параметры регрессии а, b₁, b₂, …, b_р. Чтобы их найти, продифференцируем остаточную сумму квадратов отклонений по этим переменным и приравниваем их к нулю. В итоге строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии:

Σ у = пa +b₁Σ x₁ + b₂Σ x₂ + … + b_pΣ x_p

Σ уx₁ = aΣ x₁ +b₁Σ x₁² + b₂Σ x₂x₁ + … + b_pΣ x_px₁

………………………………………………………

Σ уx_p = aΣ x_p +b₁Σ x₁x_p + b₂Σ x₂x_p + … + b_pΣ x_p²

Эта система может быть решена с помощью метода определителей:

a = Δ a/ Δ, b₁ = Δ b₁/ Δ, b₂ = Δ b₂/ Δ, …, b_p = Δ b_p/ Δ

Здесь определитель системы

n Σ x₁ Σ x₂... Σ x_p

Σ x₁ Σ x₁² Σ x₂x₁ ... Σ x_px₁

Δ = Σ x₂ Σ x₁x₂ Σ x₂² … Σ x_px₂,

… … … … …

Σ x_p Σ x₁x_p Σ x₂x_p … Σ x_p²

а частичные определителиΔ a, Δ b₁, Δ b₂, …, Δ b_p получаются в результате замены соответствующего столбца матрицы определителя системы данными из ее левой части, например:

Σ у Σ x₁ Σ x₂... Σ x_p

Σ уx₁ Σ x₁² Σ x₂x₁ ... Σ x_px₁

Δ a = Σ yx₂ Σ x₁x₂ Σ x₂² … Σ x_px₂

… … … … …

Σ yx_p Σ x₁x_p Σ x₂x_p … Σ x_p²