Метод наименьших квадратов. Вывести выражение для МНК-оценки вектора b для линейной регрессионной модели.

Для нахождения оценок параметров уравнения регрессии чаще всего используется метод наименьших квадратов (МНК).

Обозначим оценки параметров уравнения регрессии β ₀ и β ₁ как b₀ и b₁.

В соответствии с методом наименьших квадратов (МНК) оценки b₀ и b₁ можно получить из условия минимизации суммы квадратов ошибок оценивания, т.е. минимизации суммы квадратов отклонений фактических значений зависимой переменной от расчетных ее значений, полученных на основе уравнения регрессии.

МНК:

y_i – фактические значения зависимой переменной,

ŷ _i - расчётные значения, полученные на основе уравнения регрессии.

Разность называется остатком и дает количественную оценку значения ошибки, т.е. показывает воздействие возмущающей переменной.

МНК позволяет получить несмещённые оценки, а в случае линейной модели – оценки с минимальной дисперсией, дающие хорошее приближение оценок b_j к истинным значениям коэффициентов регрессии β _j.

Для того, чтобы найти минимум функции Q, сначала рассчитывают частные производные первого порядка, затем каждую из них приравнивают к нулю и решают полученную систему уравнений.

=>

=>

Таким образом получают систему из двух линейных уравнений, которая называется системой нормальных уравнений:

Решим систему относительно b₀ и b₁.