Уравнение множественной линейной регрессии. Оценка параметров.

Урав­нение множественной регрессии Y = f(β, X) + ε, где X - вектор независимых (объясняющих) перемен­ных; β - вектор параметров (подлежащих определению); ε - случай­ная ошибка (отклонение); Y - зависимая (объясняемая) переменная. Теоретическое линейное уравнение регрессии: . Здесь - вектор размерности (m+1) неизвестных параметров. называется j-м теоретическим коэффи­циентом регрессии (частичным коэффициентом регрессии). Он ха­рактеризует чувствительность величины Y к изменению Xj. -свободный член, определяющий значение Y, когда все объясняющие переменные X, равны нулю.

Для модели множественной линеиной регрессии метод наименьших квадратов, также как и для парнои линеиной регресси, состоит в оценке коэффициентов регрессии из условия минимума суммы квадратов остатков.

Запишем уравнение множественной линеиной регрессии в матричной форме: , , (штрих означает транспонирование).

Определим столбец остатков: ,

Суть МНК:

Это выражение зависит от вектора bи достигает минимума, если его производная по b равна нулевому вектору, т.е. .

Если столбцы матрицы Х линеино независимы, то существует обратная матрица , и можно наити оценку вектора β коэффициентов регрессии: . Он также обозначается через .