Метод наименьших квадратов. Общие соотношения. Метод наименьших квадратов используется для аппроксимации функциональных зависимостей

ОБЩИЕ СООТНОШЕНИЯ. Метод наименьших квадратов используется для аппроксимации функциональных зависимостей, полученных экспериментальным путем, кривыми заданной формы, но содержащими вектор неизвестных параметров

. Процедура МНК позволяет на основе реализации определить коэффициенты .

Пусть результаты измерений являются выборкой в моменты времени процесса

. (1)

Если , т.е. имеют нормальный закон распределения, то функция правдоподобия имеет вид

В качестве оценки параметра Q можно взять ОМП. Максимуму функции правдоподобия соответствует минимум выражения

(2)

Решая систему уравнений

, (3)

получаем вектор оценок параметра .

В МНК целесообразно использовать линейно-параметрические модели функций

, (4)

где - набор некоторых функций. Наиболее употребительны из таких моделей аппроксимация полиномом

(5)

Тогда получаем систему k линейных уравнений относительно А, В, С,..., решаемую одним из численных методов для систем алгебраических выражений. Например, для кубического полинома система имеет вид

Эта система упрощается, если перейти к центрированному аргументу , то есть перенести ось координат в точку . Тогда суммы всех нечетных степеней и т.д.

Аппроксимация полиномами имеет следующие особенности:

a) ; т.е. число неизвестных коэффициентов k не должно превышать число точек;

b) , так как численные методы при k > 5 становятся неустойчивыми и плохо обусловленными.

Если функция по условиям задачи нелинейно-параметрическая, то можно сделать обратное функциональное преобразование и привести зависимость к линейной. Например,

(6)

Однако такой подход является приближенным, так как при нелинейном преобразовании погрешности дисперсия , т.е. изменяется от точки к точке. В этом случае можно усовершенствовать МНК на случай неравноточных измерений или использовать численные методы решения систем нелинейных уравнений.

РАСЧЕТНЫЕ СООТНОШЕНИЯ:

1) Линейная регрессия, линейная функциональная зависимость

(7)

Система уравнений правдоподобия имеет вид

(8)

Решение системы уравнений (8)имеет вид

(9)

(Очевидно, что ) где

2) Нелинейная регрессия (экспоненциальная модель)

(10)

Преобразование

(11)

приводит зависимость к линейной. Обозначая , получаем

(12)

здесь