Метод наименьших квадратов. Как правило, табличные значения функций задаются не точно, а приближённо

Как правило, табличные значения функций задаются не точно, а приближённо. Поэтому попытки провести через эти точки график многочлена зачастую не приближают к исходной функции, а даже удаляют от неё, т.к. погрешности исходных значений приведут к “разбалтыванию” графика многочлена.

Можно поставить задачу иначе: в классе функций определённого вида найти функцию, наименее уклоняющуюся в заданных точках от заданных значений. Более точно, по заданной таблице

требуется в заданном классе функций Ф найти функцию j, для которой минимально среди всех функций j Î Ф.

Как правило, класс функций Ф является параметрическим семейством дифференцируемых функций: Ф = {j(x, a₁, …, a_m) | (a₁; …; a_m) Î W}, где W – некоторое открытое множество в пространстве R ^m. Поэтому требуется найти значения параметров a₁, …, a_m, для которых достигается минимум величины . Эта задача на экстремум приводит к необходимым условиям равенства нулю всех частных производных рассматриваемой минимизируемой функции U:

В случае m = n и дважды непрерывно дифференцируемой функции j можно сформулировать и достаточные условия минимума, которые состоят в неотрицательности всех собственных чисел симметричной матрицы вторых производных

В частности, это верно, если матрица вторых производных положительно определена. По критерию Сильвестра это равносильно положительности всех главных миноров этой матрицы:

.

Наиболее часто используются следующие двухпараметрические семейства функций:

j(x, a, b) = a× x + b, j(x, a, b) = a + b× ln x,

j(x, a, b) = a× x^b, j(x, a, b) = a× e^{b× x},

j(x, a, b) = a + , j(x, a, b) = , j(x, a, b) = .

Используются и трёхпараметрические семейства:

j(x, a, b) = a× x² + b× x + c, j(x, a, b) = a× x^b + c,

j(x, a, b) = a× e^{b× x} + c, j(x, a, b) = a× 10^{b× x} + c.

Пример: 1. Рассмотрим приближение линейной функцией по методу наименьших квадратов.

Здесь j(x, a, b) = a× x + b, , и для определения параметров a, b в соответствии с изложенной выше общей теории получается система линейных уравнений:

где .

Полученная система двух линейных уравнений с двумя неизвестными имеет единственное решение тогда и только тогда, когда её определитель не равен нулю: . При n > 1 и попарно различных узлах x_i (1 £ i £ n) это ограничение выполнено:

Поэтому рассматриваемая линейная система имеет единственное решение при n > 1. Нетрудно понять, что её решения – параметры a и b – действительно доставляют минимум квадратичного отклонения . В самом деле,

,

и , т.е. матрица вторых частных производных положительно определена.

2. Для приближения квадратичной функцией j(x, a, b) = a× x² +b× x + c аналогичные вычисления приводят к системе линейных уравнений

,

где (0 £ k £ 4, 0 £ m £ 1).

Рассмотренные выше линейные и квадратичные приближения являются основными. Приведённые выше другие виды приближающих функций приводят к системам нелинейных уравнений. Чтобы избежать решения таких систем, можно сводить эти задачи к более простым приближениям.

Примеры: 1. Степенные приближения j(x, a, b) = a× x^b сводятся к линейным: если a > 0 и x > 0, то, прологарифмировав j(x, a, b), получим функцию F(ln x, ln a, b) = ln j(x, a, b) = ln a + b× ln x. Таким образом, можно “прологарифмировать” исходную таблицу и найти линейное приближение к полученной функции.

Если найдена приближающая функция F(z, u, v) = u + v× z для полученной таблицы, то параметры a = e^u, b = v приведут к приближающей функции a× x^b для исходной таблицы.

2. Аналогично для j(x, a, b) = a× e^{b× x} после логарифмирования получим линейное приближение F(x, ln a, b) = b× x + ln a.

3. Для приближения дробно-линейной функцией j(x, a, b) = достаточно рассмотреть функцию F(x, a, b) = = a× x + b. Таким образом, можно “обратить” исходную таблицу и найти линейное приближение к полученной функции.

x1	…	xn	Þ	x1	…	xn
y1	…	yn		…

Если найдена приближающая функция F(x, a, b) = a× x + b для полученной таблицы, то параметры a и b приведут к приближающей функции j(x, a, b) = для исходной таблицы.

4. Приближение семейством функций вида j(x, a, b) = сводится к предыдущей задаче: F(x, a, b) = .

1. Пример: По заданной таблице значений с помощью метода наименьших квадратов

а) найти приближающую линейную функцию f(x, a, b) = a× x + b;

б) найти приближающую квадратичную функцию

f(x, a, b, c) = a× x² + b× x + c;

в) для каждой из найденных функций вычислить сумму квадратов отклонений

и сравнить качество полученных приближений.

а) Находим линейную приближающую функцию j(x, a, b) = a× x + b по методу наименьших квадратов. Для этого минимизируем сумму квадратов отклонений

Условие минимума:

,

где .

Вычисляем коэффициенты системы и решаем её методом Гаусса:

Итак, a» 0, 0030, b» 5, 3869, j(x, a, b)» 0, 003× x + 5, 387, U» 190, 852.

б) Решаем аналогично предыдущему. Будем искать линейную приближающую функцию f(x, a, b) = a× x² + b× x + c по методу наименьших квадратов. Для этого минимизируем сумму квадратов отклонений

Условие минимума:

,

где .

Вычисляем коэффициенты системы и решаем её методом Гаусса:

Таким образом, для a» 0, 054, b» –0, 094, с» 3, 944, найдена приближающая функция j(x, a, b)» 0, 054× x² – 0, 094× x + 3, 944, U» 170, 282.

Видно, что квадратичное отклонение квадратичного приближения меньше, нежели квадратичное отклонение линейного приближения. Квадратичное приближение в данном случае лучше линейного.