Аппроксимация данных методом наименьших квадратов (МНК)

Пусть – узлы исходной таблицы данных, а – значения экспериментальных данных или некоторой неизвестной функции в узловых точках. Введем непрерывную функцию для аппроксимации дискретных значений и обозначим

,

отклонения в узлах . Тогда сумма квадратов отклонений аппроксимирующей функции от неизвестной функции в узловых точках , , запишется в виде:

. (2.130)

Метод построения аппроксимирующей функции из условия минимизации суммы квадратов отклонений называется методом наименьших квадратов (МНК).

Аппроксимирующую функцию зададим в виде:

, (2.131)

где , , - линейно независимые базисные функции, - неизвестные коэффициенты, определяемые из условия минимума , т. е. из условий равенства нулю частных производных по :

(2.132)

Таким образом, получаем систему линейных алгебраических уравнений вида для определения коэффициентов , . Эта система называется системой нормальных уравнений. Матрица системы имеет вид

(2.133)

и называется матрицей Грама.

Элементами матрицы Грама являются скалярные произведения базисных функций:

. (2.134)

Вектор свободных членов системы нормальных уравнений имеет вид:

, (2.135)

элементами этого вектора являются скалярные произведения

. (2.136)

Матрица Грама обладает следующими основными свойствами:

1) она симметрична, что позволяет сократить объем вычислений при заполнении матрицы;

2) матрица является положительно определенной, поэтому при решении системы нормальных уравнений методом исключения Гаусса можно отказаться от процедуры выбора главного элемента, а сразу брать в качестве ведущего диагональный элемент;

3) определитель матрицы Грама отличен от нуля, если в качестве базиса выбраны линейно независимые функции .

Для аппроксимации экспериментальных данных, определенных с погрешностью в каждой узловой точке, обычно сначала функцию задают в виде линейной комбинации из одной или двух базисных функций и, если после определения коэффициентов окажется, что , то расширяют базис добавлением новых функций , так до тех пор, пока не выполнится условие .

Выбор конкретных базисных функций зависит от свойств аппроксимируемой функции таких, как периодичность, экспоненциальный или логарифмический характер, свойства симметрии, наличие асимптотики и т.д.

2.14.1. Аппроксимация алгебраическими полиномами

Пусть аппроксимирующая функция задана в виде алгебраического полинома степени :

. (2.137)

Базисные функции в этом случае являются следующими:

.

Степень полинома m обычно выбирают меньше n. Аппроксимирующая кривая в этом случае не проходит через экспериментальные точки, т.е. экспериментальные данные «сглаживаются» с помощью функции . Если взять , то совпадает с многочленом Лагранжа, аппроксимирующая кривая пройдет через все экспериментальные точки и . Это обстоятельство часто используется для отладки и тестирования программ, реализующих алгоритмы МНК.

Матрица A системы нормальных уравнений и вектор свободных членов для функции вида (2.137) записываются следующим образом:

, (2.138)

(2.139)

Для решения систем уравнений с матрицей Грама разработаны методы сингулярного разложения. Если же , то такие системы можно решать и более простым методом исключения Гаусса.

Пример 2.12. Исходные данные приведены в таблице:

Таблица 2.13.

	-1, 01	-0, 42	0, 14	0, 52	0, 79	1, 23
	-1, 05	-0, 45	0, 52	0, 51	0, 81	0, 39

Требуется построить аппроксимирующий многочлен 3-го порядка по методу наименьших квадратов. Сначала строятся матрица и вектор по формулам (2.138) и (2.139), затем решив систему линейных алгебраических уравнений , определяем коэффициенты многочлена: , , , . На рис 2.7 приведены график аппроксимирующего многочлена и исходные данные в виде точек. Как видно из графика исходные точки не лежат на аппроксимирующей кривой.

Рис. 2.8. График аппроксимирующего многочлена

Система нормальных уравнений обычно бывает плохо обусловленной, что приводит к дополнительным сложностям при реализации МНК: вычисление с двойной (расширенной) точностью, введение весовых коэффициентов и т.д. Весовые коэффициенты выбираются из различных соображений, например, полагают:

, .

В этом случае:

(2.140)

и скалярные произведения в матрице и векторе будут соответственно иметь вид

2.14.2. Аппроксимация ортогональными полиномами

Лучшие по точности результаты при аппроксимации можно получить, если использовать в качестве базисных функций классические ортогональные полиномы Чебышева, Лежандра, Лагерра, Якоби и др.

Полиномы называются ортогональными, если существует некоторый интервал , на котором

, (2.141)

где - весовая функция.

В случае большого количества узлов на значения интегралов (2.141) будут близки к дискретным скалярным произведениям (2.134), так как интегрирование можно приближенно заменить суммированием. В этом случае недиагональные элементы матрицы Грама будут небольшими по абсолютной величине, что уменьшает погрешность решения системы нормальных уравнений.

Для наиболее гладкого представления экспериментальных данных (с минимальным числом и амплитудой выбросов) в качестве базисных функций выбирают ортогональные полиномы Чебышева , которые определены и ортогональны на интервале с весовой функцией .

Для задания полиномов Чебышева используется рекуррентная формула (2.31).

Так как в многочленах Чебышева коэффициент при старших степенях равен (см. п. 2.8, свойство 1), то это не всегда удобно при оценке вклада в аппроксимирующую функцию старших степеней по величине коэффициентов . В этом случае полиномы Чебышева можно ввести и по другой рекуррентной формуле, позволяющей построить приведенные многочлены Чебышева:

, (2.142)

где , .

Полиномы ортогональны на интервале с такой же весовой функцией, что и .

Весовую функцию, равную единице на интервале , имеют полиномы Лежандра, которые определяются по следующей рекуррентной формуле:

, (2.143)

где , .

Интервал [ ], где заданы узлы таблицы данных , переводится в интервал , где определены и ортогональны полиномы Чебышева и Лежандра с помощью линейного преобразования:

. (2.144)

2.14.3. Аппроксимация ортогональными полиномами дискретной переменной

Если построить систему базисных функций таким образом, чтобы обращались в нуль скалярные произведения на дискретном множестве узловых точек, то матрица Грама будет диагональной и можно избежать численного решения системы нормальных уравнений. В зависимости от распределения погрешности обрабатываемых данных можно построить ортогональные полиномы дискретной переменной с соответствующими дискретными весовыми функциями , . Из классических ортогональных полиномов дискретной переменной известны полиномы Хана, Мейкснера, Кравчука, Шарлье.

Рассмотрим алгоритм построения полиномов Чебышева дискретной переменной, которые являются частным случаем полиномов Хана с единичной весовой функцией.

Полагаем:

(2.145)

, (2.146)

и неизвестный коэффициент определим из условия ортогональности и , то есть

или

. (2.147)

Откуда

. (2.148)

Полином второй степени также представляется в общем виде с неопределенными коэффициентами и :

. (2.149)

Коэффициенты и найдем из условия ортогональности полиномов , то есть , и т.д.

Для полиномов Чебышева дискретной переменной существует двухслойная рекуррентная формула, по которой можно вычислить полином любой степени, зная :

, (2.150)

где

(2.151)

Аппроксимирующая функция определяется, как и ранее, в виде линейной комбинации базисных функций, в качестве которых берутся полиномы Чебышева дискретной переменной :

. (2.152)

Тогда, так как матрица Грама является диагональной, коэффициенты этой линейной комбинации определяются как частное от деления правых частей получающейся системы нормальных уравнений на диагональные элементы этой матрицы, то есть:

. (2.153)

Заметим, что если для улучшения качества аппроксимации возникает необходимость в увеличении числа базисных функций, то не придется пересчитывать коэффициенты , определенные с меньшим значением m.