Метод наименьших квадратов

Постановка задачи и ее качественный анализ.

Одной из самых распространенных задач вычислительной математики является задача статистической обработки данных, и, в частности, составление эмпирических формул для нахождения зависимости одной величины от другой, когда известна таблица их значений, полученных в результате некоторой серии экспериментов.

Общей ЗАДАЧЕЙ здесь является нахождение функции определенного вида, которая наилучшим образом отражает зависимость между величинами. Важнейшее отличие постановки данной задачи от задачи интерполирования состоит в том, что не требуется обязательное совпадение данных, полученных в результате измерений со значениями искомой функции в выделенных точках.

Такая постановка задачи кажется нам более естественной, поскольку:

· результаты измерений могут быть неточными,

· выделенные точки (узлы), как правило, ничем не отличаются от всех остальных и непонятно, почему именно в них мы должны требовать точного совпадения данных.

Для того, чтобы сравнивать, какая же из функций лучше отражает данную зависимость, нам надо договориться, как мы будем измерять степень приближения искомой функцией данной нам зависимости. В качестве меры приближения обычно выбирают одну из следующих:

1. Максимальное по модулю отклонение искомой функции в узлах от данных значений.

2. Сумма модулей отклонений искомой функции в узлах от данных значений.

3. Сумма квадратов отклонений искомой функции в узлах от данных значений.

Первый из перечисленных случаев соответствует приближению искомой функцией в равномерной метрике, второй - в интегральной метрике, а последний - приближению в метрике пространства функций с интегрируемым квадратом. Как видно даже из названия лекции, нас будет больше всего интересовать последний случай, который является самым употребляемым на практике, а, кроме того, он проще остальных в смысле организации вычислений, в том числе и автоматизированной обработки данных.

ПОСТАНОВКА ЗАДАЧИ.

Дана таблица зависимости функции Y от аргумента X:

Надо среди функций одного из указанных ниже видов определить такую (найти значения соответствующих параметров), что сумма квадратов разностей значений этой функции в узлах и величин Yi минимальна.

Обычно ограничиваются функциями одного из следующих видов:

1. Y=ax+b

2. Y=ax²+bx+c (реже полином более высокой степени)

3. Y=axⁿ

4. Y=a e^x

5. Y=1/(ax+b)

6. Y=a ln(x)+b

7. Y=a/x+b

8. Y=x/(ax+b)