Общая характеристика метода наименьших квадратов

Пусть зависимость между х и у выражается формулой определенного вида с несколькими параметрами a, b, c, …, т.е. пусть y = φ (х, a, b, c, …).

Соответствующее значение эмпирической функции в точке x_i (i=1, 2, …, n) обозначим . Подберем параметры эмпирической формулы так, чтобы расстояние между точками (у₁, у_2, …, у_п,) и ( ) было наименьшим:

наименьшее значение примет тогда и функция

(1)

такой способ подбора параметров носит название метода наименьших квадратов.

Для определенности рассмотрим случай трех параметров a, b, c. Подберем a, b, c так, чтобы функция F (a, b, c) приняла наименьшее значение внутри рассматриваемой области. В последнем случае в силу необходимого условия экстремума в этой точке должны выполняться следующие соотношения:

(2)

С учетом (1) условия (2) можно записать так:

(3)

где частные производные вычислены в точке x_i (i=1, 2, …, n). Получили систему трех уравнений с тремя переменными a, b, c, решая которую найдем параметры a*, b*, c*. Искомая эмпирическая формула примет следующий вид:

y =f(x, a^*, b^*, c^*).