Малая помехоустойчивость метода наименьших квадратов при решении задач идентификации

Метод наименьших квадратов, основанный на «внутреннем» критерии (среднеквадратичная ошибка на всех точках), не пригоден для нахождения модели оптимальной сложности из-за слабой помехоустойчивости внутренних критериев, к которым он относится. Чтобы показать это, проделаем следующий опыт: пользуясь уравнением третьей степени заполним таблицу исходных данных у = f ( х). Теперь «забудем» исходный полином и попробуем найти его при помощи метода наименьших квадратов. Для этого последовательно опробуем полиномы при нарастающей сложности:

Изменение среднеквадратичной ошибки будет следующим: для уравнения первой степени δ ² = = 25%, второй— δ ² = 15%, третьей — δ ² = 0%, четвертой δ ² = 0% и т. д. (показано на рис. 5.1 пунктиром). Таким образом, при полном отсутствии помех метод позволяет «открыть» истинное уравнение. Легко убедиться, что при наложении на исходные данные очень небольшого шума (Δ y = ±0, 01) получается кривая, показанная сплошной линией (рис. 5.1). Кривая подтверждает правило «чем сложнее модель, тем она точнее».

При наличии даже очень малых неточностей измерений (помех) с помощью критерия Δ ²(N) нельзя отличить слишком сложные (переусложненные) модели от модели оптимальной сложности, отвечающей действительному процессу. Задачу открытия единственной модели оптимальной сложности решают методы самоорганизации моделей, основанные на помехоустойчивых, «внешних» критериях. Как увидим ниже, для экстраполяции (прогнозирования) метод наименьших квадратов тоже не пригоден.

Это не исключает эффективности метода наименьших квадратов при решении задачи приближенной аппроксимации функций внутри области интерполяции, где достаточно густо заданы опытные точки. Собственно говоря, метод и был задуман Гауссом для решения задачи интерполяции.