Метод покоординатного спуска.

Алгоритм координатного спуска заключается в сведении многомерной задачи к последовательным одномерным задачам, которые решаются методами минимизации функции одной переменной, и в частности, методом золотого сечения. Вначале в прямоугольной области (8.4) зафиксируем координату y = y⁰, тогда функция f(x, y⁰) будет зависеть только от одной переменной x. Найдем минимум x⁰₁ функции f(x, y⁰), изменяя координату x по методу золотого сечения.

Затем зафиксируем первый аргумент x = x⁰₁ и найдем минимум y¹ функции f(x⁰₁, y) относительно второго аргумента y (точка B) на рис. 13.2). Аналогичным способом перейдем последовательно к точкам C(x¹, y¹), D(x¹, y²) и т.д.

Если в области минимума функция f(x, y) достаточно гладкая, то процесс спуска по координатам будет линейно сходиться к минимуму.

В сходящемся процессе с приближением к минимуму функции f(x, y) расстояния между последовательными точками однокоординатных минимумов будут стремиться к нулю. Поэтому в качестве критериев окончания итерационного процесса координатного спуска выбираются условия

Рисунок 13.2 - Демонстрация метода покоординатного спуска.