Наискорейший спуск. Возникает задача как выбрать направление d , чтобы получить наибольшее изменение функции df при

Возникает задача как выбрать направление d, чтобы получить наибольшее изменение функции df при

соблюдении условия (*) т.е. с ограничением.

Используем метод множетелей Лагранжа для поиска функции

или

На основе метода df достигает max, если φ достигает max. Берем производную от φ

(j=1, 2, …, n) и приравниваем ее нулю, получаем ,

следовательно,

. “Направления” совпадают с градиентами функции f(x) в точке x, или g(x).

Для min - f(x) или – g(x). Уравнение (0) можно записать так , где Θ – угол между векторами g(x) и dx. Угол выбран Θ =180⁰ , чтобы обеспечить направление – g(x):

.

Значения λ _i , минимизирующее функцию φ может быть найдено любым методом одномерного поиска. В чистом виде метод работает медленно и не надежно. Но прежде чем перейти к более эффективным методам, рассмотрим свойства квадратичных функций.

F(x)= , где a – константа, b – постоянный вектор, G – положительно определенная симметрическая матрица.

min в точке .

Поставим задачу так, что в окресности точки х₀ любую функцию φ (х) можно аппроксимировать

квадратичной функцией:

Пусть min φ (x) находится в точке х_m

Берем производную и приравниваем ее к нулю.

, откуда:

, т.е. в итерационном виде:

, а с учетом множителей Лагранжа:

.

Видим, что по сравнению с методом наискорейшего спуска требуется умножение на G^-1(x_i), а это самая трудоемкая операция метода.

Но если проводить умножение на H_i, а не G^-1(x_i) , то получим метод Давидона – Флетчера – Пауэлла (ДФП). - симметрическая положительно определенная матрица. В ходе вычислений она приближается к матрице