Понятие градиента

Градиентом функции F двух или нескольких переменных x_i называют вектор, направленный в сторону возрастания F из данной точки по нормали к проходящей через эту точку кривой или поверхности уровня функции F и равный по длине производной по направление нормали. Производная в данной точке по какому либо направлению l, составляющему угол α с , равна проекции градиента на это направление:

= cos α

поэтому градиент численно равен наибольшей из производных по всевозможным направлениям в данной точке и направлен в сторону наибыстрейшего возрастания F.

Если функция задана уравнением

F = F (x₁, x₂, …, x_n),

то ее градиент в точке (x₁, x₂, …, x_n) определяют вектором

grad F =

Частная производная есть проекция вектора градиента на i - ю ось координат.

В основу градиентных методов оптимизации положено свойство градиента, заключающееся в том, что направление наибольшего уменьшения целевой функции всегда противоположно направлению ее градиента.

Координата точки x ^{(К +1)}, в которой выполняется условие

F (x ^{(К +1)}) < F (x ^(К)),

Определяется из соотношения

x ^{(К +1)} = x ^(К) + λ ^(К) + F’ (x ^(К)),

где λ ^(К) - шаг вдоль выбранного направления уменьшения F (x). Оценка значения λ ^(К) производится путем решения задачи

min F (x ^(К) + λ ^(К) + F’ (x ^(К))),

λ .