Градиентные методы

Градиентом непрерывной функции в точке называется вектор с координатами , показывающий вектор наискорейшего возрастания функции.

. (1)

Первоначальной задачей всех градиентных методов является экспериментальное определение координат градиента .

Если разложить функцию отклика у (х) в окрестностях точки х ₀ в ряд Тейлора и ограничиться только линейными членами, то получим

. (2)

Такое приближенное описание функции представляет собой касательную плоскость к поверхности у (х) в точке х ₀.

Если в близи точки х ₀ провести эксперимент по факторному плану 1-го порядка и аппроксимировать результаты уравнением 1-ой степени, то мы получим некоторое уравнение

, (3)

которое представляет собой некоторую гиперплоскость.

Если точки, в которых проводился эксперимент, расположить не далеко от х ₀, то и будут близки, а следовательно будут приблизительно равны и коэффициенты и .

Т.о., если в окрестностях точки х ₀ провести эксперимент, построить уравнение типа (3), то мы приближенно сможем определить значение коэффициентов уравнения (2), которыеп в свою очередь будут являться значениями коэффициентов градиента (1).

Из математики известно, что при перемещении на некоторый отрезок Δ, вдоль направления градиента, координаты будут изменяться в соответствии с равенством

. (4)

Следовательно, если мы хотим передвигаться по поверхности отклика и иметь наибольшую скорость подъема, то координаты пробных точек необходимо изменять взаимосвязано, в соответствии с уравнением (4).