Метод множителей Лагранжа

минимизировать , при ограничениях

Тогда мож­но определить обычным образом функцию Лагранжа

где — неотрицательные и не зависящие от весовые коэффициенты, которые можно отождествить с множителями Лагранжа.

Для того чтобы было решением общей задачи нели­нейного программирования необходимо и доста­точно чтобы:

1) функция была выпуклой

2) в окрестности х* ограничения задачи были выпуклы и

3) в точке удовлетворя­лась следующая система уравнений

Аппроксимация функции (ряд Тейлора для Rn )

МЕТОДЫ ПОИСКА
Градиентный метод
Метод Ньютона
Квазиньютоновские Методы
- матрица, аппроксимирующая .

ПРЯМОЙ ПОИСК (Хука-Дживса)

изменяется на величину , так что . Если приращение не улучшает целевую функцию, изменяется на и значение проверяется, как и ранее. Если значение не улучшают ни ни , то оставляют без изменений.   Затем изменяют на величину и т, д., пока не будут изменены все независимые переменные, что завершает один исследующий поиск.   На каждом шаге или сдвиге по независимой переменной значение целевой функции сравнивается с ее значением в предыдущей точке. Если целевая функция улучшается на данном шаге, то ее старое значение заме­няется на новое при последующих сравнениях. Однако если произведенное возмущение по неудачно, то сохраняется прежнее зна­чение . После проведения одного (или более) исследующего поиска применяется стратегия поиска по образцу. Удачные изменения переменных в исследующем поиске [т. е. те изменения переменных, которые уменьшили ] определяют вектор в , указывающий некоторое направление минимизации, которое может привести к успеху. Серия ускоряющихся шагов, или поиск по образцу, проводится вдоль этого вектора до тех пор, пока уменьшается при каждом таком поиске. Длина шага при поиске по образцу