Метод Н’ютона

У методі Коши застосовується найкраща локальна стратегія пошуку з використанням градієнту. Однак, рух у напрямку, протилежному градієнту, приводить до точки мінімуму лише в тому випадку, коли лінії рівня функції f являють собою кола. Таким чином, напрямок, протилежний градієнту, загалом кажучи, не може бути придатним глобальним напрямком пошуку точок оптимуму нелінійних функцій. Метод Коши засновується на послідовній лінійній апроксимації цільової функції та потребує обчислень значень функції та її перших похідних на кожній ітерації. Для того, щоб побудувати більш загальну стратегію пошуку слід підключити інформацію про другі похідні цільової функції. Розкладемо цільову функцію в ряд Тейлора.

(4.7)

Відкидаючи всі члени розкладу третього порядку й вище, отримаємо квадратичну апроксимацію f(x).

, (4.8)

де - апроксимуюча функція змінної x, побудована в точці .

На основі квадратичної апроксимації функції сформулюємо послідовність ітерацій таким чином, щоб у знов здобутій точці градієнт апроксимуючої функції, тобто обертався на 0.

. (4.9)

Одержуємо:

. (4.10)

Послідовне використання схеми квадратичної апроксимації приводить до реалізації оптимізаційного методу Н’ютона за формулою:

. (4.11)