Метод Марквардта

Даний метод є комбінацією методів Коши та Н’ютона, в якому добре сполучаються позитивні властивості обох методів. При використанні методу Марквардта необхідна інформація про значення других похідних цільової функції. Градієнт вказує напрямок найбільш локального збільшення цільової функції, а рух у напрямку, протилежному градієнту з точки , розташованої на значній відстані від точки мінімуму , зазвичай приводить до суттєвого зменшення цільової функції. З іншого боку, напрямки ефективного пошуку в околі точки мінімуму, визначаються методом Н’ютона. Ідея об’єднання методів Коши та Н’ютона була покладена в основу алгоритму, розробленого Марквардтом. Згідно цього методу напрямок пошуку визначається рівнянням:

. (4.15)

При цьому в формулі (4.1) покласти , так як параметр дозволяє не тільки змінювати напрямок пошуку, але й регулювати довжину кроку.

,

де – поточне наближення до рішення ;

– параметр, що характеризує довжину кроку;

– це напрямок пошуку в n-мерному просторі управляючих змінних;

I – це одинична матриця, тобто матриця, всі елементи якої дорівнюють 0, за вийнятком діагональних елементів, що дорівнюють 1.

На початковій стадії пошуку присвоюється велике значення, наприклад = . В цьому випадку

. (4.16)

При великому значенні ( мале) напрям пошуку:

. (4.17)

З виразу (4.14) можна заключити, що при зменшенні до 0 змінюється від напрямку, протилежному градієнту до напрямку, визначеному за методом Н’ютона. Якщо після першого кроку отримана точка з меншим значенням цільової функції (, слід обрати та реалізувати ще один крок. Інакше слід покласти , де , та знову реалізувати попередній крок.