Общие сведения о численных методах оптимизации

Вектор задает направление движения в пространстве ,

число - величину " шага" при переходе из точки в точку .

Если используется информация только о целевой функции , алгоритм называют алгоритмом нулевого порядка; если используется информация о производных первого порядка - алгоритмом первого порядка; если используются вторые производные - алгоритмом второго порядка и т.д.

Если алгоритм за конечное число шагов приводит в точку , его называют конечношаговым, иначе - бесконечношаговым.

(2)

Алгоритм (1) относят к методам спуска

1. Выбор направление поиска

Оп ределение 1. Будем говорить, что вектор в точке задает направление убывания функции (в задаче минимизации), если при всех достаточно ма­лых величинах выполняется условие . Такой вектор называют направлением убывания

2. Правило выбора параметра

а) ,

б) ,

в) (3)

3. Скорость сходимости алгоритма:

· линейная скорость, скорость геометрической прогрессии

· сверхлинейная скорость

· квадратичная скорость

4. Правилами останова алгоритма

(4)

где - некоторые достаточно малые положительные числа.

4. Выбор точки начального приближения

2.5. Алгоритмы многомерной оптимизации

(5)