На каждом шаге принимается такое решение, которое обеспечивает оптимальность с данного шага до конца процесса.

ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ

, (1)

Показатель эффективности – целевая функция –

(2)

Целевая функция (2) является аддитивной от показателя эффективности каждого шага:

(3)

(4)

ПРИНЦИП ОПТИМАЛЬНОСТИ БЕЛЛМАНА

На каждом шаге принимается такое решение, которое обеспечивает оптимальность с данного шага до конца процесса.

Осуществление этого принципа состоит из двух этапов:

1) этап условной оптимизации;

2) этап безусловной оптимизации.

Этап условной оптимизации.

Процесс динамического планирования осуществляется с конца, находя оптимальное управление для каждого возможного исхода предпоследнего шага:

(5)

где – условный максимум на шаге n,

управление , при котором это достигается, – условными оптимальными управлениями последнего шага.

Затем на основе условных управлений последнего шага строится условное оптимальное управление для каждого возможного состояния на предпоследнем шаге и так далее до начального состояния:

(6)

Уравнения (5) – (6) называются уравнениями Беллмана; – функциями Беллмана, управление , при котором это достигается, – условными оптимальными управлениями k -го шага.

В итоге построим цепочку оптимальных управлений и оптимальное значение целевой функции .