С индексом n — указателем-определителем множеств возможных векторов состояния — в реальных задачах может быть связан некий изменяющийся параметр, например: время, пройденный путь, уровень мощности, мера расходования некоего ресурса и т. п. То есть метод применим не только для оптимизации управления процессами, длящимися во времени, но и к задачам оптимизации многовариантного одномоментного или нечувствительного ко времени решения, если такого рода «безвременные», «непроцессные» задачи допускают их многошаговую интерпретацию.
Теперь обратимся к рис. 1 — рис. 3, повторяющим взаимно связанные рис. 40, 41, 42 из курса теории автоматического управления П. де Ла Барьера, хотя в нём они иначе озаглавлены.
На рис. 1 (приведён ниже по тексту) показаны начальное состояние системы — «0» и множества её возможных последующих состояний — «1», «2», «3», а также возможные переходы из каждого возможного состояния в другие возможные состояния. Всё это вместе похоже на карту настольной детской игры, по которой перемещаются фишки: каждому переходу-шагу соответствует свой шаговый выигрыш, а в завершающем процесс третьем множестве — каждому из состояний системы придана его оценка, помещенная в прямоугольнике. Принципиальное отличие от игры в том, что гадание о выборе пути, употребляемое в детской игре, на основе бросания костей либо вращения волчка и т. п., в реальном управлении недопустимо, поскольку это — передача целесообразного управления тем силам, которые способны управлять выпадением костей, вращением волчка и т. п., т. е. тем, для кого избранный в игре «генератор случайностей» — достаточно эффективно (по отношению к их целям) управляемое устройство.
Рис. 1. К существу метода динамического программирования. Матрица возможностей.
Если выбирать оптимальное управление на первом шаге, то необходимо предвидеть все его последствия на последующих шагах. Поэтому описание алгоритма метода динамического программирования часто начинают с описания выбора управления на последнем шаге, ведущем в одно из завершающих процесс состояний. При этом ссылаются на «педагогическую практику», которая свидетельствует, что аргументация при описании алгоритма от завершающего состояния к начальному состоянию легче воспринимается, поскольку опирается на как бы уже сложившиеся к началу рассматриваемого шага условия, в то время как возможные завершения процесса также определены.
В соответствии с этим на рис. 2 анализируются возможные переходы в завершающее множество состояний «3» из каждого возможного состояния в ему предшествующем множестве состояний «2», будто бы весь предшествующий путь уже пройден и осталось последним выбором оптимального шагового управления завершить весь процесс. При этом для каждого из состояний во множестве «2» определяются всеполные выигрыши как сумма = «оценка перехода» + «оценка завершающего состояния». Во множестве «2» из полученных для каждого из состояний, в нём возможных полных выигрышей, определяется и запоминается максимальный полный выигрыш и соответствующий ему переход (фрагмент траектории). Максимальный полный выигрыш для каждого из состояний во множестве «2» взят в прямоугольную рамку, а соответствующий ему переход отмечен стрелкой. Таких оптимальных переходов из одного состояния в другие, которым соответствует одно и то же значение полного выигрыша, в принципе может оказаться и несколько. В этом случае все они в методе неразличимы и эквивалентны один другому в смысле построенного критерия оптимальности выбора траектории в пространстве параметров, которыми описывается система.
Рис. 2. К существу метода динамического программирования. Анализ переходов.
После этого множество «2», предшествовавшее завершающему процесс множеству «3», можно рассматривать в качестве завершающего, поскольку известны оценки каждого из его возможных состояний (максимальные полные выигрыши) и дальнейшая оптимизация последовательности шаговых управлений и выбор оптимальной траектории могут быть проведены только на ещё не рассмотренных множествах, предшествующих множеству «2» в оптимизируемом процессе (т. е. на множествах «0» и «1»).
Таким образом, процедура, иллюстрируемая рис. 2, работоспособна на каждом алгоритмическом шаге метода при переходах из n-го в (n — 1) — е множество, начиная с завершающего N-ного множества до начального состояния системы.
В результате последовательного попарного перебора множеств, при прохождении всего их набора, определяется оптимальная последовательность преемственных шаговых управлений, максимально возможный полный выигрыш и соответствующая им траектория. На рис. 3 утолщённой линией показана оптимальная траектория для рассматривавшегося примера.
Рис. 3. К существу метода динамического программирования. Оптимальная траектория.
В рассмотренном примере критерий оптимальности — сумма шаговых выигрышей. Но как было отмечено ранее, критерий оптимальности может быть построен и как произведение обязательно неотрицательных сомножителей.
Поскольку результат (сумма или произведение) не изменяется при изменении порядка операций со слагаемыми или сомножителями, то алгоритм работоспособен и при переборе множеств возможных состояний в порядке, обратном рассмотренному: т. е. от исходного к завершающему множеству возможных состояний.
Если множества возможных состояний упорядочены в хронологической последовательности, то это означает, что расчётная схема может быть построена как из реального настоящего в прогнозируемое определённое будущее, так и из прогнозируемого определённого будущего в реальное настоящее. Это обстоятельство говорит о двух неформальных соотношениях реальной жизни, лежащих вне алгоритма метода:
1. Метод динамического программирования формально алгоритмически нечувствителен к характеру причинно-следственных обусловленностей (в частности, он не различает причин и следствий). По этой причине каждая конкретная интерпретация метода в прикладных задачах должна строиться на неформальном учёте реальных обусловленностей следствий причинами.
2. Если прогностика в согласии с иерархически наивысшим всеобъемлющим управлением, а частное управление, вложенное во всеобъемлющее управление, осуществляется квалифицировано, в силу чего процесс частного управления протекает в ладу с иерархически наивысшим всеобъемлющим управлением, то НЕ СУЩЕСТВУЕТ УПРАВЛЕНЧЕСКИ ЗНАЧИМОЙ РАЗНИЦЫ МЕЖДУ РЕАЛЬНЫМ НАСТОЯЩИМ И ИЗБРАННЫМ БУДУЩИМ.
Процесс целостен, по какой причине ещё не свершившееся, но уже нравственно избранное и объективно не запрещённое Свыше будущее, в свершившемся настоящем защищает тех, кто его творит на всех уровнях: начиная от защиты психики от наваждений до защиты от целенаправленной «физической» агрессии. То есть, если матрица возможных состояний (она же матрица возможных переходов) избрана в ладу с иерархически высшим объемлющим управлением, то она сама — защита и оружие, средство управления, на которое замкнуты все шесть приоритетов средств обобщённого оружия и управления.
Объективное существование матриц возможных состояний и переходов проявляется в том, что в слепоте можно «забрести» в некие матрицы перехода и прочувствовать на себе их объективные свойства. Последнее оценивается субъективно, в зависимости от отношения к этим свойствам, как полоса редкостного везения либо как нудное «возвращение на круги своя» или полоса жестокого невезения.
Но для пользования методом динамического программирования и сопутствующими его освоению неформализованными в алгоритме жизненными проявлениями матриц перехода, необходимо СОБЛЮДЕНИЕ ГЛАВНОГО из условий:
В задачах оптимизации процессов управления метод динамического программирования ‹реального будущего: — по умолчанию› работоспособен только, если определён вектор целей управления, т. е. должно быть избрано завершающее процесс определённое состояние.
В реальности это завершающее определённое состояние должно быть заведомо устойчивым и приемлемым процессом, объемлющим и несущим оптимизируемый методом частный процесс. Но выбор и определение определённых характеристик процесса, в который должна войти управляемая система по завершении алгоритма метода, лежит вне этого метода — в области «мистики» или в области методов, развитых в нематематических по своему существу науках и ремёслах.
