Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
расширению области ее приложений. Именно, был решен ряд задач
математической статистики и динамического программирования (Стрдтонович
[15-19]). В процессе работы над этими задачами выкристаллизовывались
основные формулировки и результаты излагаемой в гл. 8 общей теории
оптимального управления. Эти вопросы нашли отражение в докладе автора на
IV Всесоюзном математическом съезде (Ленинград, 1961 г.), а также в
статьях [13, 17]. Результаты, полученные автором в 1960 г. и частично
прореферированные в [15], составили содержание Дополнения (стр. 290).
§ 8.1. ОБЩАЯ ПОСТАНОВКА ЗАДАЧИ. ФУНКЦИЯ РИСКОВ В ИЗМЕРИМОМ ПРОСТРАНСТВЕ
1. Излагаемой ниже теории оптимального управления свойствен
последовательный во времени характер. Пусть множество значений параметра
(времени) t представляет собой интервал Т=[а, Ь] или его подмножество,
для определенности остановимся на первом случае.
Процесс управления. Пусть процесс управления и образует точку в измеримом
пространстве (U, W). В нем имеется монотонное семейство ст-алгебр °Цп, *6
Т {U'sCLU'1 <ZWb = 11', s<t). Для наглядности удобно представлять себе,
что и есть функция u(-) - {u(t), t^T}, а ст-алгебра ^/"'выделена
условиями,
158
наложенными на ее "предыдущие" значения, т. е. на и*а ~ ~{и(х), т?
[a,t]\. При такой интерпретации, кроме U, можно ввести в рассмотрение
пространства Us } usa, s ( Т, а также пространства tA("(r)), s</
всевозможных - {и (X), т( [s, /]}. Последние пространства берутся при
фиксированных usa, поэтому в общем случае оказываются зависящими от usa.
В указанных пространствах естественным образом можно определить ст-алге-
бры: U"s в Us и (usa) в Uls (и'а). Прообразы этих cr-алгебр в общем
пространстве (U, U') обозначаем U's, U's4ua) - U'/iU'*) (последние можно
рассматривать как ^'^-измеримые функции от и).
В некоторых частных случаях пространства (t/( ("*), U'Jfal)) не зависят
от usa. Тогда, очевидно,
U* = и* X U's, ип = W* х и\и, иц ^a(U's и Щ)\
и*г = и'гх К = U'; xu'j (r<s<t),
Эти -случаи мы назовем случаем независимого выбора управления или случаем
несвязанного управления.
В общем случае, когда U{(usa)i W*^) существенно зависят от Ua , дело
обстоит сложнее. Тем не менее и в этом случае мы будем полагать
и' = U* X U{ ("*); U"' = U"s X WJ (U"s),
а также
и'1 = о(и'°{Л1'Ли'°)). (8.1)
В общем случае эти соотношения можно понимать как определение операции
декартового .произведения "X" и определение условной а-алгебры * Us(U's)-
Вместо (8.1), будем пользоваться также более короткой формой записи:
_____________________ W' =U,SU'S4U,X), s<t.
* Немного поясним понятие условной а-алгебры. Пусть имеется измеримое
пространство (О, <%$) и ^"СПс(r). Условной а-алгеброй мы называем зависящее
от m6Q семейство а-алгебр <§¦ (&~) = <§¦ (со) (dt(r)), которое как функция
от и является ^-измеримым (если фиксирована а-алгебра то {со : § (со)
=$"}?#¦).
Выберем множество А ? &t точку ш0€Л, и множество Г€§(ш0) и возьмем
пересечение ГЛ. Минимальную а-алгебру, содержащую любые подобные
множества ГЛ при всевозможных Л, т0, Г, обозначаем
Если (сШ ZD ) Ш ZD , то существует такая условная а-алгебра <§• {Эг), что
=&е.
Условную меру Р(Л|^"), заданную на Ш с одинаковым успехом можно считать
определенной на условной а-алгебре и наоборот.
159
Более общим, чем случай несвязанного управления, является случай
марковски связанного управления.
Определение 8.1. Управление называем марковски связанным, если существуют
такие функции us = us(ua), что
ul (USa) = Ul (щ), Us (uSa) - Us (",).
При этом us будем называть марковской координатой процесса. Если Us
(C1U'S) - ст-алгебра, определенная условиями, наложенными на us(ul), то
очевидно
и?(и'°)=и:1(й:).
Хотя это не очень существенно, а-алгебру Ua будем предполагать
тривиальной, т. е. состоящей из пустого множества и всего пространства.
2. Основной процесс. Выбор управления указывает вероятностное
поведение некоторого основного процесса. Точнее, фиксация управления иа,
предшествующего моменту t, задает вероятностную меру Р (-["а ) на
некоторой а-алгебре Л"*{и*а) некоторого пространства ?2* (ul) } С (в
общем случае это пространство и о-алгебра зависят от и(а). Пара (иа, С)
образует точку пространства t/*X?2i(ui), в котором определена о-алгебра
сSb"t=U"tx.u€"f(U,"h''
Будем предполагать, что ?2' ("а) = ?2Г (щ) X при s < t, где ?2S -
некоторое дополнительное пространство.
Удобно ввести единое измеримое пространство элементарных событий
(?2, X) = (U* х ?2"(г$, Wb х Л"ь (U"h))
(т. е. сШ - Ss>"b) и, вместо а-алгебр (например, Л"* (и1а), $>"*) в
различных пространствах, рассматривать соответствующие а-алгебры в (Q,
X). Так, накладывая условие u^K^U'* на первую точку пары (и, ?), ы (J U,
? ( ?2* (и), мы определяем а-алгебру WС(r), являющуюся прообразом а-алгебры
%Цг (а-алгебру в (Q, X) мы обозначаем той же самой буквой, но без
штриха].
Подобно тому, как в обозначениях предыдущего пункта UJ'h совпадает с Urb,
обозначим Л'ь ~Л"Ь. В пространстве ?2* (и) а-алгебрам Л'п (и1а)
