Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
где dL* (t) -оператор апостериорного процесса в Ех, dLpr - оператор
априорного процесса, а df(a,t)-оператор, соот-
139
ветствующий умножению на функцию
df (a, t) = с (а, у (t), t) dt + ар- (а, у (t), t) b~-la, (t) d* ya- (t),
(6.48)
а ? Ex.
Для справедливости указанного результата существенно лишь, чтобы
априорный процесс в Ех был марковским и чтобы мера процесса в
комбинированном фазовом пространстве E = ExxRi определялась формулой
(6.21). Ограничившись данным замечанием, мы не будем здесь подробнее
рассматривать описанное обобщение.
Глава 7
НЕПОЛНОЕ НАБЛЮДЕНИЕ МНОГОМЕРНОГО ДИФФУЗИОННОГО ПРОЦЕССА
§ 7.1. ПОСТАНОВКА ВОПРОСА И ОСНОВНЫЕ РЕЗУЛЬТАТЫ
Рассмотрим в этой главе другой частный случай условных марковских
процессов. Отличительной особенностью этого случая является то, что он
является не комбинированным. Если в предыдущей главе исходным процессом
был комбинированный процесс в произведении пространств, то здесь исходным
будет единый процесс в (т + 1)-мерном пространстве Rm+i. Наблюдаемыми
будут / координат этого пространства. Мы остановимся здесь на случае
диффузионного процесса в Rm+i, потому что этот случай важен с
практической точки зрения. Он представляет также бесспорный теоретический
интерес, поскольку диффузионные процессы являются важнейшими среди
марковских процессов и тесно связаны с аппаратом дифференциальных
уравнений. Естественно ожидать, что апостериорные инфинитезимальные
операторы, как и априорные, будут иметь вид дифференциальных операторов.
В главах первой части нами уже подготовлен материал, который можно
применить для быстрого получения основных результатов.
В предыдущей главе частью комбинированного марковского процесса также был
диффузионный процесс, поэтому рассматриваемый здесь случай по
математическому аппарату не очень далек от предыдущего. Если параметр а
из гл. 6 априори меняется диффузионным образом, т. е. { a(t)} есть
диффузионный процесс, то тогда результаты, полученные на основе теории
главы 6, будут являться частным случаем результатов настоящей главы.
Другим частным случаем общей теории данной главы является простой случай,
рассматривавшийся Вентцелем [1]. В этом случае наблюдаемые компоненты
совокупного процесса образуют марковский процесс сами по себе, что,
правда, редко бывает в практических задачах.
141
1. Пусть Zj, j= 1, ..., m + l- координаты точки в (m + l)-мерном
пространстве Rm+i, т + 1 = п. Исходный диффузионный процесс в нем,
соответствующий мере Р, описывается параметрами c(z,t), aj(z,t),
bjk(z,t), т. е. имеет инфинитезималь-ный оператор
рг
dL", (t) = (c-f ar
dtj
Jjk'
¦\dt.
(7.1)
cj dzj dzfo J
Функции с, dj, bjk, как обычно, мы предполагаем непрерывными по всем
аргументам и непрерывно дифференцируемыми по всем аргументам, кроме
времени.
Пусть наблюдается часть компонент исходного процесса, скажем
zm+\(t),zm+i{i). Для наглядности, как и в § 4.4, наблюдаемые компоненты
обозначаем другой буквой: y9{t) = - 2p(0> p = m+l, m + l, в то же время
остальные ненаблю-
даемые компоненты обозначаем: xa{t)=za(t), а=1, ..., т Выбор индекса
указывает область его изменения: /, k,... про бегают значения 1,..., т +
1\ а, р,... - значения 1,..., т а р, сг, ...-значения m+l, ..., т + 1\
р', а',...-значения m+l,.. ..., m + l', и, наконец, р", а", ... -
значения m + l'+ 1, ..., т + 1
Процесс {xa(t), ур (I)},или, что в сущности то же самое процесс {та(0} с
условными мерами Р(- |г/") является в дан ном случае условным марковским
процессом, подлежащим изучению. Применение теоремы 4.1 приводит к
следующему утверждению.
Теорема 7.1. Если Ь9а и ар" - т. bx-le о.я\ не зависят от х , то для
рассматриваемого процесса' выполняется гипотеза 5.1, причем мера Q
задается инфинитезимальным оператором
dLQ (t) = (йр" 5рЧ' bx'n" Ял")
д ¦ 1 h д*
"V + 2 р° ду9ду{
-]л. (7.2)
В самом деле, вследствие теоремы 4.1, производная Радона-Никодима (5.36)
может быть получена усреднением (4.33) производной (4.27):
P(dy\Tt\2s)
Q (dy's i ys)
Р (dy{ Г( 1 zs) Q (dyt\zs)
= Mr
I
exp | J cdx + ar brl d*zk' - ¦
Мы воспользовались соотношением Viaи равенством Q(dyllxs, ys)=Q(dyil ys),
вытекающим из того факта, что оператор (7.2) не зависит от ха в силу
условия теоремы. По этой же причине мера Q является марковской на о-
алгебрах {Vt} • В дальнейшем под о-алгебрами можно пони-
142
мать не только а-алгебры в пространстве Rm+i, но и о-алгебры в
пространстве Ri.
Теорема 7.2. При выполнении условий теоремы 7.1 марковская система мер
И. fa Г,)- (7.3)
Q (dys 1 ys)
fs
имеет инфинитезимальный оператор
dL* (t) = с dt + а?-br\' d*ya> + (аа dt + bae- br" d* ya-) +
uxa
+ -Lba*dt яд\ (7.4)
2 P dxa dxp '
Доказательство. Кроме меры P с инфинитезималь-ным оператором (7.1) введем
в рассмотрение меру Р', определенную преобразованием мер
Р(Г,1 z(s)) = е~ЧаXa(s) f V[dz\z(s))eqa(7.5) 7
В соответствии с теоремой 3.3, все условия которой в
данном случае выполнены, указанной мере соответствует
инфинитезимальный оператор
