Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
vm(t)}. То же
самое можно сказать и о другом вторичном процессе {Wt} = = {wa (/)}, его
компоненты, кроме того, связаны соотношением 2гца = 1. Уравнения (6.31),
(6.38) есть стохастические уравне-
a
ния (см. § 2.2), определяющие процесс {wa(t) ). Аналогичные уравнения,
например (6.35), для (va(t) } получаются, если конкретизировать уравнение
(5.58), (5.64). ,<
Применяя теорему 2.3, где нужно положить {-Ка} ={^а, Ус] Zk = 0, к
уравнению (6.31), или (еще короче) исходя из (6.38), получаем следующий
результат:
Теорема 6.5. В рассматриваемом случае процесс (гца(/)} как диффузионный
процесс характеризуется параметрами сноса и локальными дисперсиями:
lim - М {wa (t + Д) - wa (t) | w(t) = w, у (t) = y\ = wypya;
A^O A
lim M ([ша (t + A) - wa (/)] [ю3 (t + A) - wp (/)] | w, y) =
Д4.0 A
= Wa [oy (a) - MpsaP'] [aa- ф) - Mpsaa ] (6.40)
- wa (t)\ [yp, (t + A) w*[ap- (a) - Mpsap-];
lim ~ M {[юа (t + A) - wa (t)} [yp. (t + A) - yr (t)] \w,y) =
A|0 A
lim A- M {[юа (t + A) - wa (/)] [yp. (t + A) - yp. (/)] | w, y) =
Д |0 A
= wa [ap, (a) - M ap,] bpAba-f" = [<V (a) - M at*].
136
В совпадении выражений [ар-(а) - М^ау (а)] Ьр-\,-Ь^Р" иар-(а) -
¦- МpsaP" можно убедиться, учитывая, что разность ар--------
- аР' Ь~о' Ь&р" = /у на допустимом множестве (6.18) не зависит от а, так
что /у-Mps/y = 0.
Определенный в § 5.6 вторичный апостериорный процесс {Й^(Г), Г€,2Гг} (см.
определение 5,4), в рассматриваемом случае сводится к комбинированному
процессу {wa, УР}¦ В самом деле, апостериорная мера Wt в комбинированном
фазовом пространстве Е = EmXRi будет полностью определена, если задать
меру Wt на Ет (т. е. на сг-алгебре XiXV0) и точку y?Ri. В соответствии с
теоремой 5.9 процесс {wa, ур} является марковским. Из уравнений (6.31),
(6.38) и из теоремы 6.5 следует, кроме того, что он является диффузионным
и описывается вторичным инфинитезимальным оператором
dx (t) = \wma-JL- + Mpsap -±- +
\ О & P
+ - j- wa \aP' (a) - Mps<y ] bj>". [cy (P) - Mpsa^] wp * +
^ a 0
+ [ap (a) - Mpsap] + -L Mps bpa ^ }<ft. (6.41)
Апостериорный процесс {va, yP) в свою очередь также является диффузионным
и для него аналогичным образом легко может быть найден вторичный
инфинитезимальный оператор, например, при помощи формулы (6.35).
§ 6.5. ПРИМЕР. ПРОЦЕСС С ДВУМЯ СОСТОЯНИЯМИ
Рассмотрим частный случай двух диффузионных процессов (т = 2). Априорные
марковские переходы между ними пусть описываются оператором Pa#dt, где
- в В
V - - V
(р = р (t), v = v (t) - непрерывные функции времени).
Будем для простоты предполагать, что оба диффузионных процесса имеют
одинаковую невырожденную матрицу локальных дисперсий следующего простого
вида
Ьрв - N бра,
причем N постоянная (тогда /' = / и индексы с одним штрихом можно
отождествить с нештрихованными индексами).
Согласно формулам (6.26), (6.37) апостериорные инфи-
137
нитезимальные операторы в данном случае имеют вид dL (/)"р = рар dt+-^
|af (а) - ~ ар (а) dt j -
1 да (а)
ду9
dt^ 6api
(6.42)
dL* tf)a3 = Раз dt + - К (а) - Mps ар] [d*i/p - Mps ар Л] 6,
ааЗ-
Поскольку
/ (1) М / = w% \f (1) -/(2)],
основное уравнение (5.61), (5.66) можно записать в любой из двух форм
dw1 = -dwi = (-nw1 + vwi)dt -f- Ш1--?--[ар(1) - ар (2)] х
"plD + apia) -j од ш2 ' daf( 1) <4 (2) I
a?/p LLlt 2 2N 4 -
dt;
(6.43)
Wx W2
N
[°p (1) - ae (2)] x
X[d*(/p-(r)iap(l)-iDaap(2)], вытекающих из (6.31), (6.38).
Далее, уравнение (5.67) для V" (a, Q) (=s{7(a)) как функции от / и a
принимает вид
-dV(l) = - p[V{\)-V(2)}dt +
+ У(1)а,2 ][ap(l) ap(2)]
N '
dy p -
aP(i) 4- a. (2)
dt
dt
2
5a (!) <4(2)
дУо
дУо
(6.44)
N
¦ dV (2) = v [V (I) - V (2)]dt -
ap(l) + ap (2)
v (2)^1 Uap (1) - "Р (2)]
d-У?
dt
dt
da0 0) da (2)
дУо
Приведем также инфинитезимальный оператор dL(t), со-
138
ответствующий данному случаю. Подставляя (6.42) в (5.68), находим
\dL\\ -
V (2, Й) - И-2-Л- V'(l.Q) VC2, Q) U --!_ V'(l.Q)
г УО.П) V (2, Q) У(1. Q) .-. V -2 V (2, О)
dt
в соответствии с (6.39). Здесь согласно (5.58) функция К(а, Q) sV"(a,Q)
как функция от t удовлетворяет уравнению
- dV( 1.Q) = -р[У(1,П) - V(2,Q)]dt +
дар (1)
dt
дУо
(6.45)
- dV(2,Q) = v[V(l,Q) - V(2, &)]dt +
+ ~У(2, G)|ap(2)
dt da (2)
дУо
В заключение остановимся на вторичном процессе и его инфинитезимальном
операторе. Вследствие соотношения Wi + = 1 в случае т = 2 можно
ограничиться рассмотрением
лишь одной вероятности, скажем W\. Процесс {щ, у?} представляет собой
диффузионный марковский процесс, и согласно (6.41) его оператор имеет вид
dj?(t) = |(- + vw2) + Mps а9 +
+ -l-a^Yrflp(l)_a|lW-?-+ (6-46)
+ wtw2 [aP (1) - ap (2)]
d2
дщ dy
+
d*
дУо дУс
•}
dt.
Результаты настоящей главы допускают обобщение и на тот случай, когда
число различных диффузионных процессов не является конечным, т. е. когда
марковски меняющийся параметр а диффузионного процесса принимает значения
из более сложного множества Ех, нежели Ет. Простое обобщение равенства
(6.24) имеет вид
чА у-.0Г"* ' •/
dL* (t) = dh'pr (t) + df (a, t), (6.47)
