Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
Пользуясь теоремой Фубини, изменим порядок интегрирования в правой части
и учтем (5.40). Это приведет к равенству
f И fcs, г")Q №? I &) = j [ j Vi (zs, dzt) V" (zt, Ги)] Q (dyus \ ys).
4At. А'Л"
По теореме Радона-Никодима отсюда получаем (5.27). Доказательство
закончено.
109
§ 5.5. АПОСТЕРИОРНЫЕ МЕРЫ, СООТВЕТСТВУЮЩИЕ НАЧАЛЬНОМУ РАСПРЕДЕЛЕНИЮ
Через основную апостериорную меру Vs можно выразить некоторые
апостериорные вероятности, но не все. В общем случае для определения
апостериорных вероятностей указанной меры оказывается недостаточно,
требуется задать еще некоторое начальное распределение. В настоящем
параграфе мы приведем формулы, позволяющие отыскать различные
апостериорные вероятности, когда известны и основная апостериорная мера,
и начальное распределение.
1. Используя (5.7), а затем (5.14), имеем
р (Г, I У[) = f Ks &) Р (dzs | У1) = f V*n (zs, Q) P (dzs \y}) (r<s<t) 4
r,
и вследствие (5.26)
P(TJ^) = -VrP(^|^)^(zSIQ). (5.41)
Srs J
s
Введем обозначение
Vrst(rt) = ^P(dzs\ysr)Vts(zs,rt). (5.42)
Поскольку условная мера Р (Ts | yfr). является вероятностной (Р (Q j г/')
= 1), из (5.41), (5.42) имеем
8trs = Vrst(Q)y " (5.43)
р 1 К) = .-ЧНГ [ р (dz° IМ v* (zs' Q)- (5-44>
VrstW) ¦>
rs
Подставляя (5.43) в (5.26) и учитывая (5.14), можно выразить через И и
Р(Гу|г/*) также функцию his'-
К (г" П)
Ks (zs)
V (Q)
rst
2. Введем еще один момент времени г , промежуточный между г и s, и
выразим рассмотренные выше вероятности и
функции через V4 и V"'s-
В силу условия Маркова имеем
р (Г,! у*г) = j р (Г, I г,., г/г) р (dzr-1 г?) = J W*/ (гг-, Г3) Р(dzr-1
у\). Подставляя сюда (5.29) и (5.44), получаем Р I К) = f f Р
Kzr I Уг) Vsr- (Zr, dzs) V* (zs, Q)
110
или, если учесть (5.42),
р ' fa = тЛд \ v"'s ^ ^ й>- (5-45>
Vrrt[b?) J
s
В частности, если в этом равенстве (положить s = ty то будем иметь
(5-4б>
Использование двух последних равенств в соответствии с (5.7) приводит к
результату
V , (Q) ,
A* (zs) = -С-1А± у (2 Q).
4 Vrr,t(Q) 4 '
3. Пусть область определения процесса есть интервал Т = [а, Ь), причем
а<0; Ь = Т0. Будем полагать в предыдущих формулах г = а, г' = 0 и брать
точки s, t и др. из интервала [О, Г0]. Введем сокращенное обозначение
у.оДГ,) = ВДД); V(Tt\yta)^Wt{Tt).
Тогда, очевидно, формулы (5.46), (5.45) примут вид
Wt{Tt) ¦ (5.47)
V,(fi)
р (г*1 &=IKs {dZs) (2s> Q)i s <L (5-48>
rs
Если совершить преобразование мер
V*s (zt, Гг) = V, (Q) Vi (zs, rt) -i- , (5.49)
ц(1!)
то согласно (5.47) формула (5.48) при помощи новой меры запишется так:
PTsK) = f Ws(dzs) Vi (Zs, Q), s<t. (5.50)
Используя (5.27) и определение семейства мер Vt, легко получить, что эти
меры удовлетворяют уравнению
Кг (Гг) = j Es (dzs) И, (zs, Г,), s < t. (5.51)
Переходя к мерам (5.47), (5.49), это уравнение можно запи-
сать
^(Г,) = $Ws(dzs)V{(zs,rt). (5.52)
Ш
Рассмотрим моменты времени 0 < tx < ... ta < и < b и соответствующее им
многомерное апостериорное распределение р (Г*, ¦ ¦. Г/п j уиа), Г,. (¦
5?tr Вследствие теоремы 5.1 (при У ~Уиа) условный процесс является
процессом Маркова. Ему, очевидно, ¦соответствуют переходные вероятности Р
(Г, | zs, уиа) = Wf (zs, Г,) и начальное распределение Р(Г^|у?), поэтому
р (Гц • • • hn | г/") = j ... j Р (dzt | уиа) (zlt dzz) .. .
r6 4
•••Й7tCx(Zn-"dzn). (5.53)
Если подставить сюда (5.29) и (5.48), то это выражение преобразуется к
виду
р (Гц • • • KJ у") = j . . . j1 Vtl (dZj) V\\ (zx, dz.2) ...
Г/. Г/
• • • v\nn_x (zn-u dzn) Vtn (zn, Q). (5.54)
Перейдем, наконец, к мерам (5.49). Подставляя
У' (Zs' = Г<)^(й) в (5.54), получаем
р (Го • ¦ • Г/J #|) = J • • • j (dzi) (Zi, dz2) ...
Ч \
• • ¦ (zn-1, dzn) (z", Й). (5.55)
4. Формулы (5.29), (5.49) можно рассматривать как замену марковской
системы мер (3.31). Семейство мер V{ или семейство W{u (и фиксировано),
рассматриваемые в соответствии с (5.55), (5.53) как марковская система
мер, имеют перед основной системой V{ тот недостаток, что каждая мера: Vi
(zs, Г*) или Wtu (z5, 1ф) не является 5?$У{-измеримой (в отличие от К().
Кроме того, VI зависит от начального распределения, a W{u -от произвола в
выборе конечной точки и.
Указанные семейства мер, как всякая марковская система мер, описываются
инфинитезимальными операторами (гл. 3). Пусть L(t)-операторы семейства
мер Vl , L(t) •-операторы семейства V(s, a L(t) -операторы семейства Wl".
Вследствие свойства 1° мер Ks операторы L(t) обладают
112
тем свойством, что разность L(t)-L(s) является -измеримой. Операторы
L(t), L(t), конечно, таким свойством не обладают.
Выполнение уравнений (5.27), (5.51), как указывалось в § 3.1, приводит к
выполнению следующего дифференциального уравнения: _
dVt = VtdL{t). (5.56)
Аналогично из (5.52) вытекает уравнение
dWt = WtdL(t). (5.57)
Функция V" (zt, Q), имеющая смысл функции правдоподобия, которая входит в
(5.48), (5.49), (5.54), как легко понять, удовлетворяет уравнению
dtVut (г, Q) = - {dL {t) Vut) (z, Q), (5.58)
тогда как другая функция Vt (z, Q), входящая в (5.50), (5.55),
