Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
(t), tL) (t?+1 -1?) и матрицей дисперсий
bjk (2 (*<)> U) (h+1 - tt).
91
Вследствие марковских свойств процесса, входящие в (4.35) функции fA, /
распадаются на сомножители:
/Л = П // (zi> zi+1); 7= т(zi> zi+1)- (4.36)
i <
Поскольку, как отмечалось ранее, /А-^1, /-^1 п. н. при А -" 0, то
ft^,zl+1)=^А); 1(г1>2{+1) = еоШ. (4.37>
Перейдем к рассмотрению меры p2(s) (dy1 . . . dys) на ст-алгебре
JlsA, т. е. проинтегрируем (4.35) по K(^<Asa.
Из определения условных мер (Приложение 1) следует тождество
H-z(s) (dyi ¦ ¦ ¦ dyA') = p2(S) (dyL) p2(S) (dy21 y{) ¦ ¦ .
• • • E*(s) {dyN | //i yN-i) (4.38)
(справедливое почти наверное). При этом, если использовать, формулу
H*(s) (dyi+11 yv , yt) = j p2(s) (dyi+11 yx, ... , у x() X
X p2(s,(dxt ylt ... , y;)
и учесть марковское свойство p2(S) (dyi+11 ylt ... yL, xt) = =
V'x.yi(dyi+l), будем иметь
IM*) (dyi+1\yL, ... , yt) = J \ix.y. (dyl+]) цф) (dxi \ylt ... , yt) =
= M,2(s) (dyi+1) \уг, ... , yt\ (4.39)
(см. (П. 1.4)).
Примем во внимание, что согласно (4.35), (4.36), (4.37) IV, (dyt+i) = J
exp [c (z" *,) (ti+1 - *,) + о (A)] p2. (dxl+1 dyi+1),.
^m
(4.40)
и используем равенство
j ея<А> (dxi+1 dyi+1) = e0(A) j р2(. (dxi+1 dyi+1) =
Rm
= e°^p.z.(dyi+1). (4.41)
92
Интегрирование в (4.40), (4.41) проводится по т-мерному •пространству
значений xt+ь Как отмечалось, р2/ (dzi+x) есть гауссова мера со средними
значениями
z, (tj + aj (zt,ti) (ti+1 - t,)
и матрицей дисперсий b]k (zit t?) (ti+1- tt). Поэтому p2. (dy^J "есть
гауссова мера со средними значениями
Ур (ti) + а9 (zL, tt) (ti+1 - tt)
и матрицей дисперсий bpP!(zi,ti)(tiJrl-1?). Вид этой меры определяется
леммой 4.3. Применяя лемму, легко получить, что мера р2. (dyi+1)
абсолютно непрерывна относительно гауссовой меры v2. (dy^j), имеющей
средние значения
yfVd + dliytJi) (ti+1 - tt)
(Op. = 0; а}- = ар- - bp"a- bo-h- ая.) и те же самые дисперсии. Таким
образом,
1Ц (dyi+1) = v2. (dyi+1) exp {ap- (z,., t() byl !zt, tL) x
X fУа- (h+i) - Уа- ft)] - Y ay (zit t() byl (Zit tt) X (4.42)
X a,.{zit tt) ft+1~ft)}-
Используем теперь, что по условиям теоремы 4.2 функции bpa(z, t)(-bpa(y,
о), ар (z, t) (= а] (у, t)) не зависят от х (Йг-изме-римы). Это позволяет
при вычислении условного математического ожидания Мд2(5) [ - 1 т/i, . . .
, г/J от (4.42) вынести vz. (dy^) = = v (dy^j) за знак математического
ожидания и получить, подставляя (4.42) в (4.41) и (4.40),
мЫв) [|**? (аУ1+1) I У1> ¦ ¦ • - yj =
= V(dyi+i) Мд2(5) [е Х+° Ш\У1, У ?], (4.43)
;где обозначено
Ht = с (zt, t?) (ti+1 - tt) + ay (z(, t'i) bylj' (z? tt) x
x
УO- (ti+1) - Уа-. (ti) - Y ao- (zif tt) (tl+1 - tt) J. (4.44)
93
Подставляя теперь (4.43) в (4.39) и (4.38), находим
p2(s) (city, . .. dyN) = vy(s) (dyj . . . v^_, (dyN) МДг(5) \еи°~' 0<Л)|.
ММг(5) [eH'+oW \У1]... ММг(5) [е^-.+"(А) ] У1 (4.45)
Сравнение этого равенства с равенством
[dyx ... d^v) = J'\a(s) (dyj ... v^_j (d^w), (4.46)
аналогичным (4.30), приводит к заключению, что меры (4.45), (4.46)
абсолютно непрерывны, причем производная Радона-Никодима имеет вид
•••%z(s)[^'v-1+0(A)ki. .--.Ул'-!]- (4.47)
Совершая предельный переход А-*0, доказываем абсолютную непрерывность
этих мер на и формулу для производной Радона-Никодима
о? (X (s), {/(¦)) = lim Л4ц2(5) [ен°+0^] MMz(s) [ея-+0(Д) 1 у,) ...
Л->0
¦¦¦^z(s)leHN-1+°W\yv^yN-J (4-48>
при условии, что этот предел существует пбчти всюду.
Для завершения доказательства теоремы остается показать, что указанный
предел совпадает с выражением в правой части (4.34).
Рассмотрим типичный сомножитель в (4.47), учитывая (4.44). Из (4.44)
легко видеть, что Я,= 0(Д1/г). Разлагая экспоненту, а затем логарифм в
ряд, получаем
Пе'^'+0(Л) = 1 + М [ Яг + ~ Hf + о (А) ] =
= ехр |М [Я, + ~ Я?] - -L [МЯ,.]2 + о (А)|
(М=М|1я(1)[-|у1--------yt\). (4-49)'
Поэтому выражение (4.47) преобразуется к виду
8ХР {S [M,i [Hi + 1" Уи у') "
/
-±.[Mii(Hi\y1, ...,^)]2 + о(А)]}. (4.50),
94
Принимая во внимание (4.44), получаем в экспоненте сумму, которая в силу
леммы 2.3 стремится к интегралу, стоящему в экспоненте (4.34), если
выполнены условия его существования. При этом мы учитываем, что сг-
алгебра C<Asa, стоящая в условии математического ожидания в (4.50),
стремится в пределе к o€s*s (где =[s, /]DS - множество сепарабельности,
s<t<Cu). Производная Радона-Никодима оказалась определенной на JLsu-
Вследствие сепарабельности
процесса^ указанные а-алгебры можно заменить на <Л\ и даже на
Доказательство закончено.
В заключение отметим, что функциональная производная
(4.34), (4.48) удовлетворяет п. н. уравнению
dt О* О* • {Мд [с (у (t), t) | Л\\ dt +
+ Мд [ay (y(t), t) \Л{] by\. (y(t), t)d'yQ- (0}. (4.51)
Чтобы в этом убедиться, нужно принять во внимание следствие 2.1.
Поскольку Oj= 1 (в силу (4.34)), последнее уравнение можно записать в
интегральной форме
t
Os = 1 + J Os {Мд [с (у (т), т) \А\\ dt +
_ (4-52)
+ Мд [ау (у (г), х)\'А1\Ьуо'(у{т), r)d*y<,' (г),
которая будет использована в § 7.1.
Часть II
