Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
к, = r^.dL" е(tm) - (V + а, -±- + | Ь№ ) df,
(7.6)
с' = с + aaqa + ~ Ь(ф qa ^; а) = aj + bja qa. Применим теперь теорему 4.2
к мерам Р' и Q. Это воз-
'•С'Я'
В соответствии с формулами (4.34), (4.51), (4.52) имеем Р'(dyl Izs)
можно, поскольку bр0, af"-ЬР'Х' ЬХ'П- яя- не зависят от ха ¦
.34), (4.51), (4.52) имеем
= (zs, у{), (7.7)
Q(dysI ys) где - решение уравнения
t
(c)з = 1 + J (c)1{Мр- [с' (zx, т) I zs, yl] +
S
+ Мр- [ар- (zx, т) I zs, yl] b~-l (ух, т) d* уа. (т)}. (7.8)
Учитывая (7.5), легко найти формулу связи
Vs(z, К) = е~ЧаХа J Vi (z, dz') еЧаХ'а (7.9)
г<
143
между производной (7,3) и производной
Р' (dy{ rt 1 г.)
V*(Z" Ь)^ -(7.10) Q(dy'5 I ys)
Формулу (7.7), очевидно, можно записать
к;,(г"а) = е;. (7.11)
Обратимся к теореме 3.6. Нетрудно убедиться, что вследствие (7.11)
уравнение (7.8) совпадает с (3.87), если положить ps^=V/. Согласно
(П. 1.4), (П. 1.2) условное матема-
тическое ожидание в (7.8) есть интеграл по мере
, Р' (dzt dy{ I г")
P'(dzt |z", yl) = - - - (7.12)
P'(^UJ
Математическое ожидание M Д ¦ |as ] в силу (П. 1.1.) есть
S
интеграл .по мере (zs, dzt) jV'* (zs, Q). Вследствие' (7.10)
последняя совпадает с (7.12), так что
МР'[- | zsy\ ] = NlV't [• 12S].
S
Это окончательно убеждает в совпадении уравнений (7.8) и (3.87), причем
dN' 1 =cr dt + a'f d* уа- = (jc -f aaqa bap qa q^j dt -f (a?- + bp-aqa)
b?'o'd* y0' (7.13)
(использованы (7.6)).
Положим
dN' = (с + aaqa + ba& qaq^j dt + (ar + V" qa) b^l d*y" +
+ (fla dt + bap q& dt 4- bar b~^ d* y#) + -i- ba& dt^--,
тогда, очевидно, (7.13) будет выполняться и, кроме того, оператор (3.88)
gQaxa dN' е~ЧаХа ~ с dt -f- Op. y" +
+ (aa dt J- bap' ftp'a'd* y0') -j7--1- -- bapdt ^ - (7.14)
a Z vxa
не будет Зависеть от ^ав соответствии с условием теоремы 3.6.
Связь (7.9) между мерами Vs, Vs*, рассматриваемыми (при фиксированном
процессе у* ) как меры в Rm, совпадает
144
с (3.78). Тем самым выполнены все условия теоремы 3,6; применяя ее,
получаем, что (7.14) является инфинитезимальным оператором системы мер
(7.3). Это завершает доказательство теоремы.
2. Найденный оператор (7.4) относится к типу операторов, изучавшихся в §
3.3 и § 3.4, поэтому на этот случай непосредственно переносятся
изложенные там результаты. Чтобы найти симметризованный апостериорный
оператор dL, следует воспользоваться формулами (3.70) или (3.71). В
данном случае
п* 0* 10* 1
с =С\ аа = аа; Ьар = Ьа*\
С0' - бр'о'Яр.; Яо'а - bfj'p' Ьр'а) С0" - 0; Яо'а - 0"
поэтому согласно (3.70) с0 = с-------
Яр' 5р'о' Я0' -)- Ьар' Ьр'о'
да"
дх"
Ьл р' ¦
д (&Р'а' у) дУя
Яа - Яа ¦
" >-1 и I 1 г l-1 ^Уа
Яр' Ор'а' Яа'а -\ - Орр' Ор'0' -
Z в
, 1 и <ЧУа'Уа)
+ Ть -------5^Г"
бар - бар баа' ба'р' бр-р.
Таким образом, в соответствии с (3.42), (3,65) имеем
(7.15)
dL - cdt + яР' брУ -я0'- -i- б/Р'
5 (Уа' а0')
dz,-
dt +
+
Яа dt + бар' бр-о' (dt/a' - Яа- Л) - б/р-------------------------У-dt
дгз
Ч (бар '- баа' 60'J' бр'р) dt
2 ' г гн' ' дхадХо
- + (7.16)
Нетрудно получить также выражения для других инфинитезимальных операторов
(5.65), (5.68). Они имеют вид
dL = (с - mps с) dt + (Яр- - Mps яР') бр'о' dye - " (Яр' Я0' Mps Яр' Яа )
бр'а' dt
б/р' -
д (У а- аа') dz.
•Mps6/P'
д (Уа- аа')
dz.
dt-
+
Яа d/ + бар' 6p'i' (й0/а' - Яа' dt) б;у ^ Va) ^
dzj
+
(7.17)
145
где
Mps ' ' = J ' ' (dx)\ bafi = бар 6ap' бр-a' ба'р,
и далее
1 , ^ (У a' У a)
Я,0'
Яа d/ -(- 6ap' бр'а' (dt/g' Яд" d4 ¦
dzj
dt +
д-т y(zbQ)
+ 6"-й-Л
4г+т?""ЛУУ <7-18>
В соответствии с (7.17) основное уравнение (5.66) записывается для
плотности Wt(x) -Wt(dx)/dx в виде
dwt = \(c - M.psc) dt+(a9- - MpsflP') бр'а' dya
- ^ (Яр- Я"' - Mps Яр- Я0') брУ d/
б/р'
УУа' V)
Mps У'
^Vl'gC')
dz.
dt\wt-
дхп
Яа dt +
4" бс
бр'а- (d^a' - Яа' Л) - -j~ б/р' -- Л
2 <У J J
+
(7.19)
Выражения (7.17) - (7.19) принимают несколько более короткий вид, если
рассматривать несимметризованные дифференциальные выражения, определенные
в смысле Ито (§2.1).
Аналогично тому, как в § 6.3 была выведена формула (6.37), в данном
случае можно получить
dL* = (с - Mps с) dt + (d*yf- - MDS at-dt) брУ x
X
? ЯС' -
Mps Яд' -(- 6a'a
дх"
+ [аажа
+ Tb^~d^d^]dL (7.20)
Найдем также соответствующий аналог формулы (7.18). Согласно (5.63) имеем
dL* (t) =
V"(z, Q)
[d*L* (t) Vut (z, Q) - (d*L* (t) Vut ) (z, Q)]
146
или, если подставить (7.4),
----------\ ("а + - bafi я д\ V (г, Q)
V?(a,fi) 1Л дх* 2 ар dxadXfi J t
dl* (0 =
dVut(z,Q) 1 5Ц"(г,Й)
Т
Яга Ц----------------------------------------------------- бпй----
---=Г"-------=;-----------j dt -f-
дха
-f- dap' dp'a'
dxa dXfi
Vf(z, Q)
¦ d*ya> V" (z, ?2)
dx,.
Используя уравнение dtVt =-d" L" V'} (5.58), нетрудно получить
dVf
d' ya. Vt = Vtd'ya' + by ,,' dt = Wy* - Vta" dt - baa. Благодаря этому
указанная формула принимает вид
дх"
dt.
dL* (t) =
aad^+ dap' dp'a' (й*уо--а0¦ dt) +
~ d In Vt (zt, Й)
+ daP ^
dx
d , 1 U A* lb2
+ 2 afS bxadxp
ср. C (7.18)).
3. Приведем еще одно следствие из полученных в этом параграфе
