Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
удовлетворяет аналогичному уравнению с другим инфинитезимальным
оператором
dtV't' (г, Q) = - (dL(t) V") (г, Q). (5.59)
Инфинитезимальный оператор dL можно выразить через основной оператор dL,
используя теорему 3.3. Применяя формулу (3.38) к замене мер (5.49),
получаем
dZ(t)=[Vt(Q)dL{t)-d:Vt{Q)\-±-. (5.60)
Vt (il)
Но в силу (5.56), (5.47)
d.Vt (Q) = (VtdL (/)) (Q) = Vt (Q) (WtdL (/)) (Q).
Поэтому (5.60) можно записать
dL (/) = Vt (Q) [dL (t) - (Wt dL (/)) (Q)] -i- =
vt(U)
= dL1 (/) - (Wt d*Lx (/)) (Q), (5.60a)
где
dLx (t) = Vt (Q) dL (/) -1- - Vt (Q) d*V (t) -1- (5.606) ' Vt(Q) tK
w Vt (Й)
(использовано (3.20)).
Уравнения (5.57), (5.59), следовательно, примут вид
dWt (Г) = (Wt d*Lx (/)) (Г) - Wt ГГ) {Wt d*Lx (/)) (Q), (5.61)
- dVut (z, Q) = (d'Lx (/) Vt) (z, Q) - {Wt d'Lx (/)) (Q) Vut (z, Q).
(5.62)
113
Аналогичным образом можно выразить оператор dL(t) через dL(t). Применение
формулы (3.38) к преобразованию
(5.29) дает
^ W &L W V" (z' Q) + d'V" (z>
* / \Z у
и в силу (5.58)
Ж (t) = ML (О К (г, ^) - (Й. (О F?) (г, ?2)1. (5.63)
VI (Z , У)
Как легко видеть из (5.61), (5.63), выполняются соотношения
dWt( ?2)=0; dL(t) 1=0,
которые, конечно, являются необходимыми для сохранения нормировки
вероятностных мер (например, из U7t(?2) = l следует dWt(Q) =0).
Остановимся в заключение на том частном случае, когда система мер V"
обладает свойствами мер, рассмотренных в § 3.3. В этом случае в
дополнение к (5.56), (5.63) можно
привести ряд более простых формул. Так, в соответствии с (3.47) кроме
(5.56), (5.58) можно рассматривать уравнения
dVt = Vt dL (t); - dtV4 (z, Q) = (dL (t) V?) (z, ?2). (5.64)
где стохастические выражения понимаются в симметризован-ном смысле (§
2.1). Аналогично можно снять черту над дифференциалом в формулах (5.57),
(5.59).
Применим простые правила преобразования стохастических выражений в
симметризованном смысле, чтобы вывести аналоги уравнений (5.61), (5.62).
Согласно (3.32) для замены мер (5.49) имеем
dl(t) = Vt (?2) dL (t)- d In VC (?2) = dL (t) - ЖЖЖ. .
tK w vy(Q) n ' V,(Q)
Подставляя сюда первое уравнение (5.64), получаем
dL(t) = dL (t) - (Wt dl) (?2). (5.65)
Следовательно,
dWt (Г) = (Wt dL (I)) (Г) - Wt (П (Wt dL (t)) (Q); (5.66)
- dVut (г, ?2) = (dL (i) VI) (г, ?2) - (Wt dL (t)) (?2) V?) (z, ?2).
(5.67)
Далее, если применить (3.32) к (5.29), то будем иметь
d^(0 = [dL {t) V'(z' Q) ~{dL (t) } (z' Q;1' (5'68)
Примеры выведенных формул будут рассмотрены в дальнейшем.
114
Таблица 5.1
Сводка апостериорных мер и их инфинитезимальных операторов
(a<s<t<u) j
Мера
Оператор
Основная апостериорная мера:
v's (Zs, dzt)
V, (dzt)
Вспомогательная апостериорная мера: V{(zs,dzt)
vt, j \ V\ (zs,dz,)
Vt(Q)
Финальная апостериорная вероятность:
t V,(dz,)
Внутренняя апостериорная вероятность:
V?(z,.Q)
Wf(zs, dzt) = P(dz, |zs,y"a) =
Vus(Zs,V)
К (Zs, dz,)
Vut(zt,&)
P (dz, I у a) = -------------V, (dz,)
V"(Q)
dL (s), dL (t) dL (t)
dL (s), dL(t) dL(t)
dL(s), dL(t) dL(t)
§ 5.6. НЕКОТОРЫЕ ОБЩИЕ СВОЙСТВА АПОСТЕРИОРНЫХ МЕР
1. Рассмотрим сначала свойства апостериорных мер, связанные с
усреднением по значениям наблюдаемого процесса {У,} на том или ином
интервале. Непосредственно из определения условных вероятностей следует
ряд соотношений типа
М [Р (Г51 г/а) [. уъа] = Р (Г51 г/а); (5.69)
ЩК(г" Г,Ж1 =Р(Г,К), (5.70)
Если положить в последнем равенстве u = t и подставить
(5.28), то получим
М
Q)
p(r(|zs), S<t.
(5.71)
Далее, подставляя (5.50) в (5.69) и учитывая, что H7S(TS) при
фиксированном Ts есть *Уа -измеримая функция, так что ее можно вынести
из-под знака условного математического
115
ожидания, находим
f Ws (dzs) M [P* (z" Й) | ysa] = Wt (Г5). (5.72)
i
Отсюда следует, что
M[Vl(zs, й)| ySa\ = 1, a<s<t. ,
Можно утверждать большее. Вследствие условия Маркова имеем
М [Р (Г5Г, I yta) I У*а] = Р (Г|!Г< I Уа) = f Р (dzs IУ1) Р (Г, I zs).
Выразим Р(Г5Г,| у'а) через Ws и И, пользуясь формулой (5.55), тогда 1
М [ (dzs) V\ (zst Г,) | yl] = j W, (dzs) Р (Г, | *,).
И
Вынося, как и в (5.72), U7s(dzs) из-под знака математического ожидания и
используя произвольность Г3? ?s (по теореме Радона-Никодима), получаем
М[И(2" Г*) | ysa\ = Р (Г^ | zs). (5.73)
Из найденных формул (5.71), (5.73), (5.70) видно, что апосте-
риорные вероятности перехода при усреднении превращаются в априорные
вероятности перехода. Соответствующее утверждение можно перенести и на
инфинитезимальные операторы указанных вероятностей перехода. Без особой
аргументации приведем здесь соотношение
М U/Z* (/) ] x/'l d 1-1(1) (5.74)
(LpT - априорный инфинитезимальный оператор), вытекающее из (5.73). Эти
соотношения будут подтверждены для частных случаев, рассматриваёмых в
главах 6 и 7.
2. Другая группа свойств апостериорных мер - это их
марковские'свойства, если эти меры рассматривать как протекающий во
времени случайный процесс. Возьмем процесс { Уг(Гг), Гг€2^}. Интервал [0,
Т0] есть для него область определения параметра, а фазовое пространство
