Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
ч
] ура, 'а /
'ар
70
По аналогии с (3.65), (3.66) удобно обозначить Л* = со*+ао*^_ +JL6o* 52
дх 2 дх дxR
а ар
Тогда (3.69) можно записать
- df = A'fdt + Ap(Tytf.
Сравнение этого равенства с (3.2) показывает, что
dL* = A'dt + A; d'yf
(аналог (3.43)). Соотношения (3.70) эквивалентны формулам связи
Л* = А + -
2
А, А о-
д А
дУа J
V (л;=Д) (3.71)
Последние являются аналогами формул (3.48) и, кроме того, непосредственно
согласуются с формулой (2.35).
2. В настоящем параграфе мы исследуем связь между операторами данного
процесса и статистикой приращений Ах = х(и)-x(t)= {xi (и)-х\(/)>•¦¦,
хт(и)-xm(t)}. Мера, описывающая эти приращения, получается из меры ptu(x,
dx') простым сдвигом в Rm. Рассмотрим функцию
e(q\x(t)) = j exp {<7"[^а (и) - ха [Щ ptu{x [t), dx(u)).
Ввиду того что мера ptu не обязательно нормирована, указанная функция не
обладает свойством О(01jc(/)) = 1. Если, однако, добавить условие х(и)
?Е, то соответствующая функция
@(q \x(t),x(u)?E)=- (3.72)
\ita(x(t), Е)
уже будет обладать (при qa = iva) всеми свойствами характеристической
функции.
При помощи операторов Ttu равенство (3.72) можно записать
~~Яаха-р ^а-'-а
Q(q\x(t),E)= е ¦ ---- . (3.73)
1 tu
Подставляя сюда (3.57) (см. также (3.56)), получаем следующий результат.
Теорема 3.4. Для марковских мер, рассмотренных в § 3.3,
характеристическая функция приращений при малых и-4 = А определяется
формулой
71
(r){q\4t),E) =
1 _p e Ча*а j AL + -y Ay9&yaA9Aa
g4axa
J + [Ai+ 2 ^yfAyaApAa
(Ар = A? (X, y(t)t)).
+ 0( Л'А). (3.74)
Конкретизируем эту формулу применительно к операторам (3.65). Подставляя
(3.56), (3.65) в (3.74), а также в формулу
№(и(хг Е) = 1 + J^AL-4-- АурАуаАрАа 1 + О(А'А)
(см. (3.57)), находим после несложных вычислений
0 (71 х, Е) = 1 + f a°aqa + -1 b°a&дадц )а + а°адаАу9 +
+ '0(А*/.); (3.75)
1Ки (*> Д) - 1 + С°Д + сАур + -- КоР +
р дУа
где
+ ~ ь"Ау*-(<№+от.
и
ар = [ [Уа (Т) - ya(t)\dyp (т); Ya? + Yfa = АуаАуе
Обозначая в соответствии с (П. 1.1)*
Мд Ц ! х] = [|Ato (х, К)]-1 j ? (х') (х, dx'), (3.76)
найдем условные моменты приращений Ах. Пользуясь очевидной формулой
5 5 -(c)(<7|х,?)^
Мц [Дха ... Дхш| х] = из (3.75) легко получить
дЯа
Jq=0
да'
Mjt [ ДХа! X] - + a°paAy? "Ь Т Р ' Кар +
d У а
См. приложение 1.
72
+ -L AypAyaa°p^ + О (Д% (3.77)
Мд [ДхаДхр IX] = Ь°рА + ~ АурАуоа0раа°ор + О (ДЭА);
Мр, [ДхаДхрДху | х] = О (Д3/г).
3. Наряду с указанными приближенными формулами можно привести ряд
точных результатов.
Произведем замену мер
и; (х, dx') = (х, dx') eq"x'", (3.78)
тогда формула (3.73) примет вид
@(q\x, Е) =-tA^• (3.79)
V'tu (х, 7Э) 7/ц1
Пользуясь теоремой 3.3 и учитывая 3.42, находим инфи-нитезимальный
оператор новой системы мер
dL' = e~qaXadLeqaXa = A' dt + Лр dyp,
А' = e~qaXaAeqaXa\ A'f = ё~ЧаХаА?еЧаХ(1,
т. е. в силу (3.65)
dL' = с'" dt + с'Чур + (аа° dt + а°а dyp) J- + - ЬР dt д\ ,
оха а р
(3.80)
где
С'О = С0 + + Yb°a^;
c'° = c° + a°eaqa; яа° = а° + Z?p%1. (3.81)
Если принять во внимание формулы связи (3.71), то нетрудно убедиться, что
аналогичным образом преобразуется и второй инфинитезимальный оператор:
dL'* = е~ЧаХа dL*eqaXa = Л'* dt + Л' dyP\ (3.82)
Л'* = ё~ЧахаА,еЧаХа = с°* + а°а + qa'j +
+ T^^fk-; <3-83>
73
Обратимся к первой формуле (3.4). Применяя этот оператор к единице,
получаем равенство, которое при помощи мер Htu можно записать
U
v-tu ix> Е) = 1 + I* f M'rt (X, dx') (d*L* (т) 1) (x').
t E
Используя обозначение (3.76) условного математического ожидания,
последнему равенству можно придать вид
\УЫ (х, Е) = 1 + j [Х/Т (х, Е) Мд [d"L* (т) 1 | х].
t
Аналогичное стохастическое уравнение, конечно, можно записать и для
другой меры
U
Ки (*.?) = 1 + \ Кт (х' Е) МЛ- ld*L'* К) 1 I X]-
t
Подставляя сюда (3.82), (3.83), получаем
Ка (х' О = 1 + j Кг (х> Е) [С'°* (Т) I Х] dx+m^ [с'°(т) I x]d*y9}.
t
Найденное уравнение является частным случаем уравнения
(2.34) при k=\. Пользуясь формулой (2.38), можно записать его решение
U
\уы (х, Е) = exp | j* |Мц- [с'°* (т) | х] dx + Мд- [с'° (т) | х] d*y9 (т)
-
t
- Y Мд' К (х) I х] Мд. (С (И IX]. V dt}} = . (3.85)
Существенно, что стоящее в экспоненте выражешге является функцией от q.
Эту функцию обозначаем Ф(<?)- Подставляя (3.84), (3.81) в (3.85), находим
и
ф (<?) = J Мм- [с°* dt + с(r) d'yp I х] -
U
- J Мм. [а°а I х] Мм- [а°р I х] bfa dxJ . (3.86)
t
Из полученных результатов, если принять во внимание формулу (3.79), будет
вытекать, в частности, следующая Теорема 3.5. В рассматриваемом случае
характеристическая функция приращений равна
(r)(q\x, Е) = еф(?)-ф<о),
где функция Ф(<?) определяется формулой (3.86).
В приведенном выше рассмотрении мы пользовались интегралами и
уравнениями, определенными в смысле Ито. Разумеется, аналогичные
выкладки, используя (3.80), (3.81), (2.36), можно провести и с
интегралами в симметризованном смысле. Некоторые формулы при этом будут
записываться короче. Так, выражение (3.86) будет иметь вид
U U
Ф (q) = Л Мд- [с0 dx + с(r) dye | х] + qa j* Мм- [a(r) dx -f а(r)а dy91 х] -f
