Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
X dP [*(fa) < Z2I z\] ... dP [x (tn) < Zn I 2b . . . , Zn-1)
(^<...<g
согласно (1.38) будет вполне стремиться к
j" ... f dP[x(ty) <z\)dF2{z2\zx) . . . dFz(zn\zn-i).
z'\<zi г'п<гп
Отсюда легко вывести, что функция F2(z\y) удовлетворяет уравнению Маркова
Fa Ч! Zy) = f dF2 (z21 Zy) F2 (z31 z2).
Для этого нужно учесть, что
j dP Й*а) < z21 ... , zj Р [l(t3) <z31 ... , 2l) z2]
j dF2 {z21 Zy) F2{z3\z2),
когда
P [x (t2) <z2 \ .. . ,Zy] -F2 (z2 ! Zy),
P[x(t3)<_z3 \ ... , Zy,Z2\- ->F2(z3\z2).
3) Перейдем к доказательству утверждения 1.1 Б.
Согласно утверждению 1.1 А для вычисления вероятностей перехода Р [хм
(tp+1) < zp+1 \Zy, .. . , zp\ = F2 (zp+l | zp) можно в (1.23) полагать p
= 0, t -0, у = х0, то есть рассматривать лишь одну случайную величину =
/о (х0). При вычислении ее моментов в формуле (1.24) положим к -О, т = 0.
Делая замену р-2 стг = т,, будем иметь
м l\ = V -С . .. С РЛМ g(yy, Ху) ... g(yn, т")
nitr*Kn <Ч' ¦¦¦Ф J о J
Оопх,..л" (Р2Д. • • • . РЧ) dxi ¦ ¦ ¦ dxn-
23
Используя (1.25), члены этого разложения можно представить в виде
произведения сомножителей (1.31). Согласно условиям (1.15) - (1.18) члены
с л>3 стремятся к нулю при ц-^0. Поскольку согласно (1.11) член с первым
моментом отсутствует, в сумме .по п остаются лишь члены с л = 0 и п = 2:~
lim М?! =Qoo + V1. г-Г- lim f I k* Ti- У" T*)x
JmU ду*' дуЪ J J
1,1, 0 0
X Qm.x, (9s П, ц2т2) dtj dxt.
Для завершения доказательства нужно учесть явный вид функций Qoo, Qo2A,,v
Для этого следует обратиться к соотношениям (1.7), (1.8). Подставляя в
них (1.10) и принимая во внимание, что в пределе остаются лишь члены,
совсем не содержащие моментов от g, и члены, содержащие моменты второго
порядка, получаем
lim М [* (/х) - у]= Г (z - y) dF2 (z\y) = m (у) tx +
М-"0 J
L X
+ tx lim ГлтГм g(y,x')dr' + 0{t\) (L = n-*^).
L-+oo L J J ду
о о
(1.39)
Здесь через 0(t\) обозначена сумма других членов, остающихся при ц->-0.
Каждый из них зависит от t\ по крайней мере квадратично, условие
сходимости этой суммы является значительно более слабым условием, чем
условие сходимости (1.29).
Аналогично находим
lim М [х (tj) - у]2 = Г (г - у)2 dF2 (z\y) =
и-"о J
L L
= tx lim ~ Г \fAg{y,x) g{y,x')dxdx'(1.40)
L-* оq L J J О 0
ПтМ [д(^) - у]ч = Г (z -у)ч dFz(z\y) = 0(t2i), q> 3.
|Л-5"0 J
Доказательство закончено, поскольку пределы (при L^-oo) в правых частях
(1.39), (1.40) существуют в силу (1.15) и соответственно равны
выражениям, входящим в (1.17).
24
§ 1.3. ПРИМЕРЫ
1. Пусть уравнение (1.1) имеет вид
ft) I3 ft) + Vх ft) I ft).
at
где ?(^) -стационарный гауссов процесс с нулевым средним значением и с
корреляционной функцией Ml(t)l(t+x) = е~*С При этом, как легко видеть,
предположения Aj-А4 оказываются выполненными в любом конечном интервале
/. Кроме того, выполняются условия (1.15), (1.16). Сходимость ряда (1.29)
труднее проверить; избегая детального рассмотрения, будем предполагать,
что она имеет место.
Применяя теорему 1.1, получаем, что процесс х(\угЧ) при р-*0 сходится по
распределению к диффузионному марковскому процессу xM(i), который
характеризуется параметрами
Нгп - М [Ахм | х] = а (х) = д-"о А
о
= j* м [З*213 (0) + I (0)] [X3!3 (т) + xl (т)] dx;
- 00
lim - М [ Ахм | х] = b (х) = д-"о А
оо
= Jm [х3I3 (0) + Xl (0)] [Х313 (т) + xl (т)] dx;
- оо
lim -- М [Ллц, | х] = 0, q > 3. д^о А
После вычислений имеем
а(х)=Х^1х-{- 12г' + 3(9 + 2|/3>5];
Ь(х) = Уп [х2 + бх4 (9 + 2 |/3") л:6].
2. Второй пример возьмем из теории детектирования случайных сигналов
(Стратонович [8], стр. 240). Соответствующее уравнение имеет вид
-+ <z* = pe*W-* (1.41)
di
где а, р - положительные постоянные, a l(t) -стационарный случайный
процесс. Будем предполагать, что он гауссов и
25
имеет корреляционную функцию o2R(t) (R(0) = 1) и нулевое среднее
значение. Тогда
М еб") = е 2 .
При определенных условиях процесс x(t) близок к марковскому. Чтобы
сформулировать это утверждение точнее, заменим уравнение (1.41) на
уравнение
а3
= - p2a0x + $ае~х [f^Yo* 2 + Р (еш - е 2 )], (1.42)
т. е.
g (х, t) =--- {& - МеЦ
(ао, ро, Yo от р не зависят). Очевидно, что последнее уравнение совпадает
с (1.41) при частном значении параметра р = ро, если роао = а] р0Ро = Р;
р0уо=1. Вид правой части (1.42) подобран так, чтобы удовлетворялось
(1.11).
При достаточно быстром исчезновении коэффициента корреляции R{т) при т-
>са условия (1.15), (1.16) будут выполнены. Применение теоремы 1.1. к
данному случаю дает следующие выражения для параметров сноса и локальной
дисперсии
<5г
а (х) =. - а0х + PoYo е 2 - Ке~2х\
--Х ,
2
Ь(х) = Ке-2*;
К = 2$ еа' -1] dx
(предполагается, что /С<оо).
Записав соответствующее уравнение Фоккера-Планка, можно получить, в
частности, его стационарное решение - предельную плотность распределения
вероятностей
р (*) = const exp
a2
_°оУ 1 1 .9 г I 2УоРо " 2 +*
•(1.43)
Удобно с самого начала в (1.42) произвести замену переменной у = ех и
потом уже применить теорему 1.1. Разумеется, это не повлияет на
