Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
Рассмотрим сначала одномерный случай, когда k = \. Пусть т = 2 и имеются
два процесса xi(t) =x(t), х2 Пусть далее функции Фь Ф2, Ф- имеют следующий
специальный вид:
Ф, (х, у, t) = - 1; ФДх, у, t) = о (х, t); ? (х, у, t) = т (х, t).
Тогда уравнение (2.16) принимает форму
t t
x(t) == x(s) + jm(x(t'), t')dt' + jo(x(t'), t')dy(t'). (2.18)
S S
37
Это соотношение можно назвать стохастическим преобразованием процесса
y(i) в x(t). Запишем для данного случая равенство (2.10), учитывая три
этом, что процессz(t), а следовательно, и пределы в левых частях равны
нулю. Это дает
Ьг1 - 2а (х, t) 612 + о2 (х, t) 622 = 0;
- Ьи + о (х, t) 612 = 0; - 621 + а (х, t) 622 = 0.
Отсюда находим
Ь1г = о2 (х, t) 622; 612 = ст (х, {) 622
почти наверное.
Переходя к еще более специальному случаю, возьмем в качестве y{t)
винеровский процесс, т. е. положим 02 = 0; 622=1. Тогда из (2.19) будем
иметь
Итак, если функции а(х, t), b(x, t) являются сносом и локальной
дисперсией диффузионного процесса x(t) (и удовлетворяют сформулированным
ранее условиям дифференцируемости), то процесс x{t) описывается
стохастическим уравнением
Обратно, если процесс x(t) определен стохастическим уравнением (2.18), то
ему соответствуют локальные параметры
Покажем, что этот результат правильно согласуется с результатами первой
главы, что (2.20) соответствуют формулам (1.17), а (2.18) - (1.12).
Возьмем уравнения (1.1),
(1.12) в виде
m (х, t) - ах + о (х, t) а2 + ~ Jj- (*, t) bn = 0;
аг = о (х, t)a2-\- m (х, t) +
L^iAa[Xtt)b^ (2.19)
2 ox
al = m (x, t) + 6ц = ff2 (x, t)
(2.20)
или, разрешая относительно m, о,
m (x, t) = a. (x, t) (x, t);
4 dx
o(X, t) = Vhi(x> *)¦
dx (t) = a(x,t) -
1 db (x, t)
4 dx
dt'+ Y b(x, t) dy(t).
(2.20).
38
^- = \x2m(x) + цст(х)К^); (2.21)
at
^L = m(x) + а(х) - if. (g(x, t, со) = ст (*) g (*)),
dt [А ч М- /
где l(t) - гауссов процесс с нулевым средним значением и конечной
дисперсией, удовлетворяющий условию
J г (т) dx = 1 (г (т) = М? (0 ? (f -f Т)). (2.22)
00
Тогда, согласно (1.14), имеем
о
k2 (х, х', х ) = а (х) а (х) г (т); - J k2 (х\ х, т) dx =
-оо
оо
= --- °(х ^ а (х); Г k' (х, х, т) dx = а2(а),
2 дх' J
-оо
и формулы (1.17) дают предельные параметры
а (х, t) = т (х) -f- - - ^ а (х),
2 дх
b (х, t) = ст2 (х).
Этот результат совпадает с результатом формул (2.20), если считать, что
предельный диффузионный процесс удовлетворяет уравнению
dx - т (х) + о (х) dy (t). (2.23)
Введем процесс
I УКУУ1'-
r<t
Учитывая (2.22), нетрудно убедиться, что он при ц^-О стремится (по
распределению) к винеровскому процессу. При помощи y(t) второе уравнение
(2.21) записывается в виде
dx - т(х) dt + а (х) d у (t). (2.24)
Определенный этим процесс x(t), как утверждает теорема
1.1, стремится (по распределению) при р-^0 к предельному диффузионному
процессу. Последний, как мы уже выяснили, удовлетворяет уравнению (2.23)
точно такого же вида.
39
Итак, вид уравнения, связывающего друг с другом допредельные процессы
x(t), y(t), совпадает с видом уравнения, связывающего предельные процессы
x(t), y(t). Такого важного совпадения не будет, если пользоваться
итовской записью стохастических уравнений.
3. Перейдем к многомерному обобщению формул (2.20).
Теорема 2.4. Если многомерный процесс x(t) = - { Xi (t),..., xh(t) }
описывается уравнением
i
dxx (t) = mK (x, t)dt + ^ oKr (x, t) dyr (t), (2.25)
r=l
где mx(x, t) -непрерывные и oxr (x, t) -непрерывно дифференцируемые
функции, a y\(t),..., yi(t) -система винеровских процессов с единичной
матрицей локальных дисперсий, то он имеет следующие сносы и локальные
дисперсии:
1 да, (x,t)
ак (х, t) = mK (х, t) -I- ---- crM, (х, t);
2 дХ)1
Ьхц (х, t) = Oxr (х, typ^ (х, t). (2.26)
Как и в одномерном случае, этот результат можно получить из теоремы 2.3.
Таким образом, кроме параметров ах, блд , определяющих итовскую форму
стохастического уравнения (2.17), удобно рассматривать параметры m%, Охг,
определяющие симметри-зованную форму (2.25).
Параметры тх, охг имеют перед ах, Ьхц также трансформационные
преимущества. В одномерном случае при замене переменной x->j q>(x)dx эти
параметры преобразуются тривиально:
т-"ф/л; ст-ст
(ф(.г)-непрерывная положительная функция). Аналогичное положение имеет
место и в многомерном случае.
Теорема 2.5. При замене переменных х = х(х) вектора
К. • • •. mk\
(2.27)
Следовательно, уравнение (2.25) преобразуется при этом так, как если бы
процессы x\(t),..., xh(t) были гладкими функциями времени.
= Кг, • • •. <Kib • • ¦. °i = {вц> • ¦ ¦. m
преобразуются ковариантно с вектором dx:
~ дх^ ~ дх^
= ~ Цд/-! алх = ~r aijx.
дху. дхц
40
Утверждение теоремы относительно векторов щ, сц непосредственно следует
из тензорного характера параметров bin и определения этих векторов. Чтобы
доказать ковариантность вектора
тк = ак (2.28)
2 dXfl
примем во внимание известные формулы преобразования параметров сноса:
~ дх, 1 д2х,
+ (2.29)
дхи 2 dXlldxv
~ дха
Подставляя оДЛ = -- ovr, находим dxv
