Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
(2.35) будем иметь
t
ESf(a> Р) = бар +|ц5т(а, у) [Ау$(у(х), х)dx +
+ Лу №{y{x),x)dya{x)], (6.5)
дА"
¦ауо •'ЧуЗр '
л л I "Зо •Пауа -'Чур? "1
д"Р
Ьа9. (6.6)
Пусть уравнения (6.4) или (6.5) определяют систему мер psn Можно
доказать, что она удовлетворяет равенствам (6.1), (6.2) и, обратно, (6.4)
вытекает из (6.2) и уравнения Чепмена-Колмогорова. Поэтому мера (6.4)
определяется оператором (6.3) с той степенью однозначности, с какой
определяется решение стохастического уравнения (исходная мера принадлежит
тому же классу однозначности).
Для доказательства удобно ввести норму тХт-матриц, например
||ВЦ =mmax { |Bup |, a, р = 1, . . . , т).
Тогда пространство матриц будет банаховым пространством, причем будет
выполняться неравенство
||вс||<||вц 1|сц.
Конкретизируя формулы (3.57), (3.56), имеем
t
Esf (а' Р) = ^a3+ j* [Aa^dx + Aapodya] +
S
+ ^"VP (У (s)> s) ау№ (У (Д- s) tet (0 -
- г/р (s)] [Уа (t) - Уа (s)] +0((t-s)*/*). (6.7)
Здесь оценка 0((t-s)3^) понимается в смысле нормы.
Пользуясь равенством (6.7) и выводимым из него равен-
ством
(ln Es<)a3 = f [Аа$ (у (т), т) dx +
Ч- -ТаЗо (у (т), т) dya (т)] -f- О {(t - s)*/,), нетрудно доказать
сходимость (6.1), (6.2), если принять во
123
внимание лемму 2.2. Не останавливаясь на этом подробнее, перейдем к
рассмотрению случайного процесса {x(t)} в Ет, описываемого указанной
системой мер.
2. Как отмечалось в § 4.2, система мер {pS((a, Р) } задает меру в
функциональном пространстве. Элементами его в данном случае являются
скачкообразно меняющиеся функции х(-) со значениями из Ет. Будем
рассматривать сепарабельный вариант процесса. Пусть S - множество
определения сепарабельности (всюду плотное в Т), a S\ есть Д-разбиение
интервала [s, и] С Т, монотонно сходящееся к [s, ц]П5. Как указывалось в
§ 4.2, при рассмотрении функциональных производных Радона-Никодима,
достаточно рассматривать
о-алгебры ___
JK = lim и ЁРЧ. (6.8)
Л-ч>0
Будем предполагать, что мера сосредоточена на множестве X функций,
имеющих конечное число скачков на каждом конечном интервале (остальные
функции образуют подмножество множества нулевой меры). Тогда каждая
интересующая нас функция из X задается указанием точек ti<T2<--.<t" (из
7" = [а, й]), в которых происходят скачки, а также значениями функции до
(|3j) и после (Pj+i) скачка. Функция х(-)?Х может быть заменена на
параметры п, рь ti, р2,
• • ¦ " V Рл+ь а условия х\ < хг < т", .. . , х'п < хп < т" выделяют
подмножество
Л = {ж (•): р1; т; < тх < т;, . . . , р", т; <\ < Н. prt+1}
из X.
Возьмем интервал [s, и] и найдем меру множества Аа функций, тождественно
равных а на этом интервале:
Ла = {*(•): *(f) = a, [s, и] П S}.
Это множество принадлежит Л'3* и в силу сходимости (6.8) его меру можно
записать:
р (Ла | X (5) = а) = lim р {х (tx) = а, . . . , х (Tv) = а | ж (s) = а} =
Д-И)
= lim рЙ1 (а, а) \xtlt2 (а, а) . .. рг и (а, а). (6.9)
Л-й) N
Чтобы явно вычислить эту меру, подставим (6.7) в (6.9). Учитывая, что
*?+1
lntfVb
Ч Ч
ч
~ [Аааа (0 At/0]2 + О(Д'б),
124
^(а, а)]= ( [А аа
dx~^~ Aaaodt/o] "I ^"-^аур(0 Ауас (0
' (Aiyp (i) - ^ayp (y(ti)> t[)\ Ayo - yotfi+i) -Уа (!;))> в силу леммы
2.2, получаем
р(Ла| x(s) = a) = ф"(а),
где
и
In ф" (а) = ^ [Aaadx + Aaaadya\ +
s
и
j" [^аур Ауаа ^аар ^аасг] Ьраdx =
s
и и
- [Аааdt -f- Aaaad Уа] - ^ Ааар Aaaabpadt. (6.10)
s
(использованы формулы (2.8) и (6.6)). Отметим, что ф5 (а) удовлетворяет
простому стохастическому уравнению
dfPs (a) = ф* (a) [Aaadt + Aaaod*ya] = ф* (a) d'V (t)aa, (6.11)
которое эквивалентно (6.10) согласно следствию 2.1.
Рассмотрим теперь функции (€Лар), которые имеют единственный скачок в
точке т интервала [т/, т/'] С [s, и], равны a на интервале [s, т) и равны
р на (т, ы]. По аналогии с (6.9) меру этих функций можно записать
Р (А"р | * (s) = а) = lim V р, [х (1х) = а, ... д->о , ^ "
. . . , x(tk) = a, x(tk+1) = Р x(tN) = P|x(s) = а}.
Вследствие условия Маркова
p(Aag|x(s) = a) = lim V рЙ1 (a, a) . .. д-*о , ^ " x'l<tk<xl
¦¦¦Vtk'tk+P) P)-
Как и раньше, подставим сюда (6.7) и перейдем к пределу А-> 0. Снова
используя лемму 2.2, получаем формулу, которая записывается особенно
коротко, если по формуле (6.6) перейти к оператору (6.3). Этот результат
имеет вид
x'i
Ц (Лар 1 * (s) = а) = j q>s (а) <СL* (т)ар Фх (Р).
125
3. Аналогичное рассмотрение можно провести и для большего числа
скачков. В итоге получим следующий результат:
Теорема 6.1. Пусть А = Л(v, а, т[, т", . .. , pv-ь
т", pv) есть множество функций:
а при t < тх; x(t) = . Pi ПРИ Ti <^<V,
. pv при tv <Y <С и,
причем
дб д] tv? [т;, t;j (s<t;<t;<...<t;<t;<h).
Мера этого множества определяется формулой
ь К
Р (Л| х (s) = a) = j ... j q>Jl la) d"L* (px) d*L* (t2)PiPi ф?
(p2).. .
rl Д
¦ • • rfV(Tv) pv_! pv9?v4Pv). (6.12)
где Ф"(Р) определяется из (6.10) или (6.11).
Следствием этой теоремы является
Теорема 6.2. Пусть имеются две меры р и v, причем, их инфинитезимальные
операторы связаны соотношением
dL (t)aji dL (t)ap = [g'a (y (t), t) dt 4- ga0 (y (t), t) d ya (^)J 6ap.
