Научная литература
booksshare.net -> Добавить материал -> Физика -> Стратонович Р.Л. -> "Условные марковские процессы и их применение к теории оптимального управления" -> 29

Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.

Стратонович Р.Л. Условные марковские процессы и их применение к теории оптимального управления — МГУ, 1966. — 319 c.
Скачать (прямая ссылка): uslovniemarkovskieprocessiiihprimeneniya1966.pdf
Предыдущая << 1 .. 23 24 25 26 27 28 < 29 > 30 31 32 33 34 35 .. 97 >> Следующая

98
Взяв производную Радона-Никодима этой меры по мере
Р (Лб I жпрж{) = Р (Лб \st) = p (Лб I ynv%t)
(здесь опять использовано марковское свойство), находим
р (Г6ЛПР |йгпр2ГД6) =Р (Лпр р (Гб \ж$).
Если рассмотреть теперь производную последней меры по мере
Р(Лпр|^пр^б),то получим уравнение (5.2). Доказательство закончено.
В дальнейшем основным объектом исследования будут условные вероятности
вида Р(Г"|ЗД^),гдеГв??в. Из условия Маркова немедленно следует, что п. н.
Р (Г" | ЖХ') = Р (Гв [ ЖХ) ПРИ г < s < t, s < и. (5.3)
Таким образом, достаточно ограничиться лишь вероятностями, стоящими
справа. Введем для них особое обозначение
Р(ГкК, r/s) = rffo, Г"), s<t> sO (5-4)
и установим уравнение, которому они удовлетворяют.
Теорема 5.2. Почти наверное удовлетворяется уравнение
ГГ (г" Г0)= j Wf{zs, dzt) Wt"(zi, Г0), (5.5)
s<C.u; t<^u.
Для доказательства рассмотрим очевидное равенство
р (Г" I z!t tfi) = j Р (Г0 I 2,, у") Р (dzt I 2" у''). (5.6)
Но в силу условия Маркова
Р (Г" | zs, zt, у") = Р (Г" ] zt, tff) при s < t < v, t< и,
поэтому из (5.6) вытекает (5.5).
§ 5.2. НЕКОТОРЫЕ ТЕОРЕМЫ ДЛЯ ПРОЦЕССОВ С ИНФОРМАЦИОННОЙ НЕПРЕРЫВНОСТЬЮ
Для получения более далеко идущих результатов ограничимся рассмотрением
условных процессов несколько более узкого класса, а именно процессов,
которым свойственна информационная непрерывность '1'.
Определение 5.2. Условный марковский процесс назовем процессом с
информационной непрерывностью, если условные меры Р(Г5(гд), Р(Г5| у") п.
н. абсолютно непрерыв-
* Термин "информационная" понимается здесь не в шенноновском смысле,
99
ны относительно друг друга при любых (если надо, достаточно близких друг
к другу) значениях r<s-^.u.
Приведенное определение утверждает непрерывную зависимость вероятностей
от длины информационного интервала. Такая непрерывность имеет место в
большинстве практически интересных случаев и проверяется на конкретных
примерах.
Для процессов с информационной непрерывностью можно ввести в рассмотрение
соответствующую производную Радона-Никодима, для которой введем
обозначение
P(dzs\y")
hrs (г) = r<s<u. (5.7)
Р (dzs\ysr)
По определению она является *?s У"-измеримой функцией.
Теорема 5.3. Меры W{u(zs, Tt) Ws (ts, Tt), s<t^.u в случае информационной
непрерывности являются абсолютно непрерывными, причем соответствующая
производная Радона-Никодима (обозначаемая f[u) равна
ttu, w?(zs,dzt) A"(z,)A*s(z,) '/соч
Is (ZS' Zt) - - • (5.о)
W*(zs,d2t) hUrs(zs)
Доказательство. Учитывая (5.7), имеем h{rs(zs) _ P (dzs | t/r) h%(zs)
P(dzs\y")
Рассмотрим выражение
s < u. (5.9)
B= A's (Z--)- P (Г, | zs,y\). (5.10)
Подставляя (5.9) в правую: часть, находим
Р(ТПг5\у*г) Г* Р (dzs | zt, у*) '
В =----------------- = . Р (dzt [ у*).
P(dzs)y?) J P(dzs\y")
¦ '¦
Но в силу условия Маркова (в- обратном времени)
P(dzg|zt, у1Г) =P (dzs \zt, у").
Поэтому
и Г P(dzs\zt,yur) P{dzt\yir)
В = --------------- Р (dzt ] у")-------------
J P(dzs\ уф) ^ Р (dzt\y")
г<
100
или, если принять во внимание (5.7),
Р (dzsdzt \уиг) 1 Г Р (dzt | zs, у?)
В =
Сравнивая выражение в правой части этого равенства с (5.10), убеждаемся в
абсолютной непрерывности мер
р(г< l2s> Уг) и р(^1г5> Уг)> т- е-> в СИЛУ (5.3), (5.4), мер,
рассматриваемых в теореме. Это сравнение дает также выражение (5.8) для
соответствующей производной Радона-Никодима. Доказательство закончено.
В дальнейшем мы будем пользоваться сокращенным обозначением
B?"(z"r,) = rs(zs>r,).
Теорема 5.4. Для процессов с информационной непрерывностью п. н.
справедливо уравнение
Г (zs, Ги) = j rs (zs, dzt) w1} (zt, Г") fsu (zs, zt), (5.11)
s < t < u.
Этот результат непосредственно следует из (5.5), если положить u=v и
использовать теорему 5.3.
Полагая в (5.5) ифи, снова используя теорему 5.3 и сравнивая результат с
(5.11), мы убеждаемся в справедливости тождества
^ /1"(**.*<)/Г(**.*")
fs (zs, zt) = ------------- ,
/Г (zp, ZV)
которое, впрочем, можно получить и из (5.8), (5.7).
Удобно ввести новую (невероятностную) меру
tfs(z,f r() = Ajs(zs)Wl(zSI Г,) (5.12)
(г < S < /),
которая определяется этим равенством почти всюду.
Тогда после подстановки (5.8) в (5.11) будем иметь следующий результат:
Т е о р е м а 5.5. Для процессов с информационной непрерывностью п. н.
выполняется уравнение
Vurs (zs, Гв) - j Vis (Zs,dzt) Vurt (zt, TJ, r<s< t-фи. (5.13)
Ввиду того что мера Wls{zs, Г;) вероятностная (№1(2*, ?2) = 1), из (5.12)
имеем
Vi-,- (zs, Q) = hU (zs). (5.14)
Полагая Ги = Q в (5.13), получаем, следовательно,
h"rs (zs) = j Vrs (zs> dzt) h"t (zt)•
Если мера V\s является известной, то по ней можно найти
функцию hU согласно (5.14), а затем и вероятностные меры
W{(zs, Г,) = v"fo'riL; (5.15)
Ks^s.Q)
Wf (zs, Г,) =----1------ Г 14 (zs, dzt) К (zt, Q). (5.16)
V%{zs,V) J
rt
При выводе последних формул мы использовали (5.12),
(5.14) и теорему 5.3.
Нам будет полезна
Лемма 5.1. Для марковских процессов взаимная абсолютная непрерывность мер
р (rs I У*г) ~ Р (Es 1 У3), Г3^3 (5.17)
Предыдущая << 1 .. 23 24 25 26 27 28 < 29 > 30 31 32 33 34 35 .. 97 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed