Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
^г_|_2,ф(0 (2Ф(0> Гг) = gtpfsj.t^ V<p(s),<p(f) (2ф")> ^<)>
и (5.13), имеем
И feif Г,) = 4+^+' Пм.. (?.. Г*). (5.33)
Аналогичным образом процесс определения мер Vs продолжается при более
далеких друг от друга значениях s и t. Он соответствует рекуррентной
формуле
(zs, Г,) = J V!?( * (zs, ^гф"))Уф(ф"))1ф(^ (2ф(^), Д).
Аналогично тому, как . были выведены равенства (5.32), (5.33), отсюда,
используя (5.25), (5.13), можно получить
*)+2=<Р("
И г,) = п г?!3'.Ф(Ф(0) <u.s(zs- г,).
Если учесть к тому же, что
^(s),'s (zs, Г,) = gr,<t(t) Vrs (Zs, rf),
то будем иметь
^s(ZS> ^) = 8r,q>(t) • • ¦ ?<p(S)'.4>(q>(<)) Vrs{zs, Г;).
(5.34)
Это равенство является для Vs {zs, I\) аналогом равенства (5.26). Из
определения мер Vs следует, что они удовлетворяют уравнению (5.27), если
t?S\. Кроме того, очевидно, что Vs (zs, Г<) есть -измеримая функция,
причем
•S-<p(s)<A.
Совершим теперь предельный переход Д->0. Если а-алгеб-ры ys обладают по s
свойством непрерывности слева
lim tt s
106
то предел
lim V{ (zs, Г,) = V{ (zs, Гt), (5.35)
Дн"0
если он существует, является %?фУ1 -измеримой функцией. Условие 1° для
предельных мер тем самым оказывается выполненным. Далее, равенство (5.34)
при существовании предела (5.35) обращается .в пределе в (5.26). Остается
проверить последнее условие 3°. Как отмечалось, допредельные меры
удовлетворяют уравнению (5.27) при tCSд. Предельные меры
(5.35) будут поэтому удовлетворять указанному уравнению на предельном
множестве S, всюду плотном в Т. Отсюда вытекает справедливость уравнения
(5.27) на всем множестве Т при некоторых дополнительных предположениях
непрерывности.
§ 5.4. ДРУГОЙ СПОСОБ ВВЕДЕНИЯ ОСНОВНОЙ АПОСТЕРИОРНОЙ МЕРЫ
Для практических целей более полезным может оказаться другой способ
введения основной меры, к описанию которого мы переходим. Именно этот
способ будет использован нами в двух последующих главах.
Новый способ не обусловлен явно предположением об информационной
непрерывности, но зато требует выполнения другого предположения, которое
мы формулируем ниже.
Гипотеза 5.1, Существует вероятностная марковская мера Q(A) в
пространстве (И, Ут), такая, что меры
Р(Л'Г,|г,), Л' ? У\,
почти всюду абсолютно непрерывны относительно меры Q(Ml Уs) на о-алгебре
У*. Здесь s, t{>s), - любые (из Т
и из Z?t соответственно), но фиксированные.
Соответствующая указанным мерам производная Радона-Никодима
V{ (z , Г,) = P№/s^1Zs) (5.36)
5 t} Q (dyt 1 ys) K
образует искомую меру (ненормированную) в пространстве (Н, SSt). Меняя s
и t, мы получаем двухпараметрическое семейство мер. Приведем две теоремы.
Теорема 5.7. Из гипотезы 5.1 вытекает информационная непрерывность
условного процесса.
Теорема 5.8. Семейство мер (5.36) удовлетворяет требованиям 1°-3°, т. е.
представляет собой один из вариантов основной апостериорной меры.
Доказательство теоремы 5.7. Согласно лемме 5.1
107
достаточно доказать абсолютную непрерывность Р (Лг51 zs) ~ Р (As | ysr),
A'stVl Поскольку в силу гипотезы 5.1
Р (As I zs) ~ Q (As | ys),
то, следовательно, для доказательства теоремы 5.7 достаточно доказать
абсолютную непрерывность
Р (As | У г) - Q (As | ys). (5.37)
Из равенства
Р (As I ^) = j" Р (As ] zs, yr) Р (dzs | tfr) вследствие условия Маркова
имеем
Р (As 1 у*г) = f Р (Л11 гг5) Р (d^s Отсюда, используя гипотезу 5.1 и
(5.36), находим
Р (Л'1 yl) = j [ j VI (zs, Q) Q (dyl | ys)] P (dzs I yl).
К
Меняя порядок интегрирования (теорема Фубини), получаем
Р (Л' | ysr) = j [ j V's (zs, Q) P (dzs | уЩ Q (dyl | ys). (5.38)
a*
Функция V{ (zs, Q) ограничена и отлична от нуля на почти всюду по мере Р
вследствие гипотезы 5.1.
Поэтому почти всюду ограничен и отличен от нуля интеграл
$vl(zs, Q)P(dzs\y'r),
входящий в (5.38). Отсюда вытекает абсолютная непрерывность (5.37),
которая, как было отмечено, достаточна для доказательства теоремы 5.7.
Доказательство теоремы 5.8. Выполнение 1° с очевидностью следует из
(5.36) и не требует дальнейшей аргументации. Для проверки 2° следует
сравнить выражения
(5.36) и (5.23) и доказать, что они отличаются лишь множителем, не
зависящим от zs и Гг. Но в силу гипотезы 5.1 и абсолютной непрерывности
(5.37) имеем
Р (dt/sTt I zs) ^ Р (dyfsrt\zs) Q (dyl \ ys)
Р (d? I ysr) ~ ' Q (dy\ i ys) P(dy{\ysr) '
108
Отсюда следует указанное утверждение, а также вид упомянутого множителя
* Р^1Ул)
Srs
Перейдем к проверке требования 3°, причем используем марковские свойства
обеих мер.
Возьмем множества Л* ? У\, Л" ? У", Ги ? Жа, (s<C t < и) и рассмотрим
равенство
Р (Л^Л"ГЦ | zs) = j Р (AfT" | zs, z" y{) P (dr4 dz, | zs),
которое в силу условия Маркова можно записать
Р (Л'Л"ГЦ I zs) = j Р (Л?г" I zt) Р (dy{dzt I zs). (5.39) А'
Аналогично в силу марковских свойств второй меры
Q (Л^Л? ! ys) = j Q (Л" I ^) Q (d^ I ^). (5.40)
Запишем все три меры, входящие в (5.39), при помощи мер Уа, например
Р (Л"Г" | zt) = j ГJ Q (dy" \ yt).
После этого (5.39) примет вид
f ^(zs,rB)Q(d^K) =
= J [ J И' (А, Г") Q {dtf | ^)] П (zs, dz,) Q. (dyl j r/J.
