Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
ОСНОВНЫЕ РЕЗУЛЬТАТЫ ТЕОРИИ УСЛОВНЫХ ПРОЦЕССОВ МАРКОВА
Глава 5
НЕКОТОРЫЕ ОБЩИЕ РЕЗУЛЬТАТЫ ДЛЯ ПРОЦЕССОВ В ПРОИЗВОЛЬНОМ ФАЗОВОМ
ПРОСТРАНСТВЕ
§ 5.1. ПОСТАНОВКА ВОПРОСА И ПЕРВЫЕ ТЕОРЕМЫ
Результаты, излагаемые в настоящей главе, не требуют конкретизации
фазового пространства и переходных вероятностей марковского процесса. Для
данной теории оказываются излишними какие-либо метрические и даже
топологические представления. Область Т значений параметра t должна быть
упорядоченным множеством. Для определенности будем полагать, что это
отрезок прямой •'¦или его подмножество. Остановимся на первом случае: Т =
{а, Ь\.
Существенно, чтобы фазовое пространство, соответствующее параметру td
Тбыло измеримым пространством (Et, St ). Будем предполагать (хотя это не
является необходимым для теории), что всем моментам времени (значениям
параметра) соответствует одно и то же фазовое пространство • (?. *)•
Пусть задано вероятностное пространство (?2,сШ , Р) и <TS -измеримый
процесс {zt (со) ,t € Т] со значениями из (Е, §). Введем о-алгебры
%t = о ((со : zt (со) (А), А ? §) = гГ1 ("), принадлежащие М, а также
расширяющееся семейство о-алгебр . Каждая о-алгебра ^i=o(\JSx)
есть совокуп-
TS [а, <]
ность событий, касающихся поведения процесса {zt(со)} на интервале [a,t\.
Более общие о-алгебры ТС. Т могут
быть определены, как и в § 4.2. Именно,Sy есть минимальная о-алгебра,
содержащая все множества вида
(со: z,(co)? A, t? Т}, T(ZT, А{§.
96
В дальнейшем будут рассматриваться различные условные вероятности,
соответствующие указанным о-алгебрам, а также о-алгебрам, вводимым ниже.
Удобно раз навсегда предположить, что вероятностное пространство (й, с(r),
Р) является регулярным в том смысле, что для любой о-алгебры безусловная
вероятность Р (• | б) является регулярной в смысле Лоева [1], стр. 371.
Это значит, что внутри класса эквивалентности можно выбрать такую функцию
Р(Л|б)> определенную на <S Xfl (У ¦-измеримую при фиксированном Л€3), что
при каждой со6 0 она является вероятностной мерой на 3.
Для теории фундаментальными условиями являются условия Маркова, существо
которых в том, что при фиксированном настоящем будущее процесса не
зависит от его прошлого. Этим условиям, как известно, можно дать
несколько эквивалентных формулировок. Одна из них такова:
Р (Гб I Ж пр°? f? ь) = Р (Гб | б) почти наверное, 15.1) где Гб??ь,
ЖпрСЖ(а.
Оговорка "почти наверное" (п. н.) нужна по той причине, что сами условные
вероятности определены лишь почти всюду. Мы не будем приводить здесь
различные формулировки условия Маркова и доказывать их эквивалентность. В
дальнейшем при ссылке на это условие мы будем пользоваться той его
формулировкой, которая в данном конкретном случае будет самой удобной.
Условные процессы Маркова появляются в том случае, когда имеется
некоторый наблюдаемый процесс { г/г (со) = =ft(z)} , зависящий от
исходного процесса. Будем предполагать (хотя возможны обобщения), что 16
Г и что при каждом t функция ft=ft(e) является известной функцией от от
е?Е, принимающей значения из (К,б' ) и 8 -измеримой:
/ГЧЗПС*.
Тогда сг-алгебры процесса {yt (со) =ft (zt (со))} будут включаться в
соответствующие сг-алгебры процесса {2г(ш)}.
Обозначим через б) (аналог ) минимальную ст-алгебру, содержащую множества
{со : г/, (со) ? Л}, Л?б\ а через (аналог Ж{) - о-алгебру, построенную на
множествах
{со : г/, (со) ? Л, t^T), Л?б', TC[s, *]•
Тогда очевидно,
97
Определение 5.1. Пусть заданы
А) марковский процесс (?2, St, t(T, Р);
Б) наблюдаемый процесс (О, У t, t(T, Р) такой, что
y,c.zt\
тогда семейство
(Q, ?t, t(T, Р(- \Уиа), и(Т)
случайных величин и условных вероятностей образует условный марковский
процесс (первичный).
Как видно из нижеследующей теоремы 5.1, процесс (?2, ZEt, t?T, Р{¦\'Уа))
при фиксированном и?Т оказывается марковским. Однако если менять и (?Г),
то соответствующее двухпараметрическое семейство случайных величин будет
значительно более сложным.
В дальнейшем мы, как и в (5.1), для о-алгебр будем пользоваться записью
iASi> вместо с Равенства, вы-
текающие из определения условных вероятностей и условных математических
ожиданий, мы будем приводить обычно без всяких комментариев. В силу
определения эти равенства справедливы почти всюду, однако в целях
краткости мы не всегда это будем оговаривать.
В целях наглядности при записи условных вероятностей и условных
математических ожиданий в условии будем иногда писать у\ вместо У1 и,
соответственно, скажем, zu, yl вместо а(5Еи,У{).
Рассмотрим сначала одну общую предварительную теорему.
Теорема 5.1. Пусть имеется марковский процесс и сг-ал-гебра У (CZ5?a),
которая при любом t (Т представима в виде
У = ад.
. где
Упр=У[) &а, Уь = У?№\.
Тогда условный процесс, описываемый мерой Р (• ] У), п. н. является
марковским, т. е.
P(r6|5V^) = P(r6|?$) (Г^рС^а). П. н. (5.2)
Доказательство. Вследствие условия Маркова имеем
Р (ГбЛпрЛб I = Р (Лпр I Р (ГбЛ61 Zt) =
= р (Лпр 15гп1даб) р (Гблб 1 ynv3Zt), гдеЛпр(^пр; А6(:У6.
