Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
целое семейство марковских цепей,
возникающих, когда последовательность (Хп)"^0 рассматривается
относительно мер Рх, х е R. В дальнейшем под словами "марков-кая цепь с
заданной переходной функцией" будем понимать именно семейство марковских
цепей в указанном смысле.
§ 1 ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА 533
Заметим, что построенные по переходной функции Р = Р (х\ В) меры Ря и Р*
согласованы в том смысле, что для А е Si (R )
Р" {(*о, ...)<= Л | Х0 = *} = Р* {(Х0, Хи ...) е= А} (л-п. н.) (13)
и
Ря {(Хо, Хг,...) е Л} = S Р* {fXo, Хг, ...)еЛ) л (dx). (14)
я
5. Будем предполагать, что (Q, S~) = (Rao, <Si(Rx)) и что
рассматриваемые последовательности X = (Хп) заданы координатным образом,
т. е. X"(w)-x" для to - (х0, xlt ...). Пусть также aF"=
= о{со: Хп\, п^О.
Определим на Q операторы сдвига 0", п^гО, с помощью равенства
0/1 (*^0" *^1" • • •) ~ (X/i, Xn+lt • • •)"
и для каждой случайной величины г] = т] (и) определим случайные
величины 0"г], полагая
(М) (") = П (0"ю)-
Используя эти обозначения, марковскому свойству однородных цепей можно
придать (задача 1) следующую форму: для любой eF-измеримой случайной
величины т] = т](со), любого п^О и В €="$(/?)
Р {0лт] е Б | aFn} = Рх" {г] е В) (Р-п. н.). (15)
Именно эта форма марковского свойства допускает важное обобщение,
состоящее в том, что соотношение (15) останется справедливым, если вместо
п рассмотреть моменты остановки т.
Теорема. Пусть X = (Хп)~однородная марковская цепь,
заданная на (Rco, Si (/?"), Р) и т - момент остановки. Тогда справедливо
следующее строго марковское свойство:
Р{6тг]еБ|еГт} = РХт{г1еБ} (Р-п. н.). (16)
Доказательство. Если Ле/Т, то
СО
Р {0тт1 е В, А) = 2 Р{М^5, А, т = п} -
п=0
со
= 2 P{0/iTie5, А, Т = п}. (17)
п= 0
Событие A fl {т = п) е oFn и, значит,
Р{0лг!еА, ЛП{т = д}} = J Р {On1! s В [ eF"} dP =
АП{т=л}
= J PxJ4<=B}dP = J Px%{4s=B}dP,
АП(т=п) -Л П tx=/i>
что вместе с (17) доказывает (16).
534 гл. VIII МАРКОВСКИЕ ЦЕПИ
Следствие. Если а -момент остановки такой, что Р(а5з ^т) = 1 и а -аТ'х-
измерим, то
Р {ХаеВ, а < оо | cFT} = РХт (В) ({а<оо}; Р-п. н.). (18)
6. Как уже отмечалось, в дальнейшем будут рассматриваться лишь дискретные
цепи Маркова (с фазовым пространством состояний Е = {..., I, /, k, ...}).
Для простоты записи будем в этом случае обозначать переходные функции Р
(/;{/}) через pif и называть их переходными вероятностями, а вероятности
перехода из i в j за п шагов обозначать через pfj\
Основные вопросы, которые будут изучаться в §§ 2 - 4, связаны с
выяснением условий, при которых (? = {1, 2, ...}):
A) Существуют пределы яу = Jim/?<?), не зависящие от г;
п 11
B) Пределы (ях, я2, ...) образуют распределение вероятностей,
СО
т. е. яг 0, Я; = 1;
i=i
C) Цепь является эргодической, т. е. пределы (ях, я2, ...)
СО
таковы, что яг > О, У] = 1J
1=1
D) Существует и притом единственное стационарное распределение
вероятностей (Е) = (д, q-i, ¦ • •)> т. е. такое, что qt ^ (J,
СО
yiqi = 1 и <7/ = 2 qiPih iе Е-
i=l i
Для получения ответа на эти вопросы проведем классификацию состояний
марковской цепи в зависимости от арифметических и асимптотических свойств
вероятностей ри р{^\
7. Задачи.
1. Доказать эквивалентность определений марковости (1), (2), (3) и (15).
2. Доказать справедливость формулы (5).
3. Доказать соотношение (18).
4. Пусть (X")"5so - марковская цепь. Показать, что обращенная
последовательность (...Хп, Х"_х Х0) также образует цепь
Маркова.
§ 2. Классификация состояний марковской цепи по арифметическим свойствам
переходных вероятностей р{")
1. Будем называть состояние ie? = {l, 2, ...} несуществен-
ным, если из него с положительной вероятностью можно за конечное число
шагов выйти, но нельзя в него вернуться, т. е. существуют такие т и /,
что pffi > 0, но для всех пи/ р\Т - 0.
t 2 КЛАССИФИКАЦИЯ СОСТОЯНИИ
535
Выделим из множества Е все несущественные состояния. Тогда оставшееся
множество существенных состояний обладает тем свойством, что, попав в
него, блуждающая "частица" никогда из него не выйдет (рис. 36). Как
станет ясно из дальнейшего, основной интерес представляют именно
существенные состояния.
Несущественные
состояния
Существенные
состояния
Рис. 36.
Рассмотрим сейчас множество существенных состояний. Назовем состояние у
достижимым из точки i (г-> у), если существует такое т^О, что р<?о > 0
(pf) = 1, если i - у, и 0, если i Ф у). Состояния i и у назовем
сообщающимися (i <->• у), если у достижимо из i и i достижимо из у.
По самому определению отношение "<->" является симметричным и
рефлексивным. Нетрудно убедиться, что оно транзитивно (г "-"¦/, у "-* k
=$i <-"¦ k). Следовательно, множество существенных состояний разбивается
на конечное или счетное число непересе-кающихся множеств Еи Еъ ...,
состоящих из сообщающихся состояний и характеризующихся тем, что переходы
между различными множествами невозможны.
Для краткости множества Ей Е%, ... будем называть классами или
неразложимыми классами (существенных сообщающихся состояний), а
