Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
стационарное распределение.
Пусть теперь d = d{C)> 1. Обозначим С0, СЛ-У циклические подклассы.
Каждый из этих подклассов Ск относительно матрицы рй образует возвратный
апериодический класс. Тогда, если г, /еСь то согласно (3.19),
рГ-*А>°.
Поэтому на каждом из множеств С* набор -, j е Ck, образует
V-j
(относительно матрицы Pd) единственное стационарное распределение.
Отсюда, в частности, следует, что 2 =1,т. е. 2 Т.=(Т*
/ес/' /ес/'
Положим
f - I /еС = С0 +... + Cd_lt qj=\ И/
{ 0, / ф С,
и покажем, что для исходной цепи набор (Q = (qlt q2, ,..) образует
единственное стационарное распределение.
В самом деле, для ('еС
Тогда по лемме Фату
And) _ Y1 n{nd~l)n
Ри - 2^ Рч Pi'1'
/е С
^ II "7 r>/f\ 1 I_. - 1 ^ 1
и, значит,
". = lim/>{?*>Ss 2 2
п /еС п /ей
Но
M-i I М-г
<?(J k - 0 \ieC^
Так же, как и в теореме 1, отсюда показывается, что на самом деле
^-2>
Это доказывает, что набор (Q = (^Xf q2, ...) образует стационарное
распределение, которое единственно в силу теоремы 1.
Пусть теперь число положительных возвратных классов N ^2. Обозначим их
С1, CN, и пусть (Q' = (<7i, q\, -стационар-
552 гл VIII MAPKORCKHE ЦЕПИ
ное распределение, соответствующее классу С1 и построенное по формуле
i f иГ>0, /е С''
q'. = \ 9/
I 0, / ф О.
Тогда для любых неотрицательных чисел аг, ..., o,v таких, что аг -f... -f
aN = 1, набор ^(Q1 +... -f будет также образовывать стационарное
распределение, поскольку (^(Q1 + . ¦ • + Cv(Q'v) Р => = fli(Q1P + ... +
OA'(E!AP = fli(Q1 + --- + aAf(QjV- Отсюда следует, что для N S- 2
существует континуум стационарных распределений. Таким образом,
единственное стационарное распределение существует лишь в случае N = 1.
Теорема доказана.
2. Следующая теорема дает ответ на вопрос об условиях, при которых
существует предельное распределение для марковских цепей со счетным
множеством состояний Е.
Теорема 3. Для п ого чтобы существовало предельное распределение,
необходимо и достаточно, чтобы во множестве Е всех состояний цепи нашелся
в точности один апериодический положительный возвратный класс С такой,
что fi} - 1 для всех j е С и i е Е.
Доказательство. Необходимость. Пусть ^7/ = limp<1/,
П
и набор (Q = (qu q2, .,.) образует распределение fqt 0, qt = 1V
I * /
Тогда по теореме 1 это предельное распределение будет единственным
стационарным распределением, а значит, по теореме 2 существует один и
только один возвратный положительный класс С. Покажем, что период этого
класса d= 1. Предположим противное, т. е. пусть d;> 1. Обозначим С", С1У
..., - циклические под-
классы. Если i'eC0 и | е С], то, согласно (19), Р1]а +1)~ и
p(jfd>=0 для всех п. Но - >0, поэтому р(tm) не имеет предела
при п ->- сю, что противоречит исходному предположению о существовании
limpj.'?). Пусть теперь/еСи/еД. Тогда, согласно (3.11),
п 11
X С
/И?' . Следовательно, л, . Но л, не зависит от i. Значит,
Р/ ' й/
fa - ft)=
Достаточность. В силу (3.11), (3.10) и (3.7)
р\Т
/(r)с,
0, jt?C, is Д.
§ 4 ПРЕДЕЛЬНЫЕ И СТАЦИОНАРНЫЕ РАСПРЕДЕЛЕНИЯ
553
Поэтому, если /,у = 1 для всех /еС и ie?, то qt = lim/Ж" не
/J ^
зависит от I. Класс С положительный, значит, qt > О для j е С. Тогда по
теореме 1 = 1 и набор (Q = (<?1э <?а, ..¦) образует
/
предельное распределение.
3. Резюмируем полученные выше результаты о существовании предельного
распределения, единственного стационарного распределения и эргодичности
для случая конечных цепей.
Теорема 4. Для конечных марковских цепей имеют место следующие
импликации:
(.эргодичность)
а
/существует предельное распред,
\ ление
а
¦ существует един- ¦ ственное стационарное распределение
di
(2)
13}
•цепь неразложима еоз-\ вратна, положительна | \ с d = 1
/
а
/существует в точности один возвратный поло-Хжительный класс с d = 1
а
/существует в точности I один возвратный поло \ жительный класс
Доказательство. Все "вертикальные" импликации а очевидны. Импликации {1}
установлены в теореме 2 § 3, импликации {2} -в теореме 3, импликации {3}
-в теореме 2.
4. Задачи.
1. Показать, что в примере 1 из § 5 стационарные и предельные
распределения отсутствуют.
2. Рассмотреть вопрос о стационарных и предельных распределениях для
марковской цепи с матрицей переходных вероятностей
1/2 0 1/2 О
0 0 0 1 1/4 1/2 1/4 0
0 1/2 1/2 0
3. Пусть Р = |!/?,у|| - конечная дважды стохастическая матрица,
т
т. е. ^]ру = 1, j= 1, ..., т. Показать, что для соответствующей г=1
марковской цепи стационарным распределением является вектор (Q = (l/m,
.... 1/m).
554
ГЛ. VIII. MVPK.0BCK.I1E ЦЕПИ
§ 5. Примеры
1. Приведем несколько примеров, иллюстрирующих введенные понятия и
полученные выше результаты относительно классификации и предельного
поведения переходных вероятностей.
Пример 1. Будем называть простым случайным блужданием марковскую цепь, в
которой частица с некоторой вероятностью остается в каждом состоянии и с
некоторыми вероятностями переходит в соседние.
Простое случайное блуждание, соответствующее следующему графу:
