Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
оказывается также и стационарным распределением. Покажем сейчас, что
набор (л^ ..., njV) является единственным стационарным распределением.
В самом деле, пусть (я,,..., Лдг) -еще одно стационарное распределение.
Тогда
Vi ~ VI ' (п)
Яу - NaPaJ - . * * - 2Lj 9
a a
И поскольку рУ'-> Лу, то
Л/ = (л0 • Л/) = Лу.
а
В связи с этими результатами возникают интересные и важные вопросы о
достаточных, необходимых, а также необходимых и достаточных условиях, при
которых: (Л) существуют пределы лу = lim pf), не зависящие от г; (В)
пределы (ях, ..., nN) образуют
П
распределение вероятностей', (С) пределы (лх, ..., л^) образуют
эргодическое распределение вероятностей; (D) существует и при том
единственное стационарное распределение вероятностей.
Все эти вопросы будут детально исследованы в гл. VIII для марковских
цепей не только с конечным, но и счетным множеством состояний.
Отметим, что стационарное распределение вероятностей (и к тому же
единственное) может существовать и для неэргодических цепей.
§ 12, МАРКОВСКИЕ ЦЕПИ 133
Действительно, если
"•
то
р"=(? ?)• р!)•
и, следовательно, пределы limp<(tm)> не существуют. В то же самое
П
время система
¦ГС/ " ¦ГСаРа/ > j ~ 1 > 2,
а
превращается в систему
Я1 - Я'2> л2 " Л],
единственное решение (лх, л2) которой, удовлетворяющее условию Лх + па=1,
есть (V2, V2).
Отметим также, что для рассмотренного выше примера система (24) имеет вид
п0 = ЛоРоо + ЩРю,
л^ - л oPoi -TCiPxi •
откуда, учитывая условие л0 + л1 = 1, находим, что единственное
стационарное распределение (л0, л,) совпадает с уже найденным:
яо = ~п-¦--- > Я1 = ~- •
2 - Роо- Рп 2 - Роо - Рп
Рассмотрим теперь некоторые следствия, вытекающие из эргодической
теоремы.
Пусть Л -некоторая группа состояний, А<=Х и
Г I, *е= Л,
*ФА.
Рассмотрим величину - долю времени, проводимого частицей во множестве Л.
Поскольку
134
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
и, в частности,
п
M[v{/} (n)\lo = i]=-T^Y^P<if.
fc=0
Из анализа известно (см. также лемму 1 в § 3 гл. IV), что если
последовательность ап а, то > а, я->-со. Поэтому
если р<*>-"-лу, k^oo, то
Mv{/-}(rt)->- nj, MvA(n)-+nA, где лл = 2 л/-
/ел
Для эргодических цепей на самом деле можно доказать большее, а именно,,
что для величин IA(t0), ..., 1А(%п), ...справедлив.
Закон больших чисел. Если l0, ?j, ... - конечная эргоди-ческая марковская
цепь, то для всякого е > 0 и произвольного начального распределения
Р {] (л) - пА | > е} ->-0, п->- со. (26)
Прежде чем переходить к доказательству, заметим, что непосредственное
применение результатов § 5 к бернуллиевским величинам 1А(10), •••>
1а{\п), ••• невозможно, поскольку они, вообще говоря, являются
зависимыми. Однако доказательство можно провести по тому же пути, что и в
случае независимых величин, если снова воспользоваться неравенством
Чебышева и тем обстоятельством, что для эргодических цепей с конечным
числом состояний найдется такое 0<р<1, что
|р<;'-л.|^С-рл. (27)
Рассмотрим состояния i и / (они могут и совпадать) и покажем, что (е > 0)
р{|у{/}(л) - лу |>е|?0 = *'}->-0, п >- со. (28)
В силу неравенства Чебышева
Поэтому надо лишь показать, что
М {I V{/} (л)-лу |2|^о = г'}-^0, п >- со.
Простой подсчет показывает, что
м {| v{/) (п) - Лу I* I ?0 = /} = . м I 2 [/(/} (Ы -
Д-]:
?о = П =
(n+l)s Li
?=0/ = 0
§ 12. МАРКОВСКИЕ ЦЕПИ
135
где
- Щ • М [/{/•} (Ы I io = г] - Я/ • М [/(/} (h) 11о = П + Л/ =
= • Р// - Л/ • Pi/' - л/ • Рц' + л/,
s = min(&, /) и / = |& -/|.
В силу (27) Поэтому
р<"> = п/ + е<">, | е<"> | < Ср".
| т1/'1) | < Ci [Р* + Р' + Р* + P*J -
где Ci - некоторая постоянная. Следовательно,
2 2<','s(iwi 2У+р,+р*+р']<
("+1)а _ , " ,
k = 0l = 0 k = ol = o
4 Сг 2(л+1)_ 8 ct п
- ->и, п ->¦ оо,
"(/1+1)2 1-р (/1+1) (1-р)
откуда и следует справедливость соотношения (28), из которого очевидным
образом вытекает требуемое соотношение (26).
5. В § 9 для случайного блуждания 50, 5П ..., порожденного схемой
Бернулли, были выведены рекуррентные уравнения для вероятностей и
математических ожиданий времени выхода на ту или иную границу.
Аналогичные уравнения сейчас будут выведены и для марковских цепей.
Пусть I = (§0, ..., In) - марковская цепь с матрицей переходных
вероятностей \рц\ и фазовым пространством Х = {0, ±1, ... ..., ±N}. Пусть
А и В - два целых числа, - N ^ A В М
и х е X. Обозначим через S3k+l множество тех траекторий (х0, х1г ...,
хк), г,-еХ, которые впервые выходят из интервала (А, В) через верхнюю
границу, т. е. покидают множество {А, В), попадая в множество (В, 5+1,
..., N).
Положим для A sg х В
Ра (X) = р {(So, • • • . Ik) е <^a+i I lo = *}•
С целью отыскания этих вероятностей (первого выхода марковской цепи из
множества (А, В) через верхнюю границу) воспользуемся методом,
примененным при выводе обратных уравнений. Имеем
Р* (х) = р {(?0, ... , lk) <= I ?0 = х} =
= Рху' р {(io> • ¦ * j ^ "2(r)a+i ! io ~ х* ii ~ у\*
136 гл. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
где, как нетрудно убедиться, опираясь на марковское свойство и
