Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
Рi{Xn = i для бесконечно многих я} = 1. (17)
Дадим теперь формальное доказательство этого утверждения.
Пусть i - какое-то состояние (возвратное или невозвратное). Покажем, что
вероятность возвращения в него по крайней мере г раз равна (fu)r.
Для г - 1 это следует из определения Пусть утверждение доказано для r = m
- 1. Тогда, используя строго марковское свойство и (16), находим, что
Р, (число возвращений в i больше или равно т) =
СО
= 2 P.- to = к, число возвращений в i после момента k\=> к=\ ^
больше или равно т- 1 )
СО
= 2 Р" (а" ~^) Р< [п0 крайней мере (т-1) значение oi = k\=* А=1 \из
Ха.+ 1, Ха.+ 2, ... равно i )
СО
= 2 Р< (а" = ^) Р./по крайней мере (т-1) значение\ =
* = 1 \из Х2, ... равно I )
СО
= 2/")(/"Г1=Л?.
*=1
Отсюда, в частности, следует, что для возвратного состояния t справедлива
формула (17). Если же состояние невозвратно, то
Рi{X"=i для бесконечно многих п\ = 0. (18)
Перейдем теперь к доказательству того, чтоД/=1. Поскольку состояние i
возвратно, то в силу (17) и строго марковского
544 гл. VIII. МАРКОВСКИЕ ЦЕПИ
свойства
1 = 2 Р< (°У = Ь) + (°/ = °°) =
4=1
" foj - k, число возвращений в А
У j Р< I после момента 6 равно + Р" (°/ - °°) -
*=1 \ бесконечности /
= Р"/,(Ту==^> бесконечно много значений\ -f- Р, (сгу = со):
1 ' ИЗ Хоу+ь Х^.4-2, ... равно i)
k~ i
~ /бесконечно много зна-
: 2j Pi (О/ = Л) • Рг[ чений из Хоу+ь Хоу+г,... к=х \... равно i
Oj = k
Ха.~ j+P;(<Ту = оо) =
- /If • Ру/бесконечно много значений\ + (1 - /гу) =
*=1 \из Х2) ... равно i )
со
= E^/ + (l-/p) = ////y + (l-//y).
4= 1
Итак,
1 + 1 - Ut
и, значит,
/г/ = fli ¦ ft/-
Поскольку i++j, то /г,-> 0, а следовательно, Д/= 1 и Ду = 1.
Таким образом, в предположении (13) из (14) и равенства /,у = 1 следует,
что для сообщающихся состояний i и /
Что же касается равенства (13), то его справедливость следует из теоремы
о мажорируемой сходимости и того замечания,
СО
что р)1~к)-^~у п-+со, 2$/)==А/<1-
7 4=1
Лемма доказана.
Перейдем теперь к рассмотрению случая периодических состояний.
Лемма 4, Пусть j -возвратное состояние и d (/) > 1.
5 3. КЛАССИФИКАЦИЯ СОСТОЯНИЙ 54$
$) Если состояния i и j принадлежат одному классу состоя-нийу при, этом i
принадлежит циклическому подклассу Cr, a / s еС,+я, то
d
Ь.) Если же i произвольно, то
pjnd + a)_
2 fud+a)
Lr = 0
4. fl = 0, 1,, d-l. (20)
Доказательство, а) Пусть сначала a = 0. Относительно матрицы переходных
вероятностей Pd состояние j возвратно и ^периодично. Следовательно,
согласно (8)
p{nd) 1 d d
Ч СО СО м .
ж-. .
А=1 ? = 1
Предположим, что (19) доказано для а -г. Тогда
(nd + r+\) VI + VI d _ 1d
pit - PikPk' 2d pih ' Ц/ ~ (Д./ •
b) Ясно, что
nd+a
p\]d + a)= J] fiu)P{Jf+a-k\ a = 0, 1 d-l.
*4 r/I
k= 1
Период состояния / равен d, поэтому + = 0, за исключе-
нием лишь случаев, когда k - a имеет вид г-d. Значит,
п
p(nd + а) _ ^ + а)рЦп - г) d)
4 г=0 4 "
и требуемый результат (20) следует из (19).
Лемма доказана.
Из лемм 2-4 вытекает, в частности, следующий результат
о предельном поведении вероятностей р<?>
ч *
Теорема 1. Пусть марковская цепь неразложима (т. е. ее состояния образуют
один класс существенных сообщающихся состояний) и апериодична.
Тогда:
а) если все состояния нулевые или невозвратные, то для всех iu j
p\f0, п->- оо; (21)
546 ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Ь) если все состояния j положительны, то для всех I
rtf'' ^ > °' (22)
4. Обсудим результат этой теоремы для случая марковской цепи с
конечным числом состояний ?'=={1, 2, г). Будем
предполагать, что рассматриваемая цепь неразложима и аперио-дична.
Оказывается, что тогда она автоматически возвратна и положительна:
(неразложимость возвратность положительность d- 1
Для доказательства предположим, что все состояния невозвратны. Тогда в
силу (21) и конечности множества состояний цепи
1 = lim 2 P{if = 2 Hm p\f = 0. (24)
n /=1 /=1 n
Полученное противоречие показывает, что все состояния не могут быть
невозвратными. Пусть i0 - возвратное состояние, а" / - произвольное
состояние. Поскольку i0 *-* j, то по лемме 1 состояние j также возвратно.
Итак, все состояния у апериодической неразложимой цепи возвратны.
Теперь установим, что все возвратные состояния положительны. Если
предположить, что все они нулевые, то тогда снова придем к
противоречивому равенству (24). Следовательно, существует по крайней мере
одно положительное состояние, скажем t". Пусть t - какое-то другое
состояние. Поскольку i i0, то найдутся s и t такие, что pfj > 0, pjf> > 0
и, значит,
/"+* + "& рЖЛ - Рй ^ • Р",1 > 0- (25)
Поэтому найдется е > 0 такое, что для всех достаточно больших п
0. Но г, а значит, рг>0. Тем самым имплика-
ция (23) доказана.
Обозначим л/=1/р/. Тогда в силу (22) л/>0 и, поскольку
Г Г
1 = lim 2] pW = 2 л/" т0 (апериодическая неразложимая) цепь л /=1 / = 1
является эргодической. Понятно, что для всякой эргодической
§ 3 КЛАССИФИКАЦИЯ СОСТОЯНИИ 547
Конечной цепи
найдется п0 такое, что для всех ti^sti0
min /?<"> > 0.
(26)
В § 12 гл. I было показано, что верно и обратное: из (26)
