Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
4=1
Введем для каждого i е Е величину
со
(4)
л = 1
по своему смыслу являющуюся вероятностью того, что частица, выходящая из
состояния i, рано или поздно вернется в это состояние. Иначе говоря, Р,-
{о,- < оо}, где о* = inf {я 5=1: X" = i'} с о;=оо, когда {•} = (?>.
Рис. 40. Классификация состояний марковской цепи по асимптотическим
свойствам вероятностей
Назовем состояние i возвратным, если
/" = 1,
и невозвратным, если
fu< 1.
Каждое возвратное состояние можно в свою очередь отнести к одному из двух
типов в зависимости от конечности или бесконечности среднего времени
возвращения.
А именно, будем называть возвратное состояние i положительным, если
и нулевым, если
1 Фонтан, в зависимости от свойств вероятностей получаем классификацию
состояний цепи, изображенную на рис. 40.
СО \- 1
2"> >°.
1 = 1 /
540 ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
2. Поскольку отыскание функций /<"> довольно-таки сложно, то для
определения того, является состояние i возвратным или невозвратным,
полезен следующий критерий.
Лемма 1. а) Состояние i возвратно тогда и только тогда, когда
СО
2 р\Т = 001 (5)
п = 1
Ь) Если состояние / возвратно и i <-" /, то состояние i также возвратно.
Доказательство, а) В силу (3)
Р\?' = 2 те-*'.
k = l
и, значит, (ри = 1)
оо со л со со
2 ру= 2 2 /М-й,= 2 W 2 Pir*' =
п = 1 л = 1 k = 1 ? - 1 п - k
СО 4 СО
(л) г I 1 I V*
=/" 2 р" =/" р + 2 р!" •
\
п = 0 ' л - 1
со
Поэтому, если то и> значит, состояние i
п = \
оо
невозвратно. Далее, пусть 2 Р^Г> = со- Тогда
П = 1
2 />!?'= 2 2 "Mr*1- 2 ПГ 2 р!Г*'"й 2 да 2р!?.
л=1 11=14=1 4=1 П= 1 4=1 1=0
и поэтому
оэ N 2 р\Р
Ы= У. /Ь*'з= У ------------------------->>. "-"•
*-¦ *-¦ 2 4?
/ = 0
со
Итак, если 2 р"° = оо, то /,, = 1, т. е. состояние t возвратно.
Л = 1
Ь) Пусть pl?>Q, pf> 0. Тогда
pkn + , + 0SspS)pM>,
и если 2 p/f = оо, то и 2 р"' = оо, т. е. состояние i возвратно. I <
§ 3 КЛАССИФИКАЦИЯ СОСТОЯНИЙ 541
3. Из критерия (5) легко выводится следующий первый резуль-
тат об асимптотическом поведении вероятностей р<">.
Лемма 2. Если состояние j невозвратно, то для любого i
^p(ij'' < оо (6)
и, значит,
p\fоо, я-> со. (7)
Доказательство. Из (3) и леммы 1
ОО СО П СО СО
I] Р\Т= 2 2 /!><ГА)= 2 2 ^> =
/1 = 1 n = 1 А = 1 А = 1 /1 = 0
со со
=/-/ 2 p)f^ 2
п = 0 л = 0
со
где мы воспользовались тем, что /,/= f\f ^1. поскольку это
А= 1
есть вероятность того, что частица, вышедшая из /, рано или поздно
попадет в /. Итак, (6), а значит, и (7) доказаны. Перейдем теперь к
случаю возвратных состояний.
Лемма 3. Пусть j является возвратным состоянием с d(j) - \.
a) Если i сообщается с j, то
(8)
Если к тому же j является положительным состоянием, то
Р\? > 0, п оо. (9)
Если же j является нулевым, то
plf->- 0, IX ->- со. (10)
b) Если i и j принадлежат разным классам сообщающихся
состояний, то
- . л-оо. (11)
Доказательство леммы будет опираться на следующий результат из анализа.
Пусть fu /2, ... - последовательность неотрицательных чисел
ОО
с ^jfi-l такая, что общий наибольший делитель тех чисел /,
i-V
642 ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
П
для которых fj> 0, равен единице. Пусть и0=1, ип= 2]/а"л-а#
k=\
со
/1=1, 2, и [д.= У nf". Тогда ыл->-,/г^-оо (доказательство
п = I
см., например, в [69] § 10 гл. XIII).
Учитывая соотношения (3), применим этот результат к ип = = Р//*, fk - fu
• Тогда сразу получаем, что
p</?> -v -,
'// М./
СО
где ру = 2 "///'•
rt - 1
Перепишем теперь соотношение (3) в виде (р<л> = 0, s < 0)
00
pS7)= S W*'- <12)
k=i
Согласно доказанному для каждого фиксированного k pfi~k) Hjl, п-*-оо.
Поэтому, если предположить, что
Иш 2 /<*>р? -*> = 2 /57' 1 im -*>, (13)
11 k = \ ' k = \ n
то тогда сразу получим
jU-Ц
что и доказывает (11).
По своему смыслу fiS есть вероятность того, что частица, вышедшая из
состояния i, рано или поздно попадет в состояние j. Состояние j
возвратно, и если i сообщается с /, то естественно ожидать, что тогда Д/
= 1. Покажем, что это действительно так.
Пусть /,у - вероятность того, что частица, вышедшая из состояния г,
бесконечно много раз побывает в состоянии }. Понятно, что Поэтому,
если показать, что для возвратного состоя-
ния j и сообщающегося с ним состояния i вероятность /(-/ ==1, то
требуемое равенство ft]- - 1 будет установлено.
Согласно утверждению Ь) леммы 1 состояние i также возвратно и, значит,
/" = 2^=1. (15)
Пусть
а,- = inf {п ^ 1: Хп = (}
§ 3. КЛАССИФИКАЦИЯ СОСТОЯНИИ 543
- момент первого (в моменты 1) попадания частицы в состояние /; полагаем
сг; = со, если такого момента не существует. Тогда
СО СО
1 = fit = 2 W = S pi to = n) = pi to < СО). (16)
n = 1 n = I'
и, следовательно, возвратность состояния i означает, что частица,
вышедшая из i, рано или поздно снова вернется в это состояние (в
случайный момент сг(). Но после возвращения в это состояние "жизнь"
частицы как бы начинается сначала (в силу справедливости строго
марковского свойства). Отсюда напрашивается вывод, что если состояние i
возвратно, то частица будет попадать в него бесконечно часто:
