Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
однородность цепи, что
Р {(&,, .... lk) е= ^Зк?Х110 = х, 1л = у} =
= Р{(*. У, ?г, h)^^k+i\lo = X, h=y} =
= Р {(у, Eft)e^j|1 = t/} =
= Р {(у, ... , gft-j) ge <Шк | ?0 = у] = (р).
Поэтому для А<.х<.В и 1 & с п
М*) = 2 (iO-
У
При этом ясно, что
Р*(*) = 1, х = В, 5+1, ...,'IV
и
р*(х) = 0, х = - IV, ..., А.
Аналогичным образом выводятся и уравнения для ак(х) - вероятностей
первого выхода из интервала (А, В) через нижнюю границу.
Пусть Tft = min {0=^ l^k: 1[ф(А, В)}, причем xk = k, если множество {-} =
ф. Тогда тот же самый метод, примененный к mk (х) = М (хк | ?0 = х),
приводит к следующим рекуррентным уравнениям:
mk (X) = 1 + ^ /И*-! (У) Рху
У
(здесь IsSftsirt, А<х<В). При этом
тк (х) = 0, х ф (А, В).
Понятно, что если матрица переходных вероятностей задается формулой (11),
то уравнения для ak(x), $к(х) и mh(x) превращаются в соответствующие
уравнения из § 9, где они получены, по существу, тем же самым методом,
что и здесь.
Наиболее интересны применения выведенных уравнений в предельном слуиае,
когда блуждание осуществляется неограниченно во времени. Так же, как и в
§ 9, соответствующие уравнения можно получить формальным предельным
переходом из выведенных выше уравнений, полагая k-+-oo.
Для примера рассмотрим марковскую цепь с состояниями {0, 1,... , В\ и
переходными вероятностями
Роо = 1 > Рвв - 1
§ 12. МАРКОВСКИЕ ЦЕПИ
И ДЛЯ 1 =sc i В - 1
Pi >0. / - 1 + 1"
Рч
= Г,
где Di -f /у -f qt = 1.
Этой цепи соответствует граф
Qi >0, / = i - 1,
Ъ-г
&
4t Pi
Pb-i
iff-/
Рв-1.
Отсюда видно, что состояния 0 и В являются "поглощающими", в любом же
другом состоянии i частица остается с вероятностью г,-, переходит на
единицу вправо с вероятностью pt и влево с вероятностью qt.
Найдем а(х)- lim ak (х) - предельную вероятность того, что
k -*• СО
частица, выходящая из точки х, достигнет нулевого состояния раньше, чем
состояния В. Предельным переходом при k-> оо в уравнениях для ал(х)
получим, что для 0 </<В
а (/) = q,a (/ - 1) + г,а (/) + ///"(/ + 1)
с граничными условиями
а (0) = 1, а (В) = 0.
Поскольку Г/ = 1 - qf - р,-, то
Pi (а (У + 1) - а (/)) = Pi (а(/) -"(/-!)) и, следовательно,
а(/+1)-а(/) = ру(а(1) -1),
где
р _ TlluM р - j.
Pi ¦¦¦ Pj r
Но
"(/+1)-1 = 2 (a(i+1)-а(г)).
1 = 0
13Я ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Поэтому
a(/+l)-l = Ml)-l)-i] Pt.
i=i
Если j = B - 1, то a(/ + 1) = a(B) = 0, и, значит,
"(1)- 1 szri .
2 рг
*=1
откуда
а -i в-1
2 р, 2 р,
"(1) = 5Г=1- и a(/)=fer-. /=1..................В.
I] р" 2] р,-
1=0 i = l
(Ср. с соответствующими результатами § 9.)
Пусть теперь т (х) - lim mk (х) - предельное значение среднего
к
времени блуждания до попадания в одно из состояний 0 или В. '''огда m(0)
= m(B) = 0,
т (х) = 1 + I] т (У) Рху
У
и, следовательно, для рассматриваемого примера
я* (/) = 1+Q/m а -1)+г/т (/)+р/т (/ + о
для всех /=1, В - 1. Чтобы найти m(j), обозначим
М(/) = /п(/) - тЦ- П. / = 0. !.•••. В.
Тогда
р/М(/+1) = 9/Л1(/)-1, / = 1, .... В-1,
и последовательно находим, что
М(у+1) = р,Л1(1)-Я"
где
R ih + +
Pi-.-Р/ 7 Р/L P/-i P/-.-PiJ
Поэтому
f-i
m (0 = rn (j) - m (0) = 2 M (i + 1) = f = o
= 2 (Pi/и(1) - 7?,-) = m(1) 2 Pi-2 Ri' i = o t = о
§ 12 МАРКОВСКИЕ ЦЕПИ 139
Осталось лишь найти т(1). Но т(В) = 0, значит,
В- 1
2 Rt т( !) = ?$-,
2 Рг
1 = 0
И ДЛЯ 1 < / =г? В
В-1
/-1 2 ^г
г"(/)=2рг'^Т-------------2 Rh
г=о 2 Рг i = 0
i = 0
(Ср. с соответствующими результатами из § 9, полученными там ДЛЯ случая
/-; = 0, Pi = p, <?; = <?.)
6. В этом пункте будет рассмотрено одно усиление марковского свойства
(8), заключающееся в том, что оно остается справедливым при замене
момента времени k на случайный момент (см. далее теорему 2). Важность
этого так называемого строго марковского свойства будет
проиллюстрирована, в частности, на примере вывода рекуррентных
соотношений (38), играющих существенную роль для классификации состояний
марковских цепей (гл. VIII).
Пусть Е = (?0, ..., Е") - однородная марковская цепь с матрицей
переходных вероятностей |ру||, ^ = (&l)0<k<n ~ система разбиени Е
. Через <Ш\ будем обозначать алгебру
порожденную разбиением Придадим прежде всего марковскому свойству (8)
несколько иную форму. Пусть В е а(c)!. Покажем, что тогда
p{ln = an, ..., lkn = akH\B[](tk = ak)} =
~ Р {1л = @п> •••> Е/г+1 = г?/г+1 | %k ~ Ok} (29)
(предполагается, что Р {В f| (ЕА = ak)) > 0). Действительно, множество В
можно представить в виде
5 = 2*{So = af, .... 1ч = а%},
где суммирование 21* распространяется по некоторым набора ("о, •••, а%).
Поэтому
^ {Ел = Оп, . . . , Е/г+1 т1 гг/г+i | В Р| (Eh = Oh)} -
р {(?" = <"" It = flfc)n В} _
Р {(6*="*)П S}
L*p {(?л = ал, S/г = ak) П (jo = ДО ¦ '-.I \k~ ak)} /'OQ'i
Р{(Е* = в*)ПД} * ( '
140
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Но в силу марковского свойства
P{(g" = a", gft = fl*)n(So = fle, •••. 5* = "*)} =
Р {%п = Оп, • • • > - й/г+i ! ?о = а0 . • • • > Е/( = X
хР{?о = а* ?* = "*}, если ак = а%,
0, если акФа\,
Р{?л = йл> •••> Е/г+1 = й*+1 ! Sfr = ah) Р {т0 = а*> ¦ ¦ •
