Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
Пусть Qj(m) — событие: система попадает в /-е состояние по меньшей мере т раз, a tj— число шагов до первого попада-лия в состояние /. Тогда
оо
Q/ (m) = (J Qj (т) Г) {ту = п}.
1
3 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ 197
Пусть дц(т) — вероятность события Qj(m), если |(0) = i. Имеем
оо
Цп (m) = Z Р (Qi М п [т/ = п] 11 (0) = г) =
1 /г=1
оо
= ? P(i> (Q/ И | Ту = /г) Р<г> (т, = п 11 (0) = г) = tl=l
оо
= Е /(п) 0'. /) P(i) (Qi (т) I тi = n). /1=1
Нетрудно проверить, что
P(i)(Q/(m) |т/ = я) = Р</> (Q/(m— l)) = <7//(m— 1).
Таким образом,
qiS (m) = F (г, /) qu (m — 1). (8)
Пусть qiS — qit(oo) — вероятность того, что система, выйдя из г-го состояния, попадает в /-е состояние бесконечно много раз. Так как qij = \\mqli(m), то из (8) следует
т->оо
Чн = F (I, /) Яп- (9)
Теорема 3. Если j — возвратное состояние, то qn = F (г, /) и, в частности, qц = 1; если же / невозвратно, то qn = 0 для любого i.
Доказательство. Если F(j, j) < 1, то, положив в (9) г = /, получим q,, = 0 и из того же равенства имеем q^ = 0. Если F(j,j) = 1, то из (8) вытекает qjj(tn) — [F(j, /)}m_1 = 1, откуда Яа = 1. Из (9) тогда следует, что qi} = F(i,j). Щ
Пусть F(i,j)= 1. Из свойства строгой марковости (см. § 5, теорема 5) получаем
р<0 (в п (Л & (т/+^=м)) -p(i> р</) ((4)=ы)
для любого Из этого соотношения вытекает
Теорема 4. Если F (t, /) = 1, то случайный процесс ?'(t) =
= g(tj + 0 (1(0)—0 стохастически эквивалентен §(t) с на-
чальным состоянием ?(0) = / и не зависит от а-алгебры .
Следствие. Пусть |(0) = г, t — возвратное состояние, ii — число шагов до первого возвращения в i, |2 — число шагов между первым и вторым возвращением в i и т. д.
Случайные величины ?2. • • •. in, • •. одинаково распределены и независимы.
Теорема 5. состояние i возвратно и F (г, /) > 0, то си-
стема, выйдя из состояния i, посетит j бесконечно много раз (Ягз = 1) и F(j, i) > 0. В частности, F(i, j) — 1.
198 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. ш
Из теоремы 3 следует, что число возвращений в состояние г бесконечно. Пусть Сь. обозначает событие: ь^ежду (k—1)-м и ft-м посещениями состояния i система зайдет в состояние /. В силу строгой марковости процесса события Си независимы
оо
между собой и имеют одну и ту же вероятность. Так как (J С к
А=1
есть вероятность того, что система вообще когда-либо посетит
оо
/, то Р(Сй)>0 и ?Р(С*) = оо. Из теоремы Бореля — Кан-*=i
телли следует, что с вероятностью 1 осуществляется бесконечно много Сй. Более того, система, попав в /-е состояние, бесконечно много раз посетит i-e состояние. ¦
Следствие 1. Из возвратного состояния достижимы только возвратные состояния. Возвратные состояния существенны.
Это следствие уточняет теорему 2, полученную ранее с применением производящих функций.
Следствие 2. В классе сообщающихся состояний, содержащем возвратное состояние, все остальные состояния также возвратны, и система, находящаяся в этом классе, с течением времени с вероятностью 1 попадает во все остальные состояния класса, и притом бесконечно много раз.
Класс возвратных сообщающихся состояний будем называть возвратным классом.
Положим
оо
G(i, /)= %PM(i, /)•
Смысл этого ряда был выяснен для случая i = j. В общем случае установим следующее соотношение:
Z Р(п) (i, /)
lim ------------=F(t, /). (10)
Z p(a)u,n
Доказательство основано на формуле (4). Полагая в (4) п = s= 1, 2, N и суммируя полученные равенства, будем иметь
? P{n)(i, /)= Z Z f(n-s)a, i)P(s)a, /)=
п=1 5“ 0
= Z Z i)p(s) (!,!)= Z P(S)(I, j)FN-Sf
s-0 rt=s+l о
ЦЕПИ МАРКОВА СО СЧЕТНЫМ числом состоянии 199
где Fn-s = Z f{n)(i,i) и FN-+F{i,i) при N -* оо. Таким образом,
N — s
Z
1
л
I
_________________* р(5) (/. /)
,v / rw-s д?
Z р(гг) (/> /) s=° Z p(n) (/> /)
n—0 n~0
