Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
j) = P('ti(n) = s\l(n) = i), s= 1,2, ...,
Р(*. /) = 0.
При этом
i) = P{[)(i, i) = p(i, })¦
Из однородности цепи следует, что вероятности /(5)(*,/) не зависят от п. При i ф у они называются вероятностями первого попадания в состояние у, а при i = у — вероятностями первого возвращения в состояние г.
Сумма
оо
F (г. D = ? fis) (». /). (» Ф /).
S — 1
есть вероятность того, что система, выйдя из /-го состояния, когда-нибудь попадает в у'-е состояние. Аналогично F (г, г) есть вероятность того, что система, выйдя из г-го состояния, за конечное число шагов возвратится в i-состояние. При F(i,j)<. 1 случайная величина т, является несобственной.
Определение. Состояние i называется возвратным, если F(i,i) = l, и невозвратным, если F(i,l)<. 1.
Нетрудно установить связь между вероятностями перехода и вероятностями первого попадания. Она дается соотношением
Р(п) (г. /) = Е fis) (г\ j) P{n~s) (/. /)> п > 1. (4)
При этом полагаем /) = 6ij = 0. Действительно, пусть
Tj — время первого попадания в у, отсчитываемое от начального
§ 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ 195
момента времени. Тогда
Р(,!) (г, 1) = Р(г) | jj 1xi = s) Л [I (n) = j] | =
= Z P(i) {bt = s] Л [I (n) = /]} = Z P{i) {X, = s) Р<г> {| (n) = j} =
S“1
= Z/(S,(<\ /)Р<*->(/, /).
S“ 1
Формула (4) доказана. Отметим ее частный случай:
Р(п> (г, 0 = Z /<s) (А 0 P{n~s) (*'» 0. (5)
$*= 1
что можно также переписать в виде
fW(it /) = р(я)(г, г) — Х/(5)(г. i)p{n~s)(i, 0-
S= 1
Последнее соотношение позволяет последовательно вычислить вероятность возвращения, если известны вероятности перехода. Заметим, что для вычисления вероятностей возвращения в г-е состояние достаточно знать только вероятности перехода в то же состояние.
Введем производящие функции Рц(г), Рц(г) последовательностей {p{n)(i,j), я = 0, 1, 2, ...}, {/(п) (*>/)> и = 0, 1, 2, ...}:
оо оо
Рц(г) = Z Р(п) (*> /) zn, Ри (z) = ? /<"> (г, /) г".
п=0 п=0
Из формулы (5) следует, что
оо П
Рц (г) = р(0> (г, о + Z Z (г‘> 0 zkp{n-k) (г, г) =
П— 1
оо оо
= 1 + Z Z i)zkp{n~k) (г, i)zn~k =
k=\ n=k
ОО
= 1 + ZP(/, 02*/>„(2) k=l
ИЛИ
/>„(2) = 1+/>„(2)/?«(2).
Изменение порядка суммирования в проведенной выкладке законно, так как рассматриваемые ряды сходятся абсолютно при | z | ^ 1. Последняя формула может быть записана также в виде
Р»<г>= 1-/1 (г) • (6>
I9Q СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. III
Аналогично из (4) вытекает равенство
Рц (2) = рп (2) l'i, (2), i ф j. (7)
Пусть теперь 2—действительное число и 2f 1. Функции Рц{г) и Fa (z) представляют собой монотонно вазрастающие функции, причем в силу теоремы Абеля lim Fa (2) существует и lim FH (2)=
2^1 2^1 = Рц (1) = F (/, г). Положим lim Рц (2) = G (г, г) — Pti (1). Из соот-
2-М
ношения (6) следует
Теорема 1. Состояние г возвратно, если G (г, i) =
00 00
= ? Р(п) (г’> 0 — °°> 11 невозвратно, если G (г, г) == ? pw(i, i) <
п=0 гг = 0
В невозвратном случае
G (г, г) = ,¦.
4 7 1 — F (1, i)
Теорема 2. Если состояния г ы / сообщаются, то они возвратны или невозвратны одновременно.
Доказательство. Так как ?-*-»¦/, то найдутся mi и тг такие, что p^ii, j) >0, p(mz)(/> г) >0. Так как
р(т,+т,+ п.) (Д д р(т2) (Д р(т,) ^
ТО
оо оо
? (/. /) > Р(тг) (/. г) Р{т,) (i, /) ? Р(п) (г, г)
п=Ш1+тг п=о
и ряд G(j,j) расходится, если расходится ряд G{i,i). Меняя роли г и /, получим, что G (/, /) и G (г, i) конечны или бесконечны одновременно. Щ
Таким образом, свойство возвратности для марковской цепи является не столько свойством состояния, сколько характеристикой класса сообщающихся состояний.
Интуитивные соображения подсказывают, что возвращения в течение неограниченного промежутка времени в возвратное состояние происходят бесконечно много раз, а в невозвратное состояние— только конечное число раз. Это нетрудно доказать.
