Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
1. Если бы в последнем соотношении хотя бы при одном k имел место знак строгого неравенства, то мы имели бы
Z vk > I Z P(n)(i, k)= Z vu
fee/ jsl fee/ is/
что невозможно. Поэтому
Vk = Z VipM{i, k), fee/, n—\, 2, . . . (24)
is l
В частности, величины vt образуют решение системы (17).
Из (24) получаем
Vi = Z vtsN (г, ?). (25)
ie/
Заметим, что из неравенства Z k) ^ 1 вытекает
Z s,v (l> k) ^ 1 и Z vk ^ 1 при любом конечном Г cz I. Отсюда
*<=/' /ге/'
Z ^ 1- Поэтому в (25) можно перейти к пределу при N -^ оо, /
после чего получим vk~Y, V{Vk, откуда Z — 1- Таким
ie/ is/
образом, решение vt системы (17) удовлетворяет условиям (20). В Замечание. Если цепь Маркова произвольна, {xt, i <= /} — абсолютно суммируемое решение системы (17), k — невозвратное состояние, то xk = 0.
Это утверждение следует из возможности перехода к пределу при /г-> оо в равенстве (22) и из соотношения lim p{n)(j, k) = 0, имеющего место для произвольного невозврат-
Л->оо
нОго k.
Следствия.
1. Для того чтобы неприводимая цепь Маркова была положительной возвратной, необходимо и достаточно, чтобы система (17) обладала нетривиальным абсолютно суммируемым решением {х*, ге/}. При этом х( = си{, где с — постоянная, vt > 0.
2. Неприводимая цепь Маркова имеет инвариантное начальное распределение тогда и только тогда, когда она положительная возвратная.
3. Если цепь неприводима, положительна и апериодична, то единственное решение системы (17), удовлетворяющее (20), имеет вид
Xl = Vi—- lim p{n)(j, i). (26)
п-> оо
§ 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ 209
Последнее утверждение вытекает из того, что для положительной апериодической цепи пределы lim рм (/, i) существуют,
П-> оо
так что (17) следует из (21).
Из предыдущей теоремы вытекает, что для нулевой возвратной цепи система (17) не может иметь нетривиального абсолютно суммируемого решения. Однако она обладает важным неотрицательным несуммируемым решением. Чтобы получить это решение, введем вероятности перехода с запрещениями (табу-вероятности). Это понятие является обобщением понятия вероятности первого попадания. Оно уже встречалось при доказательстве теоремы 13. Табу-вероятность ip(n)(t,j) есть вероятность попасть на га-м шаге в состояние j из начального состояния i, не посещая при этом в моменты времени 1, 2, ..., п— 1 состояния I. Таким образом,
lPW(i, j)= ? p(i, h)p{ju /2) . . . p(/„_i, /), 1.
i’ i2’ • • ¦' in—v 1ГФ1, r —i,..., n-1
Очевидно,
iPil) (i, i) = P (i, i), iP(n) {i, j) = /)•
Положим еще
iP{0)(i, i) = 6(i, j).
Аналогично вводятся табу-вероятности когда запрещен-
ным является некоторое множество состояний Н. Если запрещены два состояния I, /, то табу-вероятность {l (i, j) логично обозначить через if(n) {i, j) ¦ Это есть вероятность, выходя из начального состояния г, впервые попасть в состояние j на л-м шаге, не заходя до этого в состояние I.
Отметим следующие два равенства:
iP(n) (», i) = Z if{k) ii, 1) iPin~k)(j, j), (27)
k — \
n
iP(n) (i, 1) = Z iP{k) (i, i)„ lxp{n~k) (i, j). (28)
k = 1 1
В частности, из формулы (28) следует (при t — j)
f(n)V, /)= Z iPik)(i, I)• (29)
Введем производящие функции
00
iPli (г) = Z iP(n) (г, i) zn,
n~ 0
oo
tFtt(z)= Z i) zn, J&Hi, /) — 0.
n — 0
2)0 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. 1П
Правые части равенств (27) и (29) представляют собой свертки двух последовательностей, поэтому
iPil(z) = iFil(z)tPll(z), Fij{z) = jPii{z)iFil{z). (30)
Заметим, что ряды iFij(z) сходятся при z— 1, причем если состояния i и j сообщаются, то ^^(1);>0. При этом предположении второе из равенств (30) показывает, что существует конечный предел jPu(z) при z-> 1 и, следовательно, )Рц( 1)< •< оо. Положим
оо
iG(i, У) = ? iPin)(i, })• (31)
П~ 0
Таким образом, если состояния / и j сообщаются, то
F" (1)
iG{i’ 1)=1ЩГ)<0°- (32>
