Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
j Ks и / ф s — г (modd). Следовательно, если, например,
Г <_ S, то
p(»d + s-r)(/ /)== ? fW+8-r)(it ])рЬ-Ь)*Ц, j).
k = 0
Доказательство формулы (14) завершается ссылкой на лемму 1, точно так же как доказательство теоремы 10. ¦
Определение. Возвратное состояние j называется
нулевым, если lim p(nd0 (Д /) = 0,
положительным, если lim p^nd^ (j, j) > 0.
В возвратном классе состояний все состояния одновременно либо положительны, либо нулевые. Действительно, если i *-*¦}, то из неравенства
p(m+^.+S)(. i)>pw{it j)p(^){h /)/>(/, 0>
где m и s таковы, что р{т) (г, /') > 0, pis) (/, г) > 0, следует
lim р(пй) (А, г) ^ lim (/, j), й — й{ — dj.
Меняя роли i и /, получим доказательство утверждения.
Полученные результаты можно подытожить следующим об-разом.
204 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. иг
Теорема 12. а) Чтобы состояние / было невозвратным, не-
оо
обходимо и достаточно, чтобы -= ? pM(j, j) <00. При этом
п—\
для всех i
00
Gij = ? Р(п) (г, /) < Gy/ <00, lim /?<п> (г, /) = 0.
rt — I я 00
б) Пусть j — возвратное состояние с периодом d и средним
временем возвращения т}. Если i достижимо из j, тогда г—
также возвратное состояние с тем же периодом d, нулевое или положительное одновременно с j, и существует такое k, 0 k •<
< d, зависящее только от i и j, что
, v ! — при r — k,
lim p{md+r){i, j) = l mj (15)
( 0 при г Ф- k (mod d).
в) Если i, j принадлежат одному и тому же возвратному классу, то
N
lim ^?/>(п)а, /)=~’ (16>
N->oq iV fflf
= 1 4
Последнее утверждение является непосредственным следствием б). С другой стороны, в отличие от утверждения б), формула (16) не отражает различия между апериодическим и пе-
риодическим классами состояний.
Условимся называть неприводимую возвратную цепь Маркова положительной (нулевой), если ее состояния положительны (нулевые).
Критерий возвратности. Стационарные распределения. Свойство цепи Маркова быть возвратной (положительной или нулевой) тесно связано с нетривиальными решениями линейной однородной системы
? p(i, i)xj=xh i(=I, (17)
и ей транспонированной
? р (/, г) х,- = х{, /е/. (18)
/е/
Если система (17) обладает неотрицательным и суммируемым решением, т. е. xt ^ 0, ?л:г < оо, то можно считать, что
?*(•=1, и такое решение можно интерпретировать как инвариантное начальное распределение xt = Р {?(0) = = Р {g( 1) =
= 1} = ..., порождающее стационарный марковский процесс.
§ 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИИ 205
С другой стороны, существование стационарного марковского процесса с заданными вероятностями перехода эквивалентно существованию неотрицательного суммируемого решения системы (17).
Что же касается транспонированной системы (18), то существование нетривиального решения лс* = с очевидно. Для возвратной цепи Маркова характерно, что (18) не имеет других нетривиальных неотрицательных решений. Более того, имеет место следующая теорема.
Теорема 13. Неприводимая цепь Маркова возвратна тогда и только тогда, когда система неравенств
Z p(i, /)*/<*ь <е/, (19)
не имеет неотрицательных решений, отличных от решений вида Xi = с, I е= /.
Доказательство. Допустим, что цепь возвратна, х{ ^ 0 и Xi (i е /) образуют решения системы (19). Выберем произвольное Xi 7> 0 (если такого нет, то все д:г==0). Из (19) следует
Xi> Z Р (г, /) Z p(i, k)xk=Y, P{2)(i, k)xk,
/е/ & e / ks I
и по индукции
Xi>Y, Pw(i, k)xk.
k<=I
Для каждого i найдется такое n, что p{n){i, I) > 0, следовательно, Xi ^ pw (i, I) xt > 0. Итак, Xi > 0 для всех i e I. Положим
X.
г/г== —, где I — произвольно выбранное состояние. Имеем xi
Уг> Z Р(г> /)г/,->р(г, 0 + Z Р (г'> 1)У/- Применяя это неравен-
/ е= / 1^1
