Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
ство к величинам у^ стоящим в его правой части, получим
У1>Р (*, 0 + Z Р (*. /) Р (/> 0+.Z Z Р (I, /) Р (/. /г) Ук =
] Ф1 /г =т^ 2
= Р(»\ 0 + Р(»\ 0 + Z /Р(2)(г, k)Ук,
k^l
где гр<2)(г, А) = Z Р (h /) Р (/> есть вероятность, выйдя из /-го
!Ф1
состояния, на втором шаге попасть в k-e состояние, не заходя при этом в l-е состояние. Повторяя предыдущий прием, приходим к неравенству
У г > Z f{n) (i> I) + Z iP(N) (г‘, k) yk,
1 кФ I
206 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. III
где ip^ii, k) — вероятность перехода за N шагов из г-го состояния в ft-e, не заходя при этом в l-е состояние. Полагая в последнем неравенстве jV-> оо, получим
оо
yt> I /) = 1,
п=1
т. е. Xi ^ xt.
Так как г и I любые, то х{ = xL = const, т. е. система неравенств (19) не имеет неотрицательных решений, отличных от Х{ = с, ie /.
Пусть теперь цепь имеет хотя бы одно невозвратное состояние (сейчас неприводимость цепи не используется). Положим Xi = 1, Xi = F(i,l) при i ф I, где I — любое невозвратное состояние. Заметим, что не для всех г, i ф I, F(i, I) = 1. Действительно, в противном случае имели бы F(l, /)= ? р{1, k)F{k,l)-\-
k=^i
-Ь р (I, l)= ? PU> k)= 1, что противоречит невозвратности
состояния I. Таким образом, определенные выше неотрицательные числа Xi не все равны между собой. Имеем при i ф I
xt = F (г, /)= Е Р (г, k) F (k, /) -f р (г, /) = ? Р (I, k) хк
k=jfc<s/
И
xi = 1 > F (/, /) = ? р (/, k) xk,
kSkl
т. е. {Xi, i е /} образуют неотрицательное и отличное от постоянной решение системы (19). В
Перейдем к вопросу о связи между существованием инвариантных начальных распределений и свойствами возвратности марковской цепи, т. е. к вопросу о разрешимости системы (17) для возвратной цепи.
Теорема 14. Пусть цепь Маркова неприводима и возвратна. Система уравнений (17) не может иметь больше одного решения, удовлетворяющего условиям
Е ?*i = l- (20)
te/ ?<=/
Если цепь возвратна и положительна, то решение системы (17), удовлетворяющее соотношениям (20), имеет вид
N
Xi = vt = lim Y У pW (/', г). (21)
N-+oo iV i—“
Если же цепь возвратна и нулевая, то единственное абсолютно суммируемое решение системы (17) тривиально (Xi==0).
§ 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИИ 207
Доказательство. Сначала докажем единственность решения системы (17) при условиях (20). Пусть такое решение существует. Умножая (17) на p{i, k) и суммируя по всем г, получим
xk = ? Xip (/, k) = ? ? Xjp (j, i) p (/, k) =
ie/ i e/ / e/
= ? Xj ? p (/, o p (/, 6) = ? Xjp® (/, 6).
iel tel i^l
Перестановка порядка суммирования возможна в силу абсолютной сходимости соответствующего двойного ряда. Аналогично получаем
** = ? Xjpinm, k). (22)
/е/
Положим
N
%(/. k) = JfYp(n)^’
п=1
тогда
= ? XjSN (/, k). fs;
Принимая во внимание, что sv(/, k)->mkx и абсолютную сходимость ряда ? X/, переходя к пределу в последнем равен-
/е/
стве, получим
хк = 'Zxitni1 = тпк\ (23)
что и доказывает единственность решения системы (17), (20). Отсюда вытекает, что если цепь возвратна и нулевая, то xh — 0 для всех k е /.
Докажем теперь, что для положительной возвратной цепи величины (21) образуют требуемое решение системы (17). Пусть Г — произвольное конечное подмножество I. Из неравенства p,n+i] (k, i)^ ? p'n){k, j)p(j, i) получаем
/ев г
%+i (k, i) - i] ^ ЛГТТ Z % ^ Р 0'. 0.
/еГ
откуда после перехода к пределу при N —> оо вытекает, что
У/ > ? 0/Р (/. 0-
/еГ
Полагая теперь /'->/, получим и(- ^ ? и,р (/, г). Умножая
/е/
последнее неравенство на р (г, &) и суммируя по k, придем к неравенствам ? и,р(г, й)^ ? и,р(2)(г, й) и, продолжая
i е/ i е /
208 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. III
этот процесс, к неравенствам vk ^ Z Vip(n) (г, k) при любом
