Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
С другой стороны, первое из соотношений (30) дает <G(|, /) = гЛ-, (1)гО(/, У),
откуда
iG(i, j)<iG(j, У) <оо. (33)
Возвращаясь к решению системы (17), докажем следующую
теорему.
Теорема 15. Пусть I — произвольное состояние неприводимой возвратной цепи Маркова. Система (17) имеет неотрица-
тельное решение
xt = \, Xt — tGV.i) (1ф1) /<=/.
Доказательство. Положим
щ = 1, щ = [G (/, i) (i Ф /). (34)
Имеем при 1ф1
X UjP (/> г) = Р и, 0 + X iG (/, У) р (У, г) =
ОО
= Р (I, г) + X X гР(,1) (/, У) р (У, г) =
/т*г я-=1
оо
= р(1, 0+ X гр("+1)(/, i) = iG(l, 1) = щ-
п=1
если же г = /, то
X щР(у, о = р(/, />+ X /<«+»(/, /)= х /<">(/, /) = 1=«/. ¦
/е/ «=) „=1
¦§ 6) ЦЕПИ МАРКОВА С.0 СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЯ 211
Рассмотрим вопрос о единственности решения системы уравнений (17), удовлетворяющего условиям Ы/ = 1, и{ > 0. С этой целью применим прием, связанный с введением обращенной цепи Маркова.
Предположим сначала, что цепь положительно возвратна, и пусть {Vj, /е/}—инвариантное начальное распределение.
Рассмотрим стационарный марковский процесс, соответствующий начальному распределению {vj, /е/}. Пусть Р^'> — вероятностная мера, соответствующая этому процессу. Введем условные вероятности
tji (iu /2, • • •, in)
= P^{l(t-l) = in l(t-2) = j2, ..., l(t-n) = ln\l(() = i),
где t > n\ имеем
,.. ; . ч V (U' U-1) p (in-v in-2) ¦¦¦ p (iv 0
Ql llli 12> • • • j /гг/ ^ —
= ?(*, /i)^(/b /2) • • • я (in-1, in),
где q (i, j) = p(j, i)~.
Таким образом, в стационарной положительно возвратной цепи Маркова условные вероятности перехода, получаемые при изменении направления отсчета времени (от настоящего к прошедшему), также соответствуют некоторой цепи Маркова. При этом следует заметить, что все V{ > 0, и поэтому
q(i, i)> 0, Yj qV’ = Yj vlp^'
/е/ 1 i&i 1
Аналогичное построение можно осуществить не только для положительной, но и для нулевой возвратной цепи. С этой целью возьмем произвольное положительное решение {Xj, /е/} системы (17) (ниже будет показано, что такое решение существует) и положим
q(i, i) = P(i, i)-j~- (35)
Так же как и выше,
q(i, D>0, Z Ц (/,/') = !.
/е/
Цепь Маркова с переходными вероятностями (35) будем называть обращением исходной цепи (обратной цепью).
212 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. III
Отметим формулы для вероятностей перехода за п шагов в обращенной цепи. Имеем
qW (/_ у) = ? q д) q yj (уп_ь у) =
= 2 pO'i. 0р(1\, h)... pU, }n-i)
fL
x¦ ’
/г /2, •••, гп_,
T. 6.
q(n)(iJ) = ~P{n){j,i). (36)
i
Отсюда вытекает: если исходная цепь неприводима, возвратна, положительная или нулевая, то такой же будет обращенная цепь.
Применяя предельную теорему для отношений (10) к возвратной цепи, получим
? 7(л) а. /) lim --------------= 1.
N->oo
п = О
? q(n) (/. i)
ti~Q
Воспользовавшись формулами (36), будем иметь
N
? рм (/. о
iim^j-----------= ^_. (37)
п-0
Отсюда вытекает
Теорема 16. Для неприводимой возвратной цепи неотрицательное решение системы (17) такое, что xt = 1, единственно. При этом Xi = iG (I, i) и
? pw (/, о
lim ------------= ,G(j, i). (38)
? pw(Ui)
n-0
Формула (38) следует из единственности решения системы (17) и теоремы 15, а единственность — из формулы (37) в предположении, что Xj > 0 для всех /. Таким образом, в силу теоремы 15 достаточно показать, что если {xj, j е /}—неотрицательное нетривиальное решение системы (17), то Xj > 0. Послед-
§ 61 ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИИ 213’
нее можно получить следующим образом. Для неотрицательного решения системы (17) имеем
Xi = Е Х,р (/, о = Е Е Xkp (k, j) р {j, i) =
? / k
= ExkEp{k, j) p (j, i) = z xkpW (k, i).
