Курс теории вероятностей - Гнеденко Б.В.
Скачать (прямая ссылка):
Полная вероятностная картина возможных изменений, осуществляющихся при переходе от одного испытания к непосредственно следующему, задается матрицей
составленной из вероятностей перехода, которую мы будем называть матрицей перехода.
Отметим, каким условиям должны удовлетворять элементы этой матрицы. Прежде всего они, как вероятности, должны быть неотрицательными числами, т.е. при всех i и /
Далее из того, что при переходе из состояния А в s-м испытании систе-
§ 16. Матрица перехода
111
ма обязательно переходит в одно и только в одно из состояний Af-S + 1 ^, в (s + 1)-м испытании вытекает равенство
к
X Pij =1 (/= 1,2,..., к).
/'= *
Таким образом, сумма элементов каждой строки матрицы перехода равна единице.
Наша первая задача в теории цепей Маркова состоит в определении вероятности перехода из состояния в s-м испытании в состояние
А--5 + п) через п испытаний. Обозначим эту вероятность знаком Р^(п).
Рассмотрим какое-нибудь промежуточное испытание с номером s + т. В этом испытании осуществится какое-то одно из возможных событий A^s + (1 < <&). Вероятность такого перехода, согласно с только что
введенными обозначениями, равна Pir(m). Вероятность же перехода из состояния А^+т^ в состояние Afs*n^ равна Рг/(п - т). По формуле полной вероятности
к
Ри(п) = I Pir(m) ¦Pyjin-m). (1)
У = 1
Обозначим через 7г„ матрицу перехода через п испытаний
/ Л 1ООЛ2ОО • ¦ • Pik(n)\
\РкЛп)Ркг(п) ¦ • • Ркк(п) !
Согласно (1) между матрицами ns с различными индексами существует соотношение
^п ~ ^т ' п — т (О т п}.
В частности, при п = 2 находим, что
_ _ 2
Я2 *“ 7Г1 * 7Г1 “ j i
при п = 3
7Т3 = ¦ 7Г 2 = 1Т2 ’ Л1 = 7Г 1 ;
и вообще при любом п
7Тп - 7Г1 .
112
Гл. 3. Цепи Маркова
Отметим частный случай формулы (1) : при т = 1
П
Лу(«)= 2 PirPn(n -1).
г- 1
В качестве упражнения предлагается читателю написать матрицу перехода для первого примера предыдущего параграфа.
§ 17. Теорема о предельных вероятностях
Теорема. Если при некотором s > 0 все элементы матрицы перехода ns положительны, то существуют такие постоянные числа pj (/= 1,2,... ,k), что независимо от индекса i имеют место равенства
lim Рц(п) = ph
П —* оа
Доказательство. Идея доказательств этой теоремы весьма проста: сначала устанавливается, что наибольшая из вероятностей ^ Ди) с ростом п не может возрастать, а наименьшая не может убывать; далее показывается, что максимум разности Рц(п)—Рц(п) (г, / = 1, 2, . . . , к) стремится к нулю, когда п Этим доказательство теоремы, очевидно, за-
вершается. Действительно, в силу известной теоремы о пределе монотонной последовательности мы заключаем из первых двух указанных свойств вероятностей />,/(и), что существуют
lim min Рц(п) = р/
п 00 1 <1< к
И
lim max PJn)= p..
П-юо 1 < к
А так как в силу третьего из указанных свойств lim max i Pij(n) - Рц(п) | =0,
п~*°° 1
ТО
Pi = Pi = Pi-
Мы перейдем теперь к осуществлению намеченного плана. Заметим прежде всего, что при п > 1 имеет место неравенство
к к
Рц(п) = 2 риРц(п-\)> min Рц(п- 1)2 ри = i=i 1 /= 1
= min Pi,(n — 1). i
§ 17. Теорема о предельных вероятностях 113
Это неравенство имеет место при каждом /, в частности при том, при котором
Рц(п) = min Рц(п).
1 <1<к
Таким образом,
min Рц(п) > min Рц(п — 1). l<i<.k Ki<k
Подобным же путем легко обнаружить, что max Pj,(n) < max Рц(п - 1).
Мы можем считать, что п > s, и поэтому имеем право записать по формуле (1),что
к
Р„(п) = 2 Pir(s) Prj(n-s).
Г= 1
Рассмотрим разность
к к Рц(п) ~Рц(п) = 2 Pir(s) Prj(n - S) - 2 plr(s) -Prj(n-s) =
г- 1 Г - 1
к
= 2 [ЛДО Рп{п s).
г = 1
Обозначим положительные разности Pjr(s)—Pir(s) символом р^ , а неположительные разности через - P'ff^. Так как к к
2 Pir{s) = 2 Plr(s) = 1,
r= 1 r=l
ТО
к
2 [Pir(s) - />„.(*)] = 2 - 2 ^ = 0. (2)
г=1 (г) (г)
Из этого равенства заключаем, что
hn = 2 /#> = 2 $'>
(О 00
Так как по предположению при всех / nr(i,r = 1,2,3,... ,к) Pir(s)>0, то
2 < 2 />,.,(*) = 1.
(г) Г=1
114
Гл. 3. Цепи Маркова
Таким образом,
О < h„< 1.
Пусть
h = max Иц.
1 <i,l<k
Так как число возможных исходов конечно, то наряду с величинами hit величина h удовлетворяет неравенствам
