Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
Пример 2. Пусть Х = {0, ±1, ±N}, р0=1, Pnn =
= P(-.V) (-Л0 = 1 и для I i I < N
Переходы, соответствующие такой цепи, можно графически изобразить
следующим образом (N = 3):
-3 -2 р -1 р 0 q 1 у 2 3
Эта цепь отвечает исследованной выше игре двух игроков, когда капитал
каждого равен N и на каждом шаге первый игрок с вероятностью р выигрывает
у второго + 1 и проигрывает - I с вероятностью q. Если трактовать
состояние i как величину выигрыша первого игрока у второго, то достижение
состояний N и - N означает разорение второго и первого игроков
соответственно.
В самом деле, если гц, г]а, ... , г|" - независимые бернуллиевс-кие
случайные величины с Р (гр = + 1) = р, Р(г|" = -1) = <7" S0 = 0 и Sk =
+ .. . + г]а - величина выигрыша первого игрока
У второго, то последовательность S0, Slt, Sn будет образовы-
0 в остальных случаях.
(П>
9 Ч
Ч Р Р
р
126 ГЛ. t, ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
вать марковскую цепь с р0=1 и матрицей переходных вероятностей (11),
поскольку
Р {5*+] = /1 Sk = ik, Sk-j - t'fe-t,..-
= P {5* -f- rift+i= /1 5* = tft, Sk-i = 1, ...} =
= P {5* + r)ft+1 = j j Sft = ik} = P {t|*+i - j ~ (*}¦
Марковская цепь S0, 5X, ... , S" имеет весьма простую структуру: 5*+! =
5*-{-T]ft+1, O^k^n-1,
где rp, r)2, ... , к]п - последовательность независимых случайных
величин.
Те же рассуждения показывают, что если |0, гр, ..., ^" - независимые
случайные величины, то последовательность Е0,
In с
lk+i = fk(lk, r\k+1), O^k^n - l, (12)
также образует марковскую цепь.
В этой связи полезно отметить, что так построенную марковскую цепь
естественно рассматривать как вероятностный аналог (детерминированной)
последовательности х = (х0, .х"), управляемой рекуррентными соотношениями
Xft4-i -fk (*^ft)*
Приведем еще один пример марковской цепи типа (12), возникающей в задачах
теории "очередей".
Пример 3. Пусть на стоянку такси в единичные моменты времени прибывают
(по одной в каждый момент) машины. Если на стоянке нет ожидающих, то
машина немедленно уезжает. Обозначим через гр число ожидающих, приходящих
в момент к на стоянку, и будем предполагать, что тр,..., р" - независимые
случайные величины. Пусть Е* - длина очереди в момент k, Ео = 0-Тогда,
если Е* = t, то в следующий момент &+1 длина очереди Е*+1 станет равной
f Pft+i, если t = 0,
1 ~ \ i - 1 + ра+1, если i ^ 1.
Иначе говоря,
lft+i = ({U - 1)+ +rift+i" - 1,
где a+ = max(a, 0), и, значит, последовательность Е = (10, ?")
образует цепь Маркова.
Пример 4. Зиют пример относится к теории ветвящихся процессов. Под
ветвящимся процессом с дискретным временем будем понимать
последовательность случайных величин Е0, Et, ... , Е", где ?*
интерпретируется как число частиц, существующих в момент
5 12. МАРКОВСКИЕ ЦЕПИ 127
времени k, а процесс гибели-размножения частиц происходит следующим
образом: каждая частица независимо от других частиц и от "предыстории"
процесса превращается в j частиц с вероятностями р/, j - 0, 1....... М.
Будем считать, что в начальный момент времени имеется всего лишь одна
частица, |п=1- Если в момент k было частиц (с номерами 1, 2,..., ?*), то,
согласно описанию, lk+l представляется в виде случайного числа случайных
величин:
р 4_ 4-г/*1
Sam - % + • • • Т >
где т]^5 -число частиц, произведенных частицей с номером г. Разумеется,
если tA = 0, то и сА+1 = 0. Считая, что все случайные величины г]***,
&5г0, 1, независимы между собой, находим
Р {^АМ " ^'а-М I ^А ~ ^А" ^А-] " ^*A"i 1 • • •} "
- Р {sa+i = !'a+i I !а = h) - Р {rli*) + - • • + Л if = ^A+i}-
Отсюда видно, что последовательность ?0, ?г, ..., \п образует марковскую
цепь.
Особый интерес представляет случай, когда каждая частица или погибает с
вероятностью q, или превращается в две с вероятностью р, p-\-q= 1. Для
этого случая легко подсчитать, что
Pq = Р {?а+1 = /1 Ik = г'}
задается формулой
( Cpp/7V_//a- / = 0, , 2I,
\ 0 в остальных случаях,
2. Будем обозначать через % - Ц. Р) однородную марковскую цепь с
векторами (строкой) начальных вероятностей J] = (р;) и матрицей
переходных вероятностей Jf] = II Pi/ I- Ясно, что
Рц = Р {h = /1 go = г'} = • • • = P {in = /1 L-i -i}>
Обозначим
pl? = P {I* = /1 go = "•} (= p = j I Zi = i})
вероятность перехода за k шагов из состояния i в состояние / и
pf = Р {!* = /}
- вероятность нахождения частицы в момент времени k в точке /. Пусть
также
TFMpJU Pw = 1 P\f I-
128
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Покажем, что переходные вероятности удовлетворяют
уравнению Колмогорова - Чэпмена или в матричной форме
p!;+,i = 2p1XJ,
ptk+t) _p(ft) .p(0_
(13)
(14)
Доказательство весьма просто: используя формулу полной вероятности и
марковское свойство, получаем
pik+D = Р = j ||о = J) = л Р = jt g* = Gt I i0 = i) =
a
= 2 P (Sk+/ =7 I ?* = a) P (Sk = a | ?o = 0 = 2 Pa/P'a ¦
Особо важны' следующие два частных случая уравнений (13): обратное
уравнение
(15)
plt+u=2pUl
и прямое уравнение
p;;+,i=2p."w, се"
a
(см. рис. 22 и 23). В матричной фопме прямые и обратные
