Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
подмножеств определяет некоторую вероятностную модель, которую принято
называть моделью испытаний, связанных в цепь Маркова.
Введем в рассмотрение случайные величины ?0, ?lt .\п с \i(ii>)=Xi.
Простой подсчет показывает, что
Р(?о = а)=р0(а),
Р(10 = а0, Ik = ak) = ро (а0) р1 (а0, сц).. ,pk (ak.lt ak).
Установим теперь справедливость следующего важного свойства условных
вероятностей:
Р {^6+1 " I \k ^ ^k* • • • " lo ~ ао} ~~ Р I \k ~ &k\ (5)
(в предположении P(|ft = aA, .... |0 = a0)>0).
В силу (4)
Р {?/г+1 = ^А+1 ! ?/г = Oft, . . . , ?0 = ~
_ Р {|/г+1~afe+l' ¦¦¦< ?о -ао} _ Ро (ao) Pi (аа> Qi) ¦ ¦. Pk+1 (а/г>
°fe+l) _
P - afc> • • • I ?o = °oJ Po (ao) • • • Pk (flk-It ak)
^ P*+l (^A> ^A+l)*
Аналогичным образом проверяется равенство
Р {?fc+l = (r)A+l I = &k\ = PAT! *^A+l)i ((r))
что и доказывает свойство (5),
§ 12 МАРКОВСКИЕ ЦЕПИ ^
Пусть ....| - разбиение, порожденное величинами
!<Н •••> ?*> И =
Тогда в соответствии с обозначениями, введенными в § 8, из (5) следует,
что
Р {Efc+i = а*" ! =(r)|} = Р {1*ы = а,п | Ы (7)
или
Р {1й+1 " ак+\ ; |"> •••> I*} = Р {I *+1 = ^A+l I I*}-
Если воспользоваться очевидным равенством Р(ЛВ|С) = Р(Л|ЯС)Р(Я | С),
то из (7) получаем, что
Р {in = &п> • • • > lfe+1 = ^/i+1 1 2(r)*} - = Р {|л = Оп, .... |*+1 = a*+i
IЫ (8)
или
Р {9п = • • • " fi ! lo" • • * > l/h} '
= Р{ёя = йя, ..., г*+1=ай+1|?*}. (9)
Это равенство допускает следующую наглядную интерпретацию. Будем
трактовать tk как положение частицы в "настоящем", (1", ..., |*-i) - в
"прошлом" и (!*+1, ..., |л) -в "будущем". Тогда
(9) означает, что при фиксированных "прошлом" (|0, ..., ?*_,) и
"настоящем" "будущее" (Е*+1, ..., |л) зависит лишь от "настоящего" \к и
не зависит от того, каким способом частица попала в точку с*, т. е. не
зависит от "прошлого" (|0, ...,
ПуСТЬ Б = Щ, • • • , Ia hi &h hi П {|ft С1/г\, П |
= a*_j, ..., !o = a"}. Тогда из (9) следует, что
Р(Б;НП) = Р(Б;Н),
откуда легко находим, что
Р (БП j Н) = Р (Б | Н) Р (П j Н). (10)
Иначе говоря, из (7) следует, что при фиксированном "настоящем" Н
"будущее" Б и "прошлое" П оказываются независимыми. Нетрудно показать,
что справедливо и обратное: из выполнения
(10) для любого k = 0, 1,..., п- 1 следует выполнение свойства (7) для
всякого k = 0, 1,..., п- 1.
Свойство независимости "будущего" и "прошлого", или, что то же,
независимость "будущего" от "прошлого" при фиксированном
124
ГЛ I ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
"настоящем" принято называть марковским свойством, а соответствующую
последовательность случайных величин \п -
марковской цепью.
Таким образом, если вероятности р(со) элементарных событий задаются
формулой (3), то последовательность ? = (t0, . Е")
с ^((й) = хг, будет образовывать марковскую цепь.
В этой связи понятно следующее
Определение. Пусть (Q, erf, Р) - некоторое (конечное) вероятностное
пространство и ? = (?0> • ••> §п) - последовательность случайных величин
со значениями в (конечном) множестве А'. Если выполнено условие (7), то
последовательность | = (с", , |")
называется (конечной) марковской цепью.
Множество X называется фазовым пространством или пространством состояний
цепи. Набор вероятностей (р"(*•)), хеХ, с p0(xj - P (до = х) называют
начальным распределением, а матрицу (i pk(x, y)h х,у^Х, с pk(x, у) - Р
(ь* = У \ \k-i - х) матрицей переходных вероятностей (из состояний х в
состояния у) в момент k = \, ... , п.
В том случае, когда переходные вероятности рк(х, у) не зависят от k, pk
(х, у) = р (х, у), последовательность ? = (сп, ... , называется
однородной марковской цепью с матрицей переходных вероятностей |! р (х,
у) |.
Заметим, что матрица \р{х, у)\\ является стохастической-. ее элементы
неотрицательны и сумма элементов любой ее строки равна единице, ?р(х, у)
- 1, х^Х.
Будем считать, что фазовое пространство X состоит из конечного множества
целочисленных точек (Х = {0, 1,..., N\, X == = {0, itl,..., ±N\ и т. д.),
и обозначать, согласно традиции, Pi = Po(i) И pif = p (i, /).
Понятно, что свойства однородных марковских цепей полностью определяются
начальными распределениями pt и переходными вероятностями ру. В
конкретных случаях для описания эволюции цепи вместо явного выписывания
матрицы \ру\ используют (ориентированный) граф, вершинами которого
являются состояния из X, а стрелка
идущая из состояния i в состояние / и с числом ру над ней, показывает,
что из точки i возможен переход в точку j с вероятностью ру. В том
случае, когда ру - О), соответствующая стрелка не ероводится.
у
РП
§ 12. МАРКОВСКИЕ ЦЕПИ
125
Пример 1. Пусть Х = {0, 1, 2} и
Этой матрице соответствует следующий граф:
1/2 1/2
2/3
Отметим, что здесь состояние 0 называется "поглощающим": если частица в
него попала, то она в нем и остается, поскольку р00= 1. Из состояния 1
частица с равными вероятностями переходит в соседние состояния 0 и 2,
состояние 2 таково, что частица остается в нем с вероятностью 1/3 и
переходит в состояние О с вероятностью 2/3.
