Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
..., 1к - at], если ак = at,
0, если ак Ф at,
( Р {In = ап %кп = акп | Ь = "4 Р{(Ь = ак) П В),
= I если ak - at,
[ 0, если ак Ф а%.
Гем самым сумма V* в (30) равна
Р {?* = ап Ь+1 = ak+l \ lk == ак] Р {(** = а") П В},
что и доказывает формулу (29).
Пусть т -момент остановки (относительно системы разбиений
^ = (^г1)о<*<п; см. определение 2 в § 11).
Определение. Будем говорить, что множество В из алгебры <?В\ принадлежит
системе множеств если для каждого
0 sg; k sg; п
В П{т = й}е#4- (31)
Нетрудно проверить, что совокупность таких множеств В образует алгебру
(называемую алгеброй событий, наблюдаемых до момента т).
Теорема 2. Пусть ? = (?<,, ..., ?") - однородная марковская цепь с
матрицей переходных вероятностей | ), т - момент ос-
тановки (относительно ФЦ, B^Sji и Л = {ш: т-j-lssCfi}. Тогда,
если Р {А Л В Л (1т = а0)} > 0, то
Р {st-н - О-i, ¦ • •, Et+i - 0\ \ А [\ В [\ (^т = а0)} =
= Р {Ixei = at, ..., ?т+1 = ах j А п (?Г = а0)}, (32)
и если Р [А П (%х = а0)} > 0, то
Р {ътН ^ Oi, . . . , ^t+1 " | А П (^т = a0)j - ра0а1 • • • Рй^а^. (33)
§ 12 МАРКОВСКИЕ ЦЕПИ 141
Доказательство проведем для простоты лишь в случае 7=1. Поскольку B(\(x =
k) ^<?ГЗ\, то, согласно (29),
Р {Ет+1 = °i. Л пвп(Ет=="о)} =
= 2 р {h+i = au Ь = а0, x = k, В} =
k ^ П - 1
= 2 Р {Е*+1 = ах iE* = °0> Т = ?, B}P{lk = a0, x = k, S} =
k^n~]
= 2 P tb+1 = Or I ?* = o0} P {E* = flo. T = B} =
к < n - 1
= рйоа, -2 P {E* = Й0, T = k, B] = paofll. P {А П в n (Et = "о)},
k ^ n - 1
что и доказывает одновременно (32) и (33) (в случае (33) надо взять В =
Q).
Замечание. В случае I = 1 строго марковское свойство (32), (33)
эквивалентно, очевидно, тому, что для любого СеХ
Р {Ет+i е С | А П В П (Et = "о)} = Ра. (С), (34)
где
Ро" (С) = 2 Paaat-
а,еС
В свою очередь (34) может быть переформулировано следующим образом: на
множестве Л = {т^п -1}
Р \Ъ+1<Е:С\^4\ = Ръх(С), (35)
что является одной из обычно используемых форм строго марковского
свойства в общей теории однородных марковских процессов.
7. Пусть Е = (Н", ..., Ел) - однородная марковская цепь с матрицей
переходных вероятностей \ру1,
/"' = Р {Е* == *. Е/ Ф г, l<Z^ft-l|Eo="'} (35)
и для 1ф)
fit = Р {Еа = /. Е/ Ф /\ 1< /.< А - 1 | Е" = /} (37)
вероятности первого возвращения в состояние i и момент первого попадания
в состояние j в момент времени k соответственно. Покажем, что
/>"'= tffpT"'. гда pfl~ 1. (38)
142 ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Наглядный смысл этой формулы ясен: чтобы за п шагов попасть из состояния
г в состояние у, надо сначала за k шагов (1 впервые попасть в состояние
у, а затем за остав-
шиеся п - k шагов из у попасть в у. Дадим теперь строгий вывод. Пусть у
фиксировано и
T = min {1 ==??=??": ?* = /}, считая т = п+1, если {-} = ф. Тогда flf = Р
{т = k | Е0 = г'} и pl/) = P{l" = /ISo = i} =
= 2 Р{е"=/. т=*|?о=*} =
= 2 P{Et+"-*-/, T = *|?o = t}, (39)
Тде последнее равенство следует из того, что на множестве {т = &} 1т+л-*
= ?л- Далее, для всякого \^k^n множество {x = k} = = {т = ?, 1Х = /}.
Поэтому, если Р{?0 = Ё т = 6}>0, то в силу теоремы 2
Р {?т+я-* = /1 So =", T = ^} = P{^t+"_* = /|^0 = i. т = 6, lx = /} =
=p =/1 ^=/¦}=
и, согласно (37),
p\? = 2 P {^т+rt-ft = /1 So = Б т = k) P {t = * | ?0 = i} = a=i
- V n^-k)Ak)
~~ Zj "// 14 '
A=1
что и доказывает соотношение (38).
8. Задачи.
1. Пусть ? = (?(,, ?л)- марковская цепь со значениями в X и f = f(x)
(х е X) - некоторая функция. Будет ли последовательность (/(Е0), •••>
/(Sn)) образовывать марковскую цепь? Будет ли марковской цепью "обратная"
последовательность (?", %n-i> • • • > So)?
2. Пусть Р = I! Pij [|> 1 i, у ^г, - стохастическая матрица и к -
собственное число этой матрицы, т. е. корень характеристического
уравнения det || Р - КЕ || = 0. Показать, что к0 = 1 является собственным
числом, а все остальные корни к1г ..., кг по модулю не больше 1. Если все
собственные числа %L, ..., %г раз-
(Ь)
личны, то p\j допускают представление
ptf = п/ 4- % (1) +... + % (г) Я*,
§ 12. МАРКОВСКИЕ ЦЕПИ
143
где лу, a{j (1), С/у (г) выражаются через элементы матрицы Р. (Из этого
алгебраического подхода к анализу свойств марковских цепей, в частности,
вытекает, что при | ) <С 1, ..., | Я, | < 1 для
каждого / существует предел lim pf) не зависящий от г.)
* 1 '
3. Пусть ? = (?0, ..., In) - однородная марковская цепь с множеством
состояний X и матрицей переходных вероятностей Р = = I рху |. Обозначим
Рф (х) = М [ф (li) ||0 = х] /= ^^(у) Рху).
Пусть неотрицательная функция ф удовлетворяет уравнению Тц> (х) = ф (х),
jeX.
Доказать, что последовательность случайных величин ? = (?*, (r)\) с =
образует мартингал.
4. Пусть ? = (!", П. Р) и |= {In, П. Р) - две марковские цепи,
отличающиеся начальными распределениями Л = (ри ..., рг) и
п = (ръ Рг). Пусть П(л) = (р\п), /Г). П1Л) = (р[п) рГ).
Показать, что если minp,y^e>0, то I.)
21^п,-рП<2(1-еЛ
i- I
ГЛАВА II
МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ
ТЕОРИИ ВЕРОЯТНОСТЕЙ
§ 1. Вероятностная модель эксперимента
