Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
Р(/, Я) = ?/?(/, /),
y'efl
а интегрирование по мере, соответствующей стохастическому ядру P(i,B), превращается в суммирование:
$/(/)Р(*\ dj)= ? P{i’
X /еЛ
Выражение для вероятности перехода за п шагов в одноточечное множество j принимает вид
pw (;, /) = ? Р (i, h) P (iu h) • • • P (in-1. /)• (1)
/ji l2> /л—
Если ввести матрицу p<") (с конечным или бесконечным числом строк), элементами которой служат вероятности перехода за п шагов, Р(л) = {Р<Л>(/, /)}. х, то из формулы (1) следует, что
Р(л) == Р",
где Р" — п-я степень матрицы р= ро—матрицы вероятностей перехода за один шаг. Матрица Р ={p(i,j)} обладает свойствами:
a) p(i, })> 0; б) ? P(i, /)=1- (2)
/<=*
Матрица Р со свойствами а) и б) называется стохастической. Из равенства р«+™ = рпр™ следует, что
pin+m) (f> j) e ? pt») (/f k) p(m) (/2) ^ (3)
keX
С другой стороны, формула (3) является записью уравнения Чепмена — Колмогорова ((9), § 5) в рассматриваемом случае.
Определение. Состояние / достижимо из состояния
I, если вероятность перехода из i в j за некоторое число шагов
положительна. Если / достижимо из i, a i достижимо из /, то
состояния i и j называют сообщающимися. По определению состояние i всегда сообщается с i.
Тот факт, что i и / — сообщающиеся состояния, условимся записывать символом i -«->• /. Если j достижимо из t, а k — из j, то k достижимо из i. Это вытекает из неравенства
р(п+т)(у, -j р(п)(1г j)p<m)(jt k).
ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИИ
193
Отношение -*-*¦ является отношением эквивалентности:
а) i •*-*¦ i;
б) если i •*-*• /, то /
в) из i -*-*¦ / и / •*-*¦ k следует i -*-*¦ k.
Действительно, а) следует из того, что p(°)(t, i) = 1, б) вытекает из симметрии г и j в определении сообщающихся состояний, и, наконец, в) вытекает из того, что
р<п+т) (i, k) > р{п) (г, /) р{т) {}, k) > О, p(n,+m1)(/S) /)^p<ni>(A, /)р(т,)(/, г) > О,
если p(n)(t, /) > О, p(mi)(/, 0 > 0; р(т)(/> А) > 0, ры{к, /) > 0.
Произвольная цепь Маркова может быть разложена на не-
пересекающиеся классы сообщающихся состояний. Это разложение можно осуществить следующим образом. Выбираем произвольное состояние ii и обозначаем через Xit совокупность всех состояний, сообщающихся с г'ь Из свойства в) отношения -*-> вытекает, что любая пара состояний из Х;л сообщается между собой. Если Xit не исчерпывает X, выбираем состояние /2 е Xit и, аналогично предыдущему, строим класс Х-:2. Так как ii и i2 не сообщаются, то классы Xi: и Xi2 не имеют общих элементов. Продолжаем построение множеств Xik до тех пор, пока не будет исчерпано все X. Построенные классы Ха обладают следующими свойствами:
а) число классов Ха не более чем счетно;
б) каждый элемент X попадает в один и только один класс Ха;
г) любая пара состояний из Ха сообщается между собой;
д) любая пара состояний из разных классов между собой не сообщается.
Последние два свойства могут быть сформулированы еще так: из любого состояния i данного класса Ха можно за некоторое число шагов с положительной вероятностью попасть в любое другое состояние этого же класса. Не исключена возможность того, что система, находясь в данном классе, выйдет из него когда-либо, но вероятность того, что она, покинув данный класс, вернется в него когда-нибудь, равна нулю.
Определение. Марковская цепь называется неприводимой, если она состоит из одного класса сообщающихся состояний. Если любое состояние /, достижимое из i, сообщается с i, то состояние i называется существенным. В противном случае оно называется несущественным.
Нетрудно заметить, что из существенного состояния достижимы только существенные состояния. Действительно, пусть i существенно и / достижимо из i. Если k достижимо из то k
194
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
[ГЛ. III
достижимо из i и (в силу существенности состояния i) i достижимо из k. Но тогда и у достижимо из k, т. е. у существенно.
Отсюда вытекает следствие: в классе сообщающихся состояний или все состояния существенны, или все они несущественны.
Возвратность. Пусть |(«)—состояние марковской системы в момент времени п. Обозначим через Tj = ij(n) число шагов, которые затрачивает марковская система, начиная с момента времени п, чтобы впервые попасть в состояние у. Таким образом, tj (п) определяется цепочкой соотношений
S(п+ \)ф}, ..., Цп + т,— 1 )ф), 1(п + т;) = /.
Введем семейство ст-алгебр {$[„,<], ^ — 0, 1, ...}, где п — минимальная ст-алгебра, относительно которой измеримы 1(п),
6(Я+1), .... 6(л + 0.
Величина тj(n) является марковским моментом на этом семействе. Положим
