Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
марковскую цепь, состояния которой образуют один неразложимый класс,
назовем неразложимой.
Для иллюстрации введенных понятий рассмотрим цепь с матрицей
Р =
V. 2/з
V4 3/4
О о о о о о
ООО
ООО
О 1 о
Vj 0 1/2
О 1 о
Pi о
О Р2
536
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Граф этой цепи с множеством состояний ? = {1, 2, 3, 4, 5} имеет следующий
вид:
Ясно, что у рассматриваемой цепи есть два неразложимых класса -Ci = {1,
2}, Е2 = {3, 4, 5}, и исследование ее свойств сводится к исследованию
свойств каждой из двух цепей, состояниями которых являются множества Е± и
Е2, а матрицы переходных вероятностей равны соответственно Рх и Р2.
Рассмотрим теперь какой-нибудь неразложимый класс Е. Для примера пусть им
будет класс, изображенный на рис. 37.
Заметим, что здесь возвращение в каждое состояние возможно лишь за четное
число шагов, переход в соседнее состояние - за
Этот пример подсказывает классификацию неразложимых классов на
циклические подклассы.
2. Будем говорить, что состояние / имеет период d = d(j), если
выполнены следующие два условия:
1) pW>> 0 только для тех п, которые имеют вид n = dm\
2) d есть наибольшее из чисел, обладающих свойством 1).
Иначе говоря, d есть общий наибольший делитель чисел п таких,
что р</?>>0. (Если pff - 0 для всех л^г 1, то полагаем d (/) = 0.)
Покажем, что все состояния одного неразложимого класса Е имеют один и тот
же период d, который поэтому естественно назвать периодом этого класса, d
= d(?).
Пусть I, / е Е. Тогда найдутся такие k и /, что р<.*> > 0, р<.'> > 0.
Поэтому р<*+б2гр(*)р(0>0 и, значит, k + l делится на d(i). Предположим,
что л>0 и п не делится на d(i). Тогда n+k + l также не делится на d{i) и,
следовательно, р<"+*+б = 0.
2/3
1 112
1
нечетное число шагов, а матрица переходных вероятностей имеет блочную
структуру:
2
Рис. 37. Пример марковский цепи с периодом d = 2.
Отсюда видно, что класс Е = {1, 2, 3, 4} разбивается на два подкласса С0
= {1, 2} и Сх = {3, 4}, обладающих следующим свойством цикличности', за
один шаг из С0 частица непременно переходит в Сх, а из Сх -в С",
§ 2. КЛАССИФИКАЦИЯ СОСТОЯНИИ
637
Но
p{n + k+ I) ;
н
и, значит, = О должно делиться на d (/), рии d (/) < d (/).
Следовательно, d (/) = =*d(/).
Если d (/) = 1 (d (?) - 1), то состояние j (класс ?) будем называть
апериодическим.
Пусть d = d (E) - период неразложимого класса ?. Переходы внутри такого
класса могут осуществляться весьма причудливым образом, однако (как и в
рассмотренном выше примере) имеет место некоторая цикличность в переходах
из одной группы состояний в другую. Чтобы это показать, зафиксируем неко
торое состояние /0 и введем (для d
С0 = {j е= Е : р}"> > 0: Ci={/e=? : рЭД> 0:
И
Отсюда вытекает, что если >0, то п а поэтому d(t)=^d(/). В силу симмет-
Рис. 38. Движение по циклическим подклассам.
и
следующие "==0(mod d)}; п - 1 (modd)j;
подклассы:
Cd-X = {/ е ? : p\nJ > 0:
id - 1
(mod d)j.
Ясно, что ? = С0 + С! + .. . + Crf_x. Покажем, что движение из подкласса
в подкласс осуществляется так, как это изображено на рис. 38.
В самом деле, пусть состояние /еСри 0. Покажем, что тогда непременно / е
Ср+1 (mod а)- Пусть п таково, что р\п} > 0. Тогда n - ad + p, а значит, п
= р (mod d) и п-\-1 = р +1 (mod d).
ОТСЮДа Р^+1)>0 И j е C^t (mod rf).
Заметим, что из приведенных рассуждений следует, что матрица Р переходных
вероятностей неразложимой цепи имеет блочную структуру:
Сп С, ... Он-*
538
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Рассмотрим некоторый подкласс Ср. Если считать, что в начальный момент
частица находится во множестве С0, то в моменты s=p + dt, t - 0, 1, она
будет находиться в подклассе Ср. Следовательно, с каждым подклассом Ср
можно связать новую марковскую цепь с матрицей переходных вероятностей
(p?.)ii/(=c , которая будет неразложимой и апериодической. Тем самым,
принимая во внимание проведенную классификацию (см. сводный
Циклические подклассы
Рис. 39. Классификация состояний марковской цепи по арифметическим
свойствам вероятностей р\"К
рис. 39), заключаем, что при исследовании вопросов о предельных свойствах
вероятностей можно ограничиваться рассмотрением лишь апериодических
неразложимых цепей.
3. Задачи.
1. Показать, что отношение "<->•" является транзитивным.
2. Для примера 1, рассмотренного в § 5, показать, что для О < р < 1 все
состояния образуют один класс с периодом d - 2.
3. Показать, что марковские цепи, рассмотренные в примерах 4 и 5 в § 5,
являются апериодическими.
§ 3. Классификация состояний марковской цепи по асимптотическим свойствам
вероятностей р(*]
1. Пусть Р = | ру 1 - матрица переходных вероятностей марковской цепи
(Хп)п^о,
№=Pi{xk=i, х,ф i, кi -1} (i)
и для 1ф]
/!/>=Р,{Хй = /, Х,ф], (2)
- вероятность первого возвращения в состояние i и вероятность первого
попадания в состояние / в момент времени k, когда Х0 = i.
§ 3. КЛАССИФИКАЦИЯ состоянии
539
Используя строго марковское свойство (1.16), аналогично (1.12.38)
показывается, что
Р\Г = 2 fpp(rk)' (3)
