Теория вероятностей и случайных процессов - Тутубалин В.Н.
ISBN 5-211-02264-5
Скачать (прямая ссылка):
Достаточным условием эргодичности является следующее условие Маркова: существует такое п0, что ровно за п0 шагов можно из любого состояния цепи перейти в любое: p("f) >0 для любых I, I, . . . , N, где р|"*' — элемент
матрицы Р\ Действительно, условие Маркова исключает, очевидно, непересекающиеся классы и подклассы.
С другой стороны, условие Маркова не является необходимым для эргодичности. Если имеется ровно один класс 5, то, выходя из состояния x&S, траектория цепи в конце концов оказывается в S. Состояния x<?S поэтому называются несущественными. Несущественные состояния не мешают эргодичности; при этом возможно, что из одного несущественного состояния никогда нельзя попасть в другое.
Переформулируем в удобном для нас виде теорему о приведении матрицы к жордановой форме. Пусть для стохастической матрицы Р, отвечающей эргодической цепи Маркова,
228
имеем Р=С~'АС, причем наибольшее по модулю собственное число Х=Х0=1 стоит в левом верхнем углу матрицы А. Соотношения
означают, что первый столбец е матрицы С-1 и первая строчка р матрицы С являются собственными для матрицы Р с собственными значениями Хо='1. Уговоримся выбрать постоянные множители, с точностью до которых определяются собственные векторы, так, чтобы выполнялись соотношения:
1) е есть единичный вектор (т. е. все его компоненты ej равны 1);
2>pe = 2Pj^j=l (это следует из 1) и того, что С~1С = Е).
Если считать, что компоненты р, неотрицательны (со ссылкой на теорему Брауера), то из 2) следует, что р — распределение вероятностей, такое, что рР=р, т. е. так называемое стационарное распределение вероятностей. Однако из дальнейшего будет следовать, что р^0, и без ссылки на теорему Брауера.
Разложим матрицу А в сумму: A=Ai+A2, где матрица Ai имеет единственный элемент, отличный от нуля: (Ai)n = =Хо=1, а А2=А—А). Все жордановы клетки, составляющие матрицу Лг, отвечают собственным значениям, по модулю меньшим 1; это значит, что AJ—>О при п—> сю (всмыс-ле любой разумной матричной нормы, например максимума по строчкам сумм модулей элементов каждой строчки: это норма матрицы как оператора в пространстве векторов-столбцов {, если ||/||= . Сходимость АЗ к нулю
экспоненциально быстрая: ||Д*||<сехр (— па), а>0, с — константа.
Соответственно матрица Р разложится в сумму Р=Р, + Р2| P,-C-'A,C, Р2=С~'А2С,
причем Рп=Р" + Р2, где ||Р*|| -*0 экспоненциально быстро. При этом оператор Рх действует на столбец f следующим образом:
на строчку л оператор Pi действует следующим образом:
(Равенства (3) и (4) непосредственно следуют из рассмотрения матрицы Pi = C_,AiC с учетом того, что лишь один элемент матрицы Ai отличен от нуля.)
С-1 А = РС~\ СР = АС
P\f = Хо (pf)e, pf = Ipjfi, Х0= 1;
(3)
nPi = Хо (ле) р, пе = = 2я/, Хо = 1. (4)
229
Из изложенного вытекает, что для любого начального распределения я имеем
кРп —> ItPl = >0(ite) р — р,
т. е. для эргодической цепи распределение вероятностей состояний в момент п, т. е. п(п)=лРп стремится к стационарному распределению вероятностей р экспоненциально быстро (поскольку л(п) при любом п есть распределение вероятностей, то отсюда вытекает, что р — также распределение вероятностей). Факт экспоненциально быстрой сходимости л(п)-*-р независимо от начального распределения л носит название эргодической теоремы для цепей Маркова. Очевидно, что сходимость л (п)-*-р независимо от л есть необходимое и достаточное условие эргодичности (т. е. отсутствия различных классов и подклассов).
2.3. Суммы случайных величин, связанных в цепь Маркова. Пусть на пространстве состояний X = {1, ... , N} задана некоторая функция f(x), а {х(п), п = О, 1, ... } — марковская цепь. Образуем сумму S„ вида
s„= 2 /(*(*)) (!)
*-1
(сумма Sn есть сумма п слагаемых; хотя марковская цепь начинается с /г=0, сумма Sn начинается со слагаемого f(x(l)): так сделано для того, чтобы последующие формулы получили наиболее простой вид). Сумма (1) носит название «суммы случайных величин, связанных в цепь» — таково оригинальное название А. А. Маркова. На самом деле цепью Маркова являются, вообще говоря, не слагаемые f(x(k)), а значения аргумента x(k)\ может быть, лучше было бы сказать «сумма случайных величин, связанных с цепью» либо «связанных через цепь». Важнейшим открытием Маркова является выражение характеристической функции Niexp (itSn) в компактном виде через некоторые матричные операции, которое позволяет в дальнейшем доказать закон больших чисел и центральную предельную теорему для суммы Sn.
Введем матрицу P(t) с элементами р,*(0. /. k=l,...,N, задаваемыми формулой
Pik(t) - Pjk exp (itf(b))
(это означает, что k-k столбец матрицы Р=||р/*|| умножается на exp (itf(k)), t—вещественное число; при /->О матрица P(t)-*-P). Введем также вектор-столбец е с компонентами, равными 1; обозначим через л=л(0) начальное распределение цепи Маркова х(п).
