Введение в теорию случайных процессов - Гихман И.И.
Скачать (прямая ссылка):
Стохастические ядра Рп(х,В) называются вероятностями перехода за один шаг, а мера тп — начальным распределением цепи. Фиксируя меру пг, получим случайную последовательность
§ 5] ЦЕПИ МАРКОВА 187
со значениями в X, которую будем называть марковским процессом, соответствующим начальному распределению т.
Конечномерные распределения этого процесса будем обозначать через Рj”** < > а операцию вычисления математического-
ожидания некоторой функции от процесса по вероятностной мере Р(т) обозначим символом Мт.
Если мера т сосредоточена в фиксированной точке х фазового пространства, то х будем называть начальным состоянием процесса, а конечномерные распределения, меру в {.Y00, ©} и математическое ожидание некоторой функции от процесса по соответствующей мере будем обозначать через Р М* соответственно. Положим (k <. г)
Р (k, х, г, В) ^ Р^ (х, dyk+l) ^ Pfc+i (yk+ii dyi{+2) • • •
X X
‘ § Pr —2 (Уг — 2> dyr — 1) Рг_[ (уг-1, В)..
X
С аналитической точки зрения P(k, •,/•, •) — стохастическое ядро, являющееся сверткой вероятностей перехода Р& * Ри+2 * .. ^ ... *Рг-1. Оно также называется вероятностью перехода. Точнее, P(k, х, г, В) есть вероятность перехода из состояния х за промежуток времени (k, г) в множество В. Из ассоциативности свертки ядер вытекает равенство
Р {k, х, s, В) = jj Р (k, х, г, dy) Р (г, у, s, В), k<r<s, (9)
X
т. е. уравнение Чепмена — Колмогорова, а формула (7) дает
мmf(m, ш,.... .1(4))=
= J m (dx) jj Р (0, х, tu dyi) J'P (*i, Уи t2, dy2) X ...
• • • X ^ f (У\, У2, * • • * ys) P (4—ь ys—1, ^s, dys). (Ю) Обозначим ? (m) = ? (m, со) координатную функцию на X У, X°°: l{m, со) —xm, m — 0, 1, ..., co = (*0, xh ...).
Формула (10) позволяет уточнить теоретико-вероятностный смысл вероятностей перехода. Для этого вычислим условное математическое ожидание функции f(l(s),l(s+ 1), ..., g(s-)-n)) (f{yo,yu ..., уп) — неотрицательная борелевская функция п + I переменных) относительно ст-алгебры g[0, t], порожденной величинами |(0), ?(1), ..., \{t), t ^ s. Соответствующее условное математическое ожидание обозначим через Y. По определению есть единственная g[0, (j-измеримая случайная величина такая,.
188 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ [ГЛ. III
что для любой неотрицательной функции g(xo,xi, •••> xt) выполняется равенство
MmS (I (0), I (1), . . •, г (0) f (I (s), I (s + 1).Us + tl)) =
m......................тч.
С другой стороны, из (10) следует, что
Mmg(t(0), 60).......l(t))f(l(s), Us+l)..............l(s + n)) =
=Mmg(m, ко.........................m)f.
где
f = f(l (0) = \ p (t, I (0. s, dy0) ^ Ps (y0, dyx) X ...
• • • X ^ f (Уо> Уи • • • i Уn) Pj+n—l (Уп—и dy^).
Таким образом, = f.
Полученная формула приводит к следующим выводам. Теорема 4. Условное математическое ожидание произвольной неотрицательной функции f(l(s), ?(s+l), •••> ?(s + rt)) относительно g[0, ti (t ^ s) не зависит от начального распределения пг, от вероятностей перехода, предшествующих моменту
времени t, и от значений ?(0), 1(1). • • •. l(t — 1) • Оно дается вы-
ражением
мт{/(I(s), I(s + 1).......l(s + n)) I„} =
= 5 Р (*• S (0, s, dyo) 5 Рs (Уо> dyi) • • •
• • • ^ / (Уо> У\у • • • > Уп) Pj+n— 1 (Уп—1> dy^). (11)
Условное распределение величин ?(s), ?(s + 1), ?(s + n)
в {A’n+1, S3n+i} относительно 5[o, t\ совпадает с прямым произведением ядер
P(f, ш S, •), р.(-, •), P,+*-l(-, •).
В частности, вероятность перехода Р(t,%(t), s. В) совпадает с условной вероятностью попасть системе в момент времени s в множество В, если известны состояния ?(0), ?(1), •••• КО-Эта вероятность зависит только от состояния %{t) в последний известный момент времени и не зависит ни от значений ?(0),
|(1)......?(/— 1), ни от пг, ни от вероятностей перехода pi(-, •),
Рг(-, •), ..., Р<('. ’)• Последнее свойство марковской цепи, как упоминалось ранее, называют отсутствием последействия, и оно является основной качественной характеристикой марковской цепи.
Замечание. Пусть дано измеримое пространство {X,0} и на нем система стохастических ядер Рп(*, В), п =* 0,1, ...Тогда
{ 5] ЦЕПИ МАРКОВА 189
существует марковская цепь, для которой Рп(*, В) являются вероятностями перехода за один шаг. Доказательство этого утверждения и конструкция соответствующего вероятностного пространства даются теоремой 3.
Марковская цепь называется однородной, если вероятности перехода за один шаг не зависят от времени:
Pf(*. B) = P(*, В).
В этом случае вероятности перехода за промежуток времени (t, s) зависят только от длины этого промежутка:
