Вероятность: основные понятия, структура, методы. - Скороход A.B.
Скачать (прямая ссылка):
ХР0(10)Р(10, И) ... р(1
Поэтому
2ая(г01 -£о> •••! -£я> J)Po(^o)
9{Ъп = ]\х0, ...,хп}^-аАхо.....хп)-, (24)
при щ</г
Р {бот = / \ х0, ..., хп} =
2 Ро Со) Кяг (*0' Хй1 • • •' ^) X
«я (-£о.....Хц) .
X an-m {ji Хт+\, ..., хп, i), (25)
при т>п
Р {6m= j I ^0' • • • 1 •Xn}==
= а„(ха, je) 2 «« ('о. *о. ■ • •. -«т. Л Ра (т — п). (26)
Таким образом, нужные условия вероятности выражаются че-
рез функции an(i, Хо,...,хп, /), которые последовательно вы-
числяются по формулам (23), a0(i, уо, /) =Ц>,(уо)бц.
Формулы (23), (22), (24), (25), (26) являются «уравнениями
фильтрации» для цепи Маркова с дискретным временем.
Удобство этих уравнений заключается в том, что все условные
вероятности (24) — (26) выражаются через одну и ту же функ-
цию а„(/, х0,...,хп, /) (с учетом (22)), для которой имеется
рекуррентное уравнение (23). Это обстоятельство позволяет
перенести эти формулы на непрерывное время.
б) Непрерывное время. Пусть теперь {6г, t^O} —
однородный марковский процесс с г состояниями {1, 2,..., г},
вероятностями перехода рц (t), i, . . . , г}, для которых вы-
полнены соотношения
lim Рч«\~*ч =at].
и, следовательно, для вероятностей Pi(t) =P{6( = t} выполнена
вторая система уравнений А. Н. Колмогорова
й" Л (0 = 2 Pj№ а li-
cit
1
Пусть си гб{1, г} — некоторая вещественная функция, наблю-
дается процесс
= $ с (е.) + (27)
о
где &—винеровекий процесс, для которого М|(=0, \)%г = ^
Наша цель построить наилучшую оценку для с(вв) по наблю-
дениям процесса хи на интервале [0, гП, т. е. найти
Ш{с(В1)\хи, «<*)•
Нам удобно траекторию процесса 6« на [я, г:] обозначить е?, ана-
логично х* обозначает траекторию хи на [5, Пусть
а 8?, л:?)=Нта„(8о.....8*. х\.....хн„) =
п
= ИтПф^(^), Л = */я, 8*=8*в,
JcJ = ■«**-■*(*-!)*. фо (■*)= -p===-exp {- -(л: ^9))' } X
х(^Гехр{4Нехр{^^}.
Таким образом,
a(t, 9?, л;?) = ехр j-J-J c(9,)rf^--J-Jc2(e,)rfs}, (28)
l о 0 '
интеграл справа определен для любой непрерывной функции
так как с (о/) — функция ступенчатая. Пусть
У) = М(а(<,0?, j/?)|90 = i, 6,-У). (29)
где уи — произвольная непрерывная случайная функция. Пере-
ходя к пределу в равенствах (24), (25), (26) после умножения
на c(j) и суммирования по /, находим
M (с (9,) | = —J-ôî У с (j) « (М, х», ]) р, (0) PiJ (О,
(30)
Ml
(с (9.) | л?) = V. с (У) а (г, 5, л*, у) а (У, / — 5, .V;, А) X
1-«/) ^
Хр1Ф)Рц(*)р,кЦ — 8), (31)
М (с (9.) | *°) = -^-5- У] с (У) а (*, *, *°, А) Л (0) р1к (*) Х
X-0, (32)
где
С*?) = 2 « С' ■*?. *) Л (0) Л* (О- (33)
Для вычисления функций а (г, К), через которые выражают-
ся нужные условные математические ожидания, удобно ввести
функции
Р<у(*) = а(*. ^ ;)Лу(<). (34)
Предельным переходом от соотношения (23) можно получить
такую систему стохастических дифференциальных уравнений
для р\,-(*)
х Фи (0 = 2 Р<* (0 **У + Р/у (0 ^ (0, (35)
й
которое решается при начальном условии р^(0)=б«.
Такие уравнения рассматривались при построении марков-
ских процессов.
ИСТОРИКО-БИБЛИОГРАФИЧЕСКИИ КОММЕНТАРИИ
Общим вопросам математической статистики посвящены книги [3], [6],
[9], [14]. Книга [14] написана выдающимся статистиком нашего столетия
Дж. Нейманом и просто и глубоко знакомит неспециалиста с сутью веро-
ятностных и статистических проблем. Основное содержание книги [9] —
постановка статистических задач и изложение методики их решения. Кни-
га содержит интересные содержательные примеры. В книге [6] рассмотрены
основные понятия математической статистики, возникающие здесь задачи,
а также методы их решения. Книга носит теоретический характер, рассчи-
тана на специалистов. К содержанию первой главы примыкает также книга
[2], содержащая изложение теории последовательно анализа различения
статистических гипотез.
С проблемами управляемых случайных процессов связаны книги [1],
[4], [5], [7], [10], [11], [17]. В книге [1] в частности получены уравнения для
стоимости управления для управляемых марковских случайных процессов.
В книге [4] изложена общая теория управляемых процессов с дискретным
и непрерывным временем, в том числе и марковских цепей и марковских
процессов. В книге [5] рассмотрены общие понятия управляемых марков-
ских процессов, получены уравнения для стоимости управления, установ-
лено существование оптимальных управлений. Книга [7] содержит, в част-
ности, введение в теорию управляемых случайных процессов. Книга [10]
посвящена управляемым процессам, определяемым стохастическими диффе-
ренциальными уравнениями диффузионного типа. Изучаются нелинейные
уравнения с частными производными, являющиеся уравнениями Белл-
мана для оптимального управления. Книга рассчитана на специалистов.
Основное содержание книги [17] — оптимальная остановка цепи Маркова
или марковского процесса, в частности — решение задачи о разладке.
