Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
двумя состояниями
§ 11.3. Другая задача на оптимальное управление. Слежение за 263
блуждающей точкой § 11.4. Увеличение числа достаточных координат 269
Приложение 1. Условные меры и математические ожидания 280
ненормированных мер Приложение 2. Условная минимизация 282
Дополнение. Решение некоторых задач математической статистики и 290
последовательного анализа Литература 313
ках теории марковских процессов, мы будем иметь усложнение решения,
адекватное усложнению задачи.
Согласно сказанному выше выглядит совершенно естественным тот факт, что в
настоящее время проявляется большой интерес к марковским процессам.
Свидетельством тому является выход в свет ряда монографий, которые
посвящены им. Однако, к сожалению, монографии, в которых рассматривалась
бы статистика марковских процессов (т. е. изучались бы те случаи, когда
наблюдается некоторая функция от марковского процесса), полностью
отсутствуют. Настоящая книга призвана в посильной степени заполнить этот
пробел.
Если наблюдается некоторая функция yt=f(xt) от марковского процесса Xt,
то соответствующие этому наблюдению апостериорные вероятности, скажем Р
(dxt | ух, т<^), отличаются от априорных. Исследование этих апостериорных
вероятностей и их эволюции во времени составляет предмет теории условных
марковских процессов.
Первые результаты этой теории и основывающейся на ней нелинейной
оптимальной фильтрации были доложены автором на Всесоюзной конференции по
статистической радиофизике в г. Горьком (1958 г.) и на семинаре при
кафедре теории вероятностей МГУ (Стратонович [1]). Результаты указанного
периода опубликованы в работе автора [2].
К ним относится дифференциальное уравнение
-= (Bwt) (х) - w (х) Г (Bwt) (х') dx' dt J
для апостериорной плотности (по мере Лебега) распределения вероятностей
wt (х) = Р (dxt | ух, х < t)/dxt.
Здесь xt - точка многомерного фазового пространства; В - основной
апостериорный оператор, зависящий от наблюдаемого процесса г/г и от
априорных статистических данных.
Приведенное уравнение замечательно тем, что оно является нелинейным
относительно wt. По-видимому, впервые в теории вероятностей встречается
уравнение, нелинейное относительно вероятностей.
Позже была введена специфическая, ненормированная (т. е. не
вероятностная) основная апостериорная мера И (*5, Г), которая обладает
марковскими свойствами (удовлетворяет уравнению Чепмена-Колмогорова). Ее
плотность
v (xs, s; xt, t) = V' (*s, dxt)/dxt
5
удовлетворяет уже линейному уравнению
-^=Bv
dt
с тем же самым оператором. Различные апостериорные вероятности могут быть
выражены через эту меру.
В тривиальном и практически мало интересном частном случае, когда
наблюдаемый процесс yt является марковским сам по себе, указанное вначале
уравнение оказывается линейным и надобность в введении вспомогательной
меры V отпадает. Именно к этому случаю относятся результаты, приведенные
без доказательства в заметке Лян Чжи-Шуе-на {1]. В ней, помимо
предположения о существовании условных распределений, вводятся
топологические ограничения фазового пространства (предположена его
сепарабельность). По нашему мнению, введение топологии в фазовом
пространстве не является необходимым для теории.
Лицом марковского процесса является его инфинитези-мальный оператор.
Априорно марковский -процесс характеризуется априорным оператором.
Основная апостериорная мера описывается основным апостериорным оператором
(В в приведенном уравнении). Через него можно выразить другие
апостериорные операторы. Вид основного апостериорного оператора зависит
от априорного, а также от способа наблюдения. Получение вида
апостериорного оператора для различных конкретных случаев является
центральной задачей теории условных марковских процессов. В .настоящей
книге эта задача решается для нескольких важных частных случаев,
соответствующих диффузионным процессам. Для дискретного времени вместо
дифференциальных уравнений выступают рекуррентные преобразования. ;
Нелинейная фильтрующая система в главной своей части реализует указанные
уравнения или преобразования. Вместо апостериорных вероятностей можно
рассматривать также заменяющие их параметры. Если найден апостериорный
оператор, то алгоритм рекуррентных преобразований определяется без
особого труда. Результирующее сложное преобразование является следствием
-более простых поэтапных преобразований. Таким -образом, синтез
фильтрующей системы не требует трудоемких вычислений.
Задачи, связанные с решением или моделированием уравнений (рекуррентных
преобразований) для апостериорных вероятностей или параметров, их
заменяющих, мы называем первичными, а соответствующие уравнения -
первичными апостериорными уравнениями.
Теория условных процессов Маркова позволяет решать также вторичные
задачи, в которых рассматриваются функ-
6
ции от апостериорных вероятностей или заменяющих их параметров. Для этих
функций можно записать дифференциальные уравнения (вторичные уравнения),
