Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
S
При фиксированном t определяемые указанными формулами значения x(t) можно
представить как результат линейного преобразования начальных значений
x(s). Обозначая через Tst соответствующий оператор, имеем
x(t) =x(s)Tst.
Вид оператора Tst полностью определяется операторами L(t)-L(s), t€[s, t].
Найдем явное выражение для указанного оператора в том случае, когда
процесс x(t) одномерный.
Записав (2.33) при k=\ в дифференциальной форме
dx = х [А (у, t) dt + Ис (у, t) dy0],
44
поделим обе части равенства на х и проинтегрируем от s до t.
Воспользуемся тем, что -при новом определении стохастического интеграла
справедлива обычная формула
Г dx (т) _ x(t)
J х (т) * (s)
S
(для интеграла Ито J d*x/x она была бы несправедлива). Это дает
t
In -^р- = Г [А (у, т) dx + Аа (у, т) dya], (2.36) *00 J
S
т. е.
X(t) =eLw~L^x(s). (2.37)
Если в (2.36) перейти к итовскому интегралу и рассматривать уравнение
(2.34) при k=l, то согласно (2.35), (2.8)
будем иметь нижеприведенный результат.
Следствие 2.1. Уравнение
dx = х\А* (у, t)dt + Аа (у, t) d* у 0]
имеет решение
t t
X (t) = X (s) exp | j ^A*-~ A0Anban^j dr-\- ^ Aad'y"j . (2.38)
S S
В многомерном случае вследствие некоммутативности операторов L(т)-E(s),
T0[s, t] простая формула (2.37), вообще говоря, не имеет места. Если,
однако, указанные операторы коммутируют между собой, то операторная
формула, аналогичная (2.37), сохраняет свое значение и в многомерном
случае. В этом можно убедиться, например, приведя операторы L(т)-L(s) к
диагональному виду и применяя одномерную формулу (2.37) для каждой
компоненты.
Стохастические линейные операторы более общего вида будут рассмотрены в
следующей главе.
Глава 3
МАРКОВСКАЯ СИСТЕМА МЕР И ИНФИНИТЕЗИМАЛЬНЫЕ ОПЕРАТОРЫ
Основным содержанием настоящей главы будет определение двух семейств
производящих операторов, порождающих инфинитезимальные операторы данной
неоднородной марковской системы мер, а также изложение ряда результатов,
касающихся этих операторов.
Марковские меры, удовлетворяющие уравнению Чепмена-Колмогорова,
определяют, как известно, двухпараметрическую (в общем случае) полугруппу
операторов в сопряженных банаховых пространствах функций и обобщенных
мер. Рассмотрение, проводимое в этой главе, применимо не только к
априорным мерам исходного марковского процесса, но и к ненормированной
(невероятностной) апостериорной мере, зависящей от наблюдаемого процесса,
которая вводится в теории условных марковских процессов.
В настоящее время наиболее полно изучен случай стационарного марковского
процесса, которому соответствует однопараметрическая полугруппа (Хилл
[1], Иосида [1, 2], Дын-кин [1, 3], см. также Лоэв [1]). Для наших целей,
однако, эта теория является недостаточной ввиду того, что апостериорные
марковские меры являются существенно нестационарными вследствие
зависимости от наблюдаемого процесса. Более того, в самых интересных для
нас случаях, когда наблюдается диффузионный процесс или функция от него,
полугруппа операторов Tst является недифференцируемой. Именно, предел
lim Д-1 [Tu+bg - g] = Ag д-"о
не существует для достаточно широкого множества' функций g (множества,
всюду плотного в упомянутом банаховом пространстве). Это вызвано тем, что
Tt, t+A g-g = О (Досказанное побуждает к существенному обобщению теории.
46
Один из путей обобщения заключается в том, что вводится
однопараметрическое семейство L*(t) производящих операторов. Дифференциал
dL* (t) называется инфинитезимальным оператором. В том частном случае,
когда выписанный выше предел существует, имеет место простое соотношение
dL*(t) =Adt.
Указанное семейство полностью определяет полугруппу, и наоборот. По
аналогии с прежней теорией здесь также можно рассматривать сильные и
слабые замыкания области определения, доказывать теоремы единственности и
т. п. Конечно, мы не имеем возможности в данной главе сколько-нибудь
подробно разбирать относящийся сюда обширный материал. Наше изложение
будет носить несколько отрывочный и конспективный характер.
§ 3.1. ОПЕРАТОРЫ, СООТВЕТСТВУЮЩИЕ МАРКОВСКОЙ СИСТЕМЕ МЕР
1. Пусть задано измеримое фазовое пространство (Е, ?)
и двухпараметрическая система мер nst(x, А), где х€Е, Л€ <? ; s, tdT. При
фиксированных х, s, t функции ps<(*, Л) образуют меру в указанном
пространстве, а при фиксированных Л, s, t они являются § -измеримыми х-
функциями.
Обозначим через G пространство ограниченных борелев-ских функций на Е.
Оно является банаховым пространством с естественными линейными операциями
и нормой
llgll = sup|g(*) I, g( G.
х?Е
Определим на этом пространстве операторы (Tstg) (х) = j |ij( (х, dx') g
(x'), s<t.
Кроме того, можно рассматривать преобразование счетнс-аддитивных функций
(ф7^) (л) = [ Ф {dx) [is, (х, Л)
J
из банахового пространства ФЭср (с нормой ||ср|| = УагЯф).
Будем предполагать, что рассматриваемая система мер является марковской,
т. е. выполняется уравнение Чепмена- Колмогорова
j (х> dx') ntu (х', Л) = [isu (х, Л), s<Ct<u, которое в операторной форме
