Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
результаты и в частности на (1.43).
В заключение сделаем несколько замечаний относительно возможных
обобщений. Во-первых, можно произвести обобщение результатов на
многомерный и нестационарный случай. Первое обобщение тривиально. Для
второго мож-
.26
но, например, рассматривать функцию G = n2m(x, ц20+ + t, Ix2t, to), где
g(x, t, t, со) - стационарная функция
¦от t при фиксированных t, х, to. Во-вторых, при выборе более сложной
зависимости G от ц можно получить предельный марковский процесс, не
являющийся диффузионным. Некоторые предварительные идеи, касающиеся
вычисления членов с более высокими производными в операторе марковского
процесса, содержатся в монографии Стратоновича [8], § 4, п. 8. Наконец,
особого исследования заслуживает вопрос о величине отклонения
немарковского процесса от марковского, т. е. вопрос о быстроте
сходимости.
Глава 2
НОВАЯ ФОРМА ЗАПИСИ СТОХАСТИЧЕСКИХ ИНТЕГРАЛОВ И УРАВНЕНИЙ
Стохастические интегралы и уравнения являются важным инструментом
исследования диффузионных марковских процессов и будут широко нами
использоваться в дальнейшем. Мы предполагаем, что читатель знаком с этими
понятиями, например, в объеме монографий Дуба [1] и Дынкина [3].
Как известно, стохастические уравнения, записанные для диффузионных
процессов, впервые встречаются в физических работах по броуновскому
движению (Ланжевен [1], см. также Чандрасекар [1]). Строгая
математическая теория этих уравнений была дана впоследствии К. Ито [1-3].
Способ определения стохастических интегралов и уравнений, который был
предложен последним, является общим и удовлетворительным во многих
отношениях. Однако ему не свойственно одно важное качество - симметрия во
времени. Стохастический интеграл Ито, определенный для прямого времени,
не совпадает с таким же интегралом, определенным для обратного времени.
В настоящей главе будет изложен другой способ определения стохастических
интегралов и уравнений, -который характеризуется определенной симметрией
по отношению к прошлому и будущему. Этот способ до известной степени
эквивалентен способу Ито, но в некоторых отношениях имеет ряд
преимуществ. Существенно упрощается техника преобразований стохастических
интегралов. Как известно, интегралы в смысле Ито требуют осторожного
обращения. Их нельзя при замене переменных преобразовывать по обычным
правилам, пригодным для гладких функций, нельзя просто интегрировать по
частям и т. п. Для интегралов в новом смысле дело обстоит проще. С ними
можно обращаться по обычным правилам, как если бы диффузионные процессы
были гладкими функциями. С этим связаны ковариантные
28
свойства стохастических уравнений. Преимущества симмет-ризованного
стохастического интеграла проявляются также при исследовании
"функционалов вероятности" (Стратоно-вич [5]).
Стохастические дифференциальные уравнения, записанные в новой
(симметризованной) форме, можно интерпретировать как предел уравнений,
записанных для немарковских (но близких к марковским) процессов. Из
результатов гл. 1 следует, что при этом аналитический вид допредельных
уравнений и предельных, взятых в симметризованной форме, совпадает. При
технической реализации (моделировании) стохастических уравнений всегда
приходится иметь дело не с точными, а допредельными (приближенно
марковскими) процессами. Поэтому нужно осуществлять моделирование
уравнений, например, уравнений оптимальной нелинейной фильтрации, взятых
в симметризованной форме, а не в форме Ито.
Автор пришел к симметризованной форме записи стохастических выражений в
результате практической работы со сглаженными (не вполне марковскими)
процессами [8] и с условными процессами Маркова [2, 15]. В последних
статьях стохастические уравнения понимаются в симметризованном смысле, а
не в смысле Ито. Непонимание соотношений между различными определениями
стохастических интегралов приводило к необоснованным обвинениям в
ошибочности результатов указанных работ, а также к путанице в собственных
работах некоторых авторов (Кушнер [1, 2]).
В некоторых случаях более удобным оказывается рассматривать интеграл в
смысле Ито. Поэтому мы не устраняем интеграл Ито из данной монографии, а
используем оба интеграла. Чтобы не возникало путаницы, интегральные и
дифференциальные выражения в смысле Ито мы отмечаем звездочкой при
дифференциале. Там, где указанные два вида интегралов совпадают,
звездочку можно писать или не писать; мы выбираем последнюю возможность.
§ 2.1. СИММЕТРИЗОВАННЫЙ СТОХАСТИЧЕСКИЙ ИНТЕГРАЛ И ЕГО СВЯЗЬ С ИНТЕГРАЛОМ
ИТО
1. Начнем с одномерного случая. Пусть на интервале Т = [а, Ь] задан
действительный диффузионный процесс \x(t)}, для которого
limM {h[х (t -f h) - x(t)}2\ 1} = b(l, t); (2.1)
limP {| x(t + h) - x (t) | > 6 |i} = 0, 6>0.
29
Функции а(х, t), b(x, t) предполагаем непрерывными па обоим аргументам. В
§ 2.2, § 2.3 потребуется, кроме того, условие дифференцируемости функции
b(x, t).
Далее, пусть на Т задана функция Ф(х, t), непрерывно^ дифференцируемая по
