Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
Если Stk+l (со | '^Н-И/ч'а-Н) есть Xk+\-измеримая функция, то, как
нетрудно вывести из 8.7. А -В (t = tk+u s = tk), функция Stk(a\Uikytk)
также является ^-измеримой, причем
181
St (xt (w)) = min {Mpfc^1 (со) - c** (a) -f-* м|Л?^
+ S<*+1^1(a))|?4f1^]}. (8.39)
Таким образом, рекуррентные преобразования не приводят к нарушению Xtk-
измеримости урезанных условных рисков. Остается только проверить ^-
измеримость "начальной" функции
Sb (<в | иьУЧь)) = Мр [с (v) - (а) | UbT(b\
Она имеет место согласно (8.37). Следовательно, -измеримость функции S;
при любом k = 0, 1,2,..., N является доказанной для ступенчатого индекса
epN. Если теперь совершить ¦предельный переход iV->oo( j ф, то предельная
функция St будет ^-измеримой при любом t из множества определения риска.
§ 8.6, ПРЕОБРАЗОВАНИЯ ФУНКЦИИ ОТ ДОСТАТОЧНЫХ КООРДИНАТ. УРАВНЕНИЕ
АЛЬТЕРНАТИВ
1. Рассмотрим банахово пространство G*.^-измеримых функций в
пространстве достаточных координат (X, %). В нем определены естественные
линейные операции и норма, аналогичная (8.19) или (8.20) (в последнем
случае предварительно фиксируется некоторая мера v(A), Ad X, порождаемая,
если угодно, мерой v(T), ГС?/6).
Введенное ранее преобразование (8.21) определяет преобразование Tst в
пространстве Gx. В самом деле, для любой g (х) ? Gx функция
g(xt(ш))=/(о>1 является ^^/<*)(0-измеримой, т. е. ? Gt. Следовательно,
может быть определена функция
Г И = TJ (Со) = J / (?0) Q (Дсо (. Xt | U*yw) i Gs, (8.40)
которая оказывается ^-измеримой согласно 8.6.Б. Записывая ее в форме
/'(со) =g'(xs(w)), мы можем рассматривать преобразование 7^ любой
функцииg(x) в функциюg'(х) € Gx.
При помощи условной меры Q.st(TdX\X)n пространстве достаточных координат,
связанной с мерой (8.34) соотношением
Q (ХТ1 (Г) | Xs) = Qs* (Г | xs (со)), указанное преобразование g'=Tstg
можно записать
(Tstg) (х) = j QJ(dx' | x) g (x'). (8.41)
182
Вследствие полугруппового свойства (8.23) преобразования (8.40)
рассмотренное здесь преобразование (8.41) образует полугруппу:
TrsTst = Tri, r<s<t.
Урезанный условный риск St(x) можно рассматривать как элемент
пространства Gx. При этом формулу преобразования (8.35) урезанных рисков
можно записать при помощи Tst. Именно, учитывая 8.6.А-Б, получаем
Ss (х) = MQ [с* cs | х] + TstSt (х). (8.42)
2. Существование полугруппы преобразований Tst напоминает случай
марковского процесса (§ 3.1). Возникает вопрос, не связана ли эта
полугруппа с некоторым марковским процессом. Проверка показывает, что так
оно и есть. Марковским процессом оказываются достаточные координаты,
причем это вытекает только из их определения.
Теорема 8. 7. Процесс{ хДю), t€.T\, описываемый вероятностной мерой Q,
является марковским.
Доказательство. Возьмем моменты времени С<^>< <7в. Из определения
условных вероятностей имеем
Q (Л ( Xt, I W'V^) = j Q (A \W*1J^u)) q (.
или, учитывая 8.6.Б,
Q (А I Хц) = j Q (А | Xt.) Q (da i I ииуф",)).
Поскольку Q(A| Xt,), A ? Xt3 является j&2-измеримой функцией, здесь
Q(dco( можно заменить на Q(dco(
i Хц |^''2/'pWl)), а значит (в силу 8.6.Б) и на Q (du> ( Xt2\3Ct,)- В
итоге указанное равенство примет вид
Q (Л | Xtl) = j Q (Л | Xu) Q (dco ( Xt, 13Ct,).
т. e. обратится в уравнение Чепмена-Колмогорова.
Из этого уравнения, многократно пользуясь теоремой Радона-Никодима,
поочередно можно вывести равенства
Q (Л е Хц I хм = Q (А 1 Xu), Q (Л е Xu I = Q (Л| Xt,)
(h<h< ...), И т. д.
доказывающие марковский характер процесса.
Согласно доказанной теореме достаточные координаты образуют марковский
процесс после выбора решения б, определяющего, как указывалось в п. 4 §
8.1, комбинированную меру Q. Можно утверждать большее. Достаточные
координаты образуют марковский процесс также относительно вероят-
183
ностных мер Р( -{Ц*), заданных в условии задачи (п. 2§8.1). При этом,
конечно, следует фиксировать управление иа на достаточно большом
интервале [а, Т\. Чтобы не оговаривать этого каждый раз, фиксируем
управление uGU на всем интервале.
Теорема 8.8. Процесс (хДсо), tGT}, описываемый при фиксированном
управлении uGU вероятностной мерой Р( • I иъ), является марковским.
Доказательство аналогично предыдущему с той лишь разницей, что вместо
условия 8.6.Б следует использовать условие 8.7.Б.
Марковский процесс, рассмотренный в теореме 8,8, определяет свою
полугруппу преобразований в Gx. Поскольку эти преобразования
соответствуют фиксированному управлению и, будем обозначать их Tst(u):
(T,t (и) g) (xs) = j Р (dxt (n)?%\ и, xs) g (xt (со)).
3. Коль скоро введены полугруппы преобразований Tst, Tst {и), то можно
рассматривать их инфинитезимальные операторы. Пусть Лг -
инфинитезимальный оператор, определенный формулой
Atg = (8 43)
* гаю Д
на множестве DCGX тех функций g, для которых предел существует.
Аналогично для каждого uG U определяем инфинитезимальный оператор At(u)
преобразований Tst{u) и область его определения D(u)CGx.
Пользуясь уравнением (8.42), образуем разность
St_A {х) - S f (х)
