Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
dSt(W) { st (^) + (At $t) (И7) в S1;
- (10.21)
dt l-S/W в Sa.
Оператор At, входящий в (10.19), (10.21), есть не что иное, как вторичный
апостериорный оператор:
At = -d-?~ (10.22)
т. е. инфинитезимальный оператор вторичного марковского
процесса {wf} (см. п. 2 § 5.6).
Как видно из (10.13), урезанный риск St {W) не может
превосходить s't (W). Поэтому пространство условных вероятностей W можно
разделить на две области:
S = {lT:S<(r)<s;(W0}
Ес = {W: St (W) = s( (IF)}.
Обращаясь к определению (10.17) области Еь нетрудно понять, что область S
принадлежит Si, если д) непрерывная
231
функция от t. В дальнейшем примем более сильное предположение, что s't-
дифференцируемая функция от t.
Из определения (10.18) области Е2, учитывая (10.14), (10.20), можно
получить, что S,CSc. Но коль скоро = st в 32, то предел в (10.20) есть не
что иное, как частная производная по времени:
д/.пг)
*(Г)= '
dt
Приведем еще одну форму записи уравнения (10.15). Обозначим через Н
область, где существует предел (10.19) (очевидно Si С Я). В области Ес
выражение (10.14) можно записать
ds, Tt-A.t-1 ")
Si) = lim min _L+0(i)f Si + o(l) +
Д-"0 l ОТ " )
Следовательно, в области Ec H после перехода к пределу Л -* 0 будем иметь
_ dSt _ 1 dS'
Если
а/ = min * + (IV?E'H).
st Ч- St Ч- At St <С 0, ? (10.23)
то точка области S°Н принадлежит Slt а если
st + Si + At St ]> 0, (10.24)
то она принадлежит Sa.
Теперь мы можем описать функции, принадлежащие пространству регулярности.
Они обладают следующими свойствами.
10.1.А. Если g? Z) °, то g < s't , причем g (IF) =sf' (IF) в ее области
Ег.
10.1.Б. Для g(z D° существует предел типа (10.19) в области Е].
Кроме того, обычно выполняются условия непрерывности функций,
принадлежащих области регулярности.
10.1.В. Если
JtiW) и Tt-&,tgssg& (А > 0, ?(Д°) (10.25)
непрерывные функции от 1F, то функция g (IF), а также Ф (И7. §) являются
непрерывными.
232
Д о к а з а т ел ь с тв о 10.1.В. Запишем (10.13) в виде D°t-д ) gl = min
st-AA -f gA\ + о (A).
Отсюда имеем
?д=?д + 0(Д), (10.26)
где через gA обозначена функция
gа = min [si-д, ?д],
которая непрерывна вследствие непрерывности функций
(10.25). Сопоставление (10.26) с равенством g'&-g = = О (А), вытекающим
из (8.54), дает
На-g = О(А). (10.27)
Поскольку оценка О (А) здесь является равномерной, из непрерывности gа
следует непрерывность функции g.
Итак, g непрерывна, коль скоро g ? D°t. Следовательно, gA непрерывна при
любом А > 0, ибо g\ ( D°t~д. Отсюда вытекает
непрерывность функции (g'A-g)/А при любом А > 0. Но,
как
видно из (8.54),
-?нг?--'М1Р,г) = о(1).
Это соотношение доказывает непрерывность функции (й7. Я)> аналогично
тому, как (10.27) доказало непрерывность g.
Следствие из 10.1.В. Пользуясь непрерывностью по W функции ф (IP, S),
можно получить некоторое соотношение, справедливое в тех точках Wr,
которые принадлежат как замыканию области Еь так и замыканию области Е2.
Выбирая последовательность сходящихся к WT точек из Si, а также
последовательность точек из Е2, сходящихся к тому же пределу, и учитывая,
что для обеих последовательностей имеет место один и тот же предел
lim ф(и?, S) = ф(Гг, S), w->wr
получаем
ds
lim [s, (IP) + = lim
е,Э w->wr E-.giTWit/1'
dt
L(IP)
233
д s
Если функции st (IF), --(IF) непрерывны no IF, то, следовательно,
dt
dsJ_(WT) + st(Wr) + lim AtSt = 0. (10.28)
dt B1ew,-"w'r
§ 10.4. ОДНОМЕРНЫЙ СЛУЧАИ
Остановимся несколько подробнее на том простом частном случае, когда
пространство апостериорных вероятностей 1F сводится к одномерному
пространству R\. Через х обозначим координату последнего. Будем
предполагать, что вторичный марковский процесс {х,} является диффузионным
и что ему соответствует инфинитезимальный оператор (10.22) следующего
простого вида
At=±--*-2 dx2
(коэффициент диффузии постоянен).
Некоторые более сложные одномерные случаи могут быть ¦сведены к данному
при помощи замены переменной х. Предполагаем, что s t (х), st ( х ) -
непрерывные дифференцируемые, функции обеих переменных, и, кроме того,
что s^(x) дважды дифференцируема по х. Для дальнейшего удобно принять,
что выполняется условие
dSf(x) 1 d2s'f(x)
' '-St(x) +---------------------------^>0. (10.29)
dt 2 dx2
Если Sa(x)?D°, при некотором о? [а, Ь], то St (х) ? Д° в более ранние
моменты времени (< о. Рассмотрим, каковы в данном случае области S1; S3
(вообще говоря, зависящие от времени: Е1 = Ех ((), Н2 == Н2 (*)).
Поскольку в Sc3 Н2 функция 5t(x) совпадает с S/Дто в силу двукратной
дифференцируемости последней существует предел
lim ~' - S, (*) = lim -'Т'^' ~1 щ (х) = Д ^
д-"о Д Д-0 Д 2 5x2
по крайней мере во всех внутренних точках области 3е (т. е. при IF ( Int
ЕЧ. Условие (10.24; в этих точках принимает вид
dsf 1 d2st
+ 5,+ 4- >0.
dt 2 dx2
Из (10.29) вытекает, что оно выполняется во всех точках Int S'7, так что
Int 3е С За.
234
В § 10.3 отмечалось, что
BCSlt (10.30)
поэтому остается рассмотреть точки "границы"
Г = - В - Int S'.
