Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
Используем свойство непрерывности функции ф* (х, St), о котором говорится
в 10.1.В (непрерывность функций (10.25) в данном случае с очевидностью
имеет1 место).
К точке хг, принадлежащей как замыканию области В, так и замыканию
области Int Ес, можно совершить предельный переход двумя способами: или
оставаясь в пределах одной, или другой области. Поскольку
ф, (х, St) =
, 1 d*St , , "
Sf -i- ------- 1 В Int у-i,
* 2 дх*
ds* _ рч__
dt
то, приравнивая пределы, получаем]
а!П(Лг)+ 5,(л:г) + - lim = (10.31)
dt 2 ЕЭх^хг дх*
Пусть для примера область В лежит справа от граничной точки хг, а Вс -
слева. Предполагая, что функцию St (х) в указанных областях можно
разложить в ряд Тейлора, имеем
st (х) = s't (хг) + S1-(x - хг) + -±-S2 (х - хг)2 +
+ - Ss (х - хг)3 + ... при х х г;
6
St (х) = s't (х) = St (ХГ) + si ¦ (х - ХГ) +~ S2 (X - хту +
+ - S3 (х - хт)3 + ... при X < хг.
6
Производя почленное усреднение, находим
-(х-уУ
(Тл St) (х) = -7^=- f е s (у) dy = s; (лг) +
У 2л Д .)
+ {~vf)+is; °* + ¦ ¦ (10-32)
235
Выражение (10.32) следует подставить в рекуррентное соотношение (10.13),
имеющее в данном случае вид
St- д (х) = min
ds, (х)
st(x) - д> st(x)A + TASt
dt
+ о(Л). . (10.33)
Рассмотрим граничную точку хг, чтобы определить ее принадлежность к
области Ei или Ег. Приравнивая х - хг в (10.32), получаем из (10.33):
3*_д (хг) = si (хг) -f min
ds,
dt
Ч*Г)Д, st (хг) Д +
+ Vb Gx (0) (Sx - s[) + -J- G2 (0) (Sa + St)
+ о(Д). (10.34)
Вытекающее из (8.54) соотношение 5/_д - St = 0(Д), записанное для точки
хг, приводит поэтому к условию
min [0, Sx - si] ¦= 0 (
a?L(*r + 0) s; = ds*
dx
dx
(Xr)j¦ (10.35)
Ho si > Slt поскольку s't(x) > St(x) при х>хг (т. e. в E). Следовательно,
(10.35) дает условие непрерывности первой производной в граничной точке:
lim
зэ*->*г
dSt(x) _ ds[
дх
и йх
= -Ч*г).
дх
(10.36)
Впервые подобное условие для задачи Вальда при непрерывном времени было
получено, по-видимому, Михалеви-чем [2].
Из (10.34), (10.36) имеем
Sf-д (хг) = St (хг) + Д min
(хг), st (хг) +
dt
+ о(Д).
Чтобы определить, какая из стоящих здесь величин больше,
+ - ($g + 5г)
примем во внимание соотношения (10.29), (10.31). Взяв полусумму
выражений, стоящих у них в левой части, получаем
Г~ (ХГ) + Sl (ХГ) Н ~7~ ($2 + S2) > 0.
dt 4
Поэтому
Sf-д (хг) = S, (*г) - А (х^ + 0 (Д),
так что точка хг принадлежит области S2 (Зх = 3, 32 = 3е). Пользуясь
условием (10.36), найдем производную
dxr хг - хг
¦-- = - lim-^------------*- (10.37)
dt д-*о А
от значения хг = х[, рассматриваемого как функция времени. Указанное
условие должно выполняться как в точке (х[, t), так и в точке (х?_д, / -
А):
9 г- (xt) = +); (^-д) = (xf-д +).
дх дх дх дх
(10.38)
Здесь хх + обозначает предел, соответствующий области S. Воспользуемся
тем, что для точек этой области
Sf-д (х) = St (х) + st (х) А + ----+ о (А),
2 дх2
так что
{хА (Xt~h = ~дГ "Л +) + А ~дГ (х* +) +
+ А^.(,Г+)+0(Д) = ^(хГ+) +
2 дх3 дх
+ ^ +) - х') + А -1Г-(х* +) +
дх2 • ад;
. А <335/ / г , ч , / л \
+ T^r(Xt +) + °(д)-
Предполагая, что соответствующие производные существуют, кроме того,
имеем
ds, * . г . д s. р д* s. р
(xf-д) = -- (xf)--------- - - (Xf) А +
дх дх дх dt
-|-------- (Xf ) (Xf_ д Xf ) -)- О (А).
дх2
237
Подставляя эти выражения в (10.38), получаем
d2s,
дх2
'/ г>
~ (xt)
d2St
дх2
(xt +) (*f-Д- XF)
1 d3S
сЪс3
~ ($ +)
Д + о(Д).
Совершая предельный переход (10.37), получаем окончательно
dx)
~дГ
д
дх
ds
dt
+ S'+ 2
d*St
дх2
d2st дх2
(PSt дх2
г
x=xt +
В заключение этого параграфа дадим описание пространств регулярности D°t
, Т. В рассматриваемом случае пространство Dt состоит из функций g {х)\
1) непрерывных и имеющих непрерывную первую производную (см. 10.1.В и
(10.36)),
2) не превосходящих St (х) (см. 10.1.А)),
3) дважды дифференцируемых в области
3 = {х: g(x)<st(x)\
(см. 10.1.Б и (10.30)),
4) удовлетворяющих на границе области а условию
ds't (х)
st (х) + -
¦(*+) - 0.
dt ¦ ' ' 2 дх2
(см. (10.31)).
Необходимость указанных свойств аргументирована ранее, достаточность
легко проверить непосредственно.
Результаты, полученные в настоящем параграфе, обобщаются также на случай
более сложного оператора (10.22).
§ 10.5. ОПТИМАЛЬНЫЕ РЕШАЮЩИЕ ФУНКЦИИ
Общая теория гл. 8 гарантирует существование е-опти-мальных решающих
функций. В рассматриваемых здесь задачах можно аргументировать
существование в точности: оптимальных решающих функций, т. е. решающих
функций,, в точности соответствующих оптимальному риску.
Вкратце опишем эти решающие функции. Начнем с оценочных функций
utx - d-tx (Уа) - dtx iWt)\ Utx = dtx (Уа) - dtx (Wt).
238
Обращаясь к формулам (10.11), видим, что оптимальные оценочные решающие
функции определяются условиями
minМ [Сп (utx, zx) | Wt\ = M [C^ (dtx (Wt), zx) j Wt[;
utx
min M [Ct% (uix, Zx) | Wt\ = M [Ctx (dtx (Wt), zx) | Wt[.
utx
Эти функции существуют, если минимум (нижняя грань) достигается на
допустимом множестве ?/(х (или Utx) управлений utx (или Utx). Функции
