Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
Ft, Ft имеют вид (9.5)), зависит лишь от времени и апостериорной
вероятности Wi. Он определяется основным уравнением (10.12), которое в
данном случае можно записать
5 (До], t) = min [Awlt В( 1 - wj, С А + MS (дох + Aw, t + А) +
+ о (А)],
(12)
где символ усреднения Mps = M [• | г/'] = М [¦ | w{\ относится лишь к Aw
= Wi (t+A) -wi (t).
Будем предполагать А, В, С, к, sU2 поетоянными и рассматривать
"усеченные" процессы наблюдения, не превышающие по длительности заданной
величины Т. Это значит, что процесс наблюдения заканчивается в момент t =
T и принимается решение и - Х\ или х2, соответствующее минимальному риску
S(wL, Т) = min [AwltB( 1 - wj],
(13)
если этот процесс не закончился раньше. Равенство (13) служит "начальным
условием" (при попятном течении времени) для определения S (wi, t) при
помощи (12).
Во внутренних точках области продолжения наблюдений функция S (w 1, Т)
удовлетворяет уравнению
S (щ, t) - С А -|-М S (шх + Aw, t -j- А) + о (А)
и имеет, следовательно, производные
Это выте-
dS d^S dwi ' dw\
кает из диффузионного характера изменений (10) процесса W\(t) и может
быть доказано подобно тому, как может быть доказано существование этих
производных при выводе обыч-
294
ных уравнений Колмогорова. Если указанное доказательство не проводить, то
существование производных следует постулировать дополнительно.
Рассмотрим входящее в (12) апостериорное среднее. Разлагая S (№i + Aw, t
+ А) в ряд Тейлора, находим
Чтобы вычислить средние MPsAw, Mps (Дю)2 обратимся
к (10). Процесс yt = st(x) + lt, входящий в (10), имеет апостериорное
среднее Мpsyt =8,^ + s2(l -wx) и локальную дисперсию Mps (Ау)\= иА + о
(А) (Ми (Ау)к = о (A), k > 2). Поэтому из (10), применяя технику
усреднения стохастических выражений, разработанную автором в [8], § 4,
получаем
= 0; Mps (Ao>i)2 = (Sl 5* - w\ (1 -Wj)2 А+о (А); Мр5(Дш)* =
После подстановки этого выражения в (12) и перехода к пределу А 0 находим
(ср. с (10.44)).
Во всех остальных местах, как следует из (12) при А->0, имеет место
равенство
Предполагая, что область, где выполняется (17), есть связный интервал,
обозначаем его граничные точки через
МpsS (wx + Aw, t + A) = S (wlt t + A) +
(H)
(15)
MpsS (wx + Aw, t+A)=S (wv t + A) + H (w^
+ o( A),
d*S (wut+ А) д
где
H = (Sl 2у^ Wi^2-
(16)
при
S(wlt t) <min [Awlt 5(1 - Wi)]
(17)
S (wx, t) - min [Awv 5(1 -ш1)].
295
fi (0 и /2 (0- Это значит, что уравнение (16) справедливо при fi (t)
<Wi<f2 (t) и ему соответствуют граничные условия
S(wv t) = min [Aw-l, В (I-доД]
при wx =/i>2(0,
а именно
S(/1(0.^) = ^/i(0>
S(/a(0,0 = fl(i-/a(0), (18)
если
^<5(1-/,); Л/2>В(1-/Д
(последнее предположение подтвердится в дальнейшем).
Можно доказать, что в граничных точках имеет место непрерывность первой
производной dS/dW\, если dSjdwy, dfu2/dt существуют и конечны. Тогда в
дополнение к * (18) будут выполняться граничные условия
=.4; = (19)
OWi UWi
Доказательство. Из (12) непосредственно видно, что скачок производной в
граничной точке, если он имеется, может быть только отрицательным:
d2S/dw2 =- со (т. е. излом направлен углом вверх). Если такой излом
имеется, то, как видно из соотношения
S(wi, t) - S (wi, t + A)
Д
1 о/ , , *ч , г,, ,
= min min [Awlt В (I - о>Д] - -|S(Wl,/ + 4),C + WW-^}+o(l),
эквивалентного (12), при этом будем иметь dS(f,t)
dt
= -00 (/=/li2).
Однако такое бесконечное значение производной невозможно из следующих
соображений. Возьмем производную
(20)
dt dt dwx dt
вдоль границы, которая, очевидно, равна A^L- или -В -
dt dt
и, следовательно, конечна. Если
dS df
dwi 9 dt
конечны, то согласно (20) должна быть конечна и частная производная
dS/dt. Следовательно, излом, приведший к бесконечному значению этой
производной, невозможен. Доказательство закончено.
296
Если обозначить
6S (он, ()
v(wlt t) =
dwi
то из (16) будет следовать уравнение
dv д
dt dw1
Щщ)?-
OWi
(21)
которое при граничных условиях (19): v(fu t) = A; v (Д, t) = = -В
однозначно определяет v (wt, t) как функционал от /1 (0 и Д (i). Для
отыскания неизвестных функций Д, f2 требуются дополнительные условия,
которые мы выведем из-(16), (18).
Условия (18), очевидно, дают
f.
S(h, t)-S(h, t)= f vdwt = В - Af1 - ВД. (22)
h
Далее, дифференцируя (18) по 1 и учитывая (20), находим: dS (Д, t) + -Р-
(Д, t)p-^A dfl
dt ' dw! dt dt
dS
откуда вследствие (19) имеем (Д, t) =0. Аналогично мож-
dt
dS
но получить ------ (Д, 0=0. Принимая это во внимание, из
dt
(16) будем иметь
H(h)p (Д, t) = H (Д) p(f9,t) = - С. (23>
dwi dw 1
Таким образом, границы областей остановки Д (t), Д(О можно находить
следующим образом. Сначала можно решать уравнение (21) при граничных
условиях (19), (23),скажем, при условиях
н(Д,0 = Л; Я(Д)^-(Д,0 = С,
OWi
предполагая fi(i), fz(t) известными. Затем нужно определить Д (О, Д (Д из
второго условия (19) и из (22).
В предположении, что "усеченный" процесс наблюдения заведомо
заканчивается в момент t = Т, можно доказать, что-границы областей
