Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
В настоящем дополнении не используется в полной мере основной материал
книги (которая была написана позже). Поэтому дополнение можно читать до
известной степени самостоятельно.
Начнем с несколько своеобразного примера оптимальной фильтрации,
решаемого без составления уравнения для условных рисков. В последующих
задачах такое уравнение будет играть большую роль.
1. Фильтрация с сигнализацией разладки. Пусть xt - единственный
переменный параметр, который может принимать всевозможные действительные
значения. Интервал -а<х<а назовем "рабочим интервалом". Когда xt
принадлежит этому интервалу, от решающей системы требуется возможно более
точная оценка его значения. Соответствующее решение utt = dtt (у) (где у
= у\ - наблюденные значения) есть результат фильтрации. Качество
фильтрации пусть оценивается матрицей штрафов
ся(*,И)Н ° "О" !"-*1<к (1,
С при \и - х | > ц;
290
(|дс|<а, | и I <a).
Выход значения xt за пределы рабочего интервала означает "разладку", и
решающая система должна сигнализировать о ней, пока xt не вернется в
рабочий интервал. Если система не сигнализирует об имеющейся разладке, то
берется штраф А за единицу времени. За ложную сигнализацию взимается
штраф В в единицу времени. Пусть сигнал разладки совпадает с решением йи
(у) =и' (и' не принадлежит рабо-
чему интервалу), тогда матрица штрафов, в дополнение к (1), будет
определяться равенствами
Сц(х, и) = А при \х\>а, |ы|<а;
Ctt{x,u')=B при | л: | < а.
Предположим для определенности, что апостериорное распределение гауссово:
1 _ (*-т>2
Р(^|^) = -в 202 dx, (2)
и у 2зт а
где т = mt (у), с = о" (У) - функции, определяемые при помощи уравнений
теории условных марковских процессов. Данная задача решается методами,
изложенными в § 9.1 и § 9.2 (случай (9.5)). Достаточными координатами
являются т и а. Подставляя (1) и (2) в (9.5.а) , находим функцию
гг- /т - м+ ц\ - -
- a -p<w<a;
и
s(a'|M = B[> (-11--) ' (3)
где
F<'v) = 7S$e~^de- <3a>
О
Зафиксировав значения т, ст, будем искать минимальные значения этой
функции. Сравнивая между собой значения функции на интервале а-- р < и <
а, видим, что минимальное зна-
29 J
чение достигается в точке и = а - р и равно
т -
s (а - р | у) = А + С
+
р ( 'п + а ^ р ^т - а + Чц ^ j
(4)
Аналогично минимальное значение на интервале - а<и< < - а + р есть
! + <
;(-а + рИ=А[к(^)+1-К(^ + с )-F
(5)
На отрезке - а+р<и<а-р минимальное значение достигается в точке и=т и
равно
т + а
s(m\y) = А
РI ---1 + 1 -F
+
+ С
(6)
Выбирая из (4) - (6) наименьшее значение, получаем правило фильтрации
га - р при т>а-р;
dt(y) = \ т, - а + р < т <а - р;
' - а + р, т < - а + р
(когда \т\ меньше вводимого ниже критического значения т*).
Правило сигнализации разладки получаем в результате сравнения (3) с
наименьшим значением из (4) - (6):
dt(y)~u' при \т\>т*.
Здесь критическое значение т * определяется из уравнения
1 +
+
+ .?. + р^,:: -НЗзу +1=0.
2. Простая задача Вальда. Пусть производятся независимые
последовательные испытания, причем постоянный неизвестный параметр,
подлежащий оценке, может принимать лишь одно из двух возможных значений х
- х\ или х2. Если / (у I х) ~~~ плотность распределения исходов каждого
испыта-
292
ния, то апостериорная вероятность после я-ного испытания будет
W(x)^P(x\y-) = ^-P(x)f(y1\x) ...f(yn\x), (7)
N
где
i-i
нормировочный множитель, а уп - наблюденные значения.
В случае непрерывного процесса наблюдения после наблюдения континуального
множества значений у о = {ух-О •< т •< /} формула (7) заменяется на
непрерывный аналог
(8)
1
W (х) = ~ Р (х) ехр | ^ фг (г/Т) x)dt J , о
где вид функции tyx{yx, х) определяется из условий задачи*. Так, если
наблюдается сигнал yt = s( (х) + \t, равный сумме полезного сигнала st
(х) и белого шума = dit/dt (М?, = 0; M?f?f+T = иб(т); t,t - винеровский
процесс), то, как известно, формула (8) приобретает вид
W(x)=*-~P(x)exp{-?*J yx - ~^-]sx(x)dx}
(9)
Последний стохастический интеграл эквивалентен стохастическому
дифференциальному уравнению
dwi
dt
dw"
¦s2
dt
Ut'
S1 + S2
(wt = W (X;); st = st (*,))
или
dw1 =
' s2
d//
Si + ;
dt
w.
I
(1 - wj (y = ^yxdx
Приведенное уравнение является вырожденным частным случаем простейшего
уравнения (6.43) теории условных марковских процессов (для процесса с
двумя состояниями).
* Попутно заметим, что в случае наблюдения^ пуассоновского процесса yt =
^(t -1±) с плотностью Р/(х) функция ф/ (ytt х) имеет вид yt 1пРДх)-
-Рг (х).
293
Требуется найти оценку и = хх или х2, соответствующую минимальному
среднему риску при следующих штрафах:
1) штраф А за неправильную заключительную оценку и = х2,
2) штраф В за неправильную оценку и = хи 3) штраф С за наблюдение,
рассчитанный на единицу времени. Указанным условиям соответствуют матрицы
штрафов
II С'и(х, ы)|| =
Сtt(xi> xi) Сц(хi> х2) 0 А
^t/Xtl' I^ц(Х'1' ху) В 0
Си (х, и) - С.
(И)
(со) 1^0-
Урезанный условный риск S (wu t) =М[с (со) - с1 (см. (10.3), (10.5), где
