Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
для каждого SnCI Sr вследствие условия фЧО^фСО будем иметь
ф' (t, SN) < ф {t, SN).
Применяя теорему 8.2, получаем
d <С /?
%(SN) ^ Ф'(5^) '
Но левая часть не превосходит inf RV(sN) = Rtf, следовательно,
Rtf > •
Ф (Здг)
Переходя к пределу iV-э-оо, получаем Rtf К Rtf'-
Рассмотрим теперь неоптимальный риск Rф- для индекса ф'. Примем во
внимание определение 8.2. В соответствии с теоремой 8.1 и 8.2 имеем
RtfUSf) ¦С Rtf'U Ry'N,
где SN-точки скачков допредельного индекса ф'^ (t) (<ф' (/)), фи-
гурирующего в определении 8.2 (следовательно, ф'^ Р)<ф' (t, SN)).
Переходя к пределу JV->oo и учитывая также определение 8.3, получаем
Rtf<R^. Но, как уже доказано, Rtp^Rtp. Следовательно, что завершает
доказательство теоремы 8.5.
Согласно вышеизложенному, оптимальное решение является наилучшим среди
всех регулярных решений не большего индекса.
16"
§ 8.3. ОПТИМАЛЬНЫЕ РЕШЕНИЯ
1. В предыдущем параграфе при рассмотрении оптимальных рисков
R(p(<Utey4>{t)) ничего не говорилось о решениях, которым эти риски
соответствуют. Если существует решение, риск которого совпадает с
оптимальным риском, то такое решение естественно назвать оптимальным.
Проведенное ранее рассмотрение показывает, что всегда существуют
оптимальные риски. Возникает вопрос, всегда ли существует оптимальное
решение. Утвердительного ответа на этот вопрос в общем случае, ло-
видимому, дать нельзя. Для доказательства существования в точности
оптимального решения требуются некоторые ограничения, например,
предположения топологического характера.
Проще (не требует дополнительных предположений) доказательство
существования решений, сколь угодно близких
К ОПТИМаЛЬНОСТИ, РИСКИ КОТОРЫХ СКОЛЬ УГОДНО блиЗКИ К Rif.
Рассмотрим сначала случай скачкообразного индекса <pN(0, имеющего N
скачков, и сконструируем для него решение 6е, риск Rкоторого отличается
от оптимального Rq>N
меньше чем на е (е>0 произвольно)- Вычисление оптимального риска /?фЛг
производится при помощи рекуррентных соотношений (8.10), (8.12), причем
N+ 1 раз приходится производить условную минимизацию (8.12). Первый раз
вычисляется условный минимум
R4N{UtNy'tN)= inf R(iN(Uby'fN).
M!^AVfiV
Как показано в приложении (теорема П.2.4), при произвольном €0 (= ¦- ^
для каждой точки со можно указать такую точку ¦со* (со), что
Рфд, (со* (со) I Uby'[N) - V ("> I UtNTN) < е".
Пусть Гш есть множество
Гв = {со': < (со') = ubN (со* (и))} ? UtN
a pfv (Г ? UbN | UtNyrtN) - мера, сосредоточенная на этом множестве.
Тогда, очевидно,
V ((c)* NI иьУ^:) = j VKI Uby<fN) p*v {dbV I и*ыУ*ы).
т. e. (ш* | иьУ^ы) есть условный риск R^n {cLtNy'tN), соответствующий
решающей мере \xbN. Итак, сконструирована решаю-
170
щая мера р?л, (Г | <UiNy<f>N), которая дает условный риск, отличающийся
от оптимального меньше чем на ---.
N + 1
В соответствии с (8.10) произведем условное усреднение этих рисков и на
следующем этапе будем искать условный минимум
inf RlN(v>\tfNy'tN-') =
Ш| tfN-lyVX-l
inf Я лМЧ U^y^ + of-^--). (8.16)
\N+lJ
Теорема П.2.4 гарантирует существование такой точки <о*((о), что
V (ю* ^ I и!ыу^х) - V • (8-17)
В качестве решающей меры (Г ? I&n-i I Ц*Ы~1У'1'А'~') возьмем меру,
сосредоточенную на множестве
Гш = {со' : ¦"#_, (со') = (со* (со))} ? {ф'^У^).
Тогда в соответствии с (8.16), (8.17) решающим мерам , Vhn будет
соответствовать условный риск, отличающийся от оптимального меньше, чем
на 2e/(N 1;.
Продолжая описанный процесс, используя теорему П.2.5, сконструируем
решающие меры Ра, Р/{, • • • P?w • Каждая из них соответствует
приблизительной (с точностью до e/(N+ 1)) минимизации оптимального
условного риска. Риск этого решения в итоге будет отличаться от
оптимального риска не больше, чем на е. Это доказывает существование
решения, сколь угодно близкого к оптимальности в случае скачкообразного
индекса.
При произвольном индексе ф(^) можно рассмотреть его скачкообразную
аппроксимацию ф№(0<ф(0> такую, что
R<pn - Затем, используя предыдущее рассуждение,
следует подобрать решение 6, для которого -#q>w<j=e.
В итоге RyN будет отличаться от Rq, не больше, чем на ej. Это доказывает
утверждение в случае произвольного индекса. .
Итак, доказательство существования решения, сколь
171
угодно близкого к оптимальности, сводится к использованию теоремьи П.2.5
(Приложение 2) на каждом этапе.
2. Построенные в предыдущем пункте решения, близкие к оптимальному,
имеют не обязательно рандомизированный характер. Рассмотрим теперь
рандомизированные решения. Для этого удобно ввести новое понятие - меру v
в пространстве (Q, Ub), помогающую производить рандомизацию. Поэтому
будем называть ее фундаментом рандомизации. В отличие от теории,
изложенной в предыдущем пункте, данное рассмотрение будем называть
вариантом II.
Комбинируя меру v (Л), заданную на <ЦЬ } Л, с мерой Р (Г 6 ^>\Ub) , можно
получить меру (обозначим ее также v) в измеримом пространстве (Q, <Ш )
согласно формуле
v (Г) = J Р (Г | Ub)v(d">iUb), Г?<(r).
Теория выигрывает в некоторых отношениях, если при ее изложении
