Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
R<p- (UWe'k) = inf [>(co)P(rfto|^+W^)-(o\Utkyq>'k
R < R6 {UVk), k ~0, I, , N.
где
g (со) =1^ф (Utk+lV^) = R<r (и'к+1Уч).
Поскольку
ini ?((r))<g(to) (см. теорему П.2.2), то, очевидно,
166
M[ inf g (to)! Utk+iy't'k\ < M [? ((c)) | и'к+1У*'ь]. (8.13)
ш| tfkyVk
Выражение в левой части совпадает с М [ inf g (со) | Ut>#J<p'k]
ш| iifkyVk
вследствие '2/М/'(р''-измеримости функции inf g(со).
ш| ФФк
Взяв условную нижнюю грань по со)<Ц!кУч>к от (8.13), получаем
inf М[ inf д(а>)\ФФк]< inf М [g(со)|<Htk+x,y'f'k 1 • щфу^'к Ш| фу^к Ш
| ФФк
Повторная минимизация в левой части излишня, поскольку подлежащая
минимизации функция уже <Ц}ыуц' ''-измерима. Итак,
М[ inf inf М[? {а)\и*к+]Ф'Ч,
ш1 ФФк и\ФФк
т. е.
К(ФФк)<Н>- (ФФь).
Дальнейшие рекуррентные преобразования для обоих индексов совпадают
вследствие совпадения <р(?) и ф'(?) при t<tk. Поэтому выведенное
неравенство сохраняется при всех ti<th, включая t0 -а. Доказательство
закончено.
Комбинируя теоремы 8.1 и 8.2, легко получить, что оптимальный риск для
ступенчатого индекса ср(^) не превосходит риска любого решения,
соответствующего непревосходящему ступенчатому индексу ф'(t) <ф(^).
3. Перейдем к рассмотрению рисков для непрерывного индекса. Чтобы
определить их, будем рассматривать последовательность ступенчатых
индексов { ФЛГ(0 }, всюду сходящихся к ф(^) при N-+co. Для ступенчатого
индекса можно использовать данные выше определения. Если существует
предел соответствующих рисков при Л/-э-со, то его примем за определение
риска в случае непрерывного индекса.
Определение 8.2. Пусть некоторая последовательность ступенчатых индексов
{срЛ (0) сходится к ф(t) снизу и пусть каждому N соответствует решение б-
^, причем 6-^->-6 при N-+oo, т. е. ¦ |фь)~* . \J?S) при N-+-оо, tu-
^s,
tr-^t.Тогда, если \imRbN (cl?ky^N =Rb (сЦ*У^й))г торе-
шение б называется регулярным.
В этом определении подразумевается существование хотя бы одной
специальной последовательности допредельных индексов ф^ и решений 6^.
167
Определим также оптимальные риски для непрерывного индекса. Пусть SN =
{тьTjv} множество точек из Т. Располагая эти точки в порядке
неубывания (ti=Kk. , при
i<j), получаем некоторое разбиение интервала Т. Для этого разбиения
образуем аппроксимацию ф(Д/у) индекса (р. Именно, положим
Ф (t, SN) = ф (tt) при < f < ti+ и
Очевидно, что при таком определении ф (t, Sn) < ф (t), а также
Ф (t, S') < ф (t, S"), если S' С S".
Определение 8.3. Пусть Rq>(sN) - оптимальный риск аппроксимации ф (Sn)-
Оптимальный риск непрерывного индекса Ф (/) определяем как нижнюю грань
Rep = inf R(f>{sv) (8.14)
AT,SN
no всевозможным конечным разбиениям интервала Т.
Теорема 8.3. Существует такая последовательность S (назовем ее
последовательностью определения риска), что
Ry = ПтЯф^д,), (8.15)
N->oq
где SN - множество из N первых элементов последовательности S.
Докажем теорему в том наиболее интересном случае, когда нижняя грань
(8.14) конечна. Согласно (8.14) при любом ei >0 существует множество S1,
такое'' что
/?q>(S') - Rq> < Ех.
Взяв далее е2=ei/2, аналогично аргументируем существование такого
множества S2, что R^s^-/?ф<ег. Подобные множества можно указать и для ез
-ei/4 и т. д. Если образовать последовательность S=(S1, S2,...), то в
соответствии с теоремой 8.2 будем иметь
(Sfe) ^ (^ ^ч>)-
Следовательно, из сходимости R4iSk) -" Rq> вытекает сходимость Дф(5, sk)
* R(p при й-"оо. Доказательство закончено.
В соответствии с теоремой 8.2 последовательность определения риска S
останется такой же, если в любом месте к ней присоединить любые точки из
Т.
Наряду с риском (8.15) можно определить условные оптимальные риски
ЯФ (WV* w) = lim (RviS.r) (U'V^'Sn)),
N-*oo,
где аппроксимация ф(/, SN) та же, что и в теореме 8.3.
168
Предел всегда существует вследствие монотонной зависимости риска в правой
части от N (теорема 8.2).
Обычно последовательностью определения риска является всякое множество,
включающее точки скачков индекса и всюду плотное на участках непрерывного
возрастания (см. §8.4).
4. Продолжим сравнение рисков для различных индексов, начатое в п. 2.
Теорема 8.4. Оптимальный риск Rtf для любого индекса ф(/) не больше риска
любого решения (оптимального или неоптимального), соответствующего
непревосходящему ступенчатому индексу ф'(/)<Сф(0-
Эта теорема является следствием теорем 8.1 и 8.2, а также определения 8.3
(если индекс ф(/) не ступенчатый).
В следующей теореме в число сравниваемых индексов включаются также
неступенчатые индексы ф'(0 (•Сф(О)-Теорема 8.5. Оптимальный риск Rtp для
индекса ф(t) не превосходит любого другого риска регулярного решения,
соответствующего любому не большему индексу ф'(/)^ф(0-Эта теорема
включает в себя как частные случаи теоремы 8.1, 8.2, 8.4. Новое
утверждение относится к тому случаю, когда индекс ф'(0 не является
ступенчатым.
Пусть Rtf -оптимальный риск для индекса ф'(0- Используя определение 8.3 и
теорему 8.3, возьмем множество S' определения риска Rtf. Очевидно, что
