Вероятность: основные понятия, структура, методы. - Скороход A.B.

Стратегия Б = {дп} называется оптимальной на [0, А/1,
если для всякой другой стратегии 5' =

М^ту^о, т|0, ..., ^дг, гьуХМя'-Рл^о, Ло. • • •> 1^. V).

Стратегия 5е называется е-оптимальной, если для всякой
другой стратегии 5'

М^лг^о, Т10, ..., %ы, г)лг)<М5^лг(^0, %м, Ллл) + е.

Для нахождения оптимальных и е-оптимальных стратегий нужно
знать величину

которая называется ценой управления. Основная задача тео-
рии управляемых процессов — отыскание для всякого е>0
е-оптимальных управлений.

1.2. Оптимальные и е-оптимальные управления. Рассмот-
рим простейший случай, когда N=1 и не зависит от иг.
Покажем, как можно найти цену управления. Стратегия 5
задается распределением д0(с1и0\хо)

М^, (|0, л0, £1)= Р\(х0, Щ, -«1) Ро№х0) <70 (йи01 х0) р^йх, | х0, и0) =

= $ p0(dx0) J q0(da01x0)[J Fi (x0, u0, xx)px (dxx | x0, u0)].

Положим j" Fx (x0, и0, jci) Pi (dxx ( jc0, uü) = Fx (хй, uQ). Эта функция
не зависит от выбора стратегии,

J <70 (du0 J *0) Fj (jc0, и0) > inf F, (j:0, u0)

и можно при весьма широких предположениях о характере функ-
ции Fi (л;0, и0) выбрать так стратегию, чтобы

j [ j <7о (<*«о I -«о) ^i (-«о. ио) — Inf F, (jc0, и,)] /?о (d *„)
было сколь-угодно мало. Значит,

F\ = j ?о (dJC0) inf j F, (jr0, и0, л:,) л (dxx | x0, «0).

Заметим, что если Fi зависит от их, то цена управления для
такой функции будет такая же, как и для функции infFi(jc0, и0,

Х\, их), поскольку управление их можно выбрать так, чтобы
значение Fx(x0, и0, хх, их) было сколь-угодно близко к
inf Fi (х0, и0, хх, их). Таким образом, в этом случае

Fi = ) q0 (dx0) inf px (dxx | x0, u0) inf F, (x0, u0, xx, ux).

Введем последовательность функций

F.y(x0, u0, ..., xN_i, Un-1, JCyv) = infFm(x0, u0, ..., Xjv, um),

uN

F/v-](xq, щ, . . ., JCyv-l, MjV-l) =
— J" Fn (XQ, u0, . . . , JC.V—i, WjV-l, JCyv) Рлг (d-tjV j x0, . . . , WjV-l),

\^ Fn(Xq, Ug, ..., JC/t_i9 Un-u xn)='miFn(x0, uq, •.

Fn_i (jc0, ..., m„_i)=

= j* Fn («tQ, Ид, • • •, wn_i, | х0, ..., w4_i), (2)

для n<iN. Предполагаем, что все эти функции определены.
Тогда естественно ожидать, что цена управления будет

FN = § F0(x0) p0(dx0). (3)

Чтобы это было так, нужно, чтобы на каждом шаге в цепочке
равенств (2) получалась измеримая функция и чтобы

214

inf j Fn (х0, щ, ..., xn, un) qn (dtln I x0, ..., xn, Ug, ..., un) —

== inf Fn (x0, u0, ..., xn, un). (4)

Заметим, что в том случае, когда для всех n<CN существует
minFn(х0, щ, .. ., хп, ип) и такая измеримая функция gn (х0,

й0, ..., хп) со значениями в U, что

min Fn (х0, и0, хп, ип) =

= Fп (xQ, Uq, ..., хп, tyn (Xq, щ, ..., хп)), (5)

то последовательность функций un=gn (xq, Щ, . .. , хп) опре-
деляет нерандомизированное оптимальное управление. Ниже
приводятся две теоремы об оптимальных и б-оптимальных
управлениях.

а) Существование и вид оптимальных управ-
лений. Будем предполагать, что X и U — полные метриче-
ские сепарабельные пространства, через Cz, где Z — топологи-
ческое пространство, обозначаем пространство вещественных
ограниченных непрерывных функций на Z с нормой II/II =
= sup |f(z)|. Будем говорить, что управляемый процесс, опре-

z

деляемый набором {р?т(-|-)}> удовлетворяет условию слабой
непрерывности (у. с. н.), если для всех п и f (х)£Сх

j / (■*) Рп {dz | х0, й0, ..., хп_и ип_х)£0.хпхип. (6)

Напомним, что вещественная функция f(z), заданная на топо-
логическом пространстве Z, называется непрерывной снизу,
если для всех z0&Z

Ilm/(*)>/(*„).

z^z„

Ниже приводятся некоторые свойства непрерывных снизу
функций.

I. U — компакт, / (и) — непрерывна снизу, тогда /(«) огра-
ничена снизу и существует min / (и).

и

II. Пусть f (z, и) непрерывна снизу на ZXU, Z — топологи-
ческое пространство, U — компакт.

Положим g (z) = min / (z, и) (по I это всюду определенная

и

функция). Тогда g(z) непрерывна снизу.

III. Пусть Z —полное сепарабельное метрическое пространство,
U — компакт, f (z, и) — непрерывна снизу, g(2:)=min/(z, и),

и

Существует борелевская функция <p(z) из Z в U такая, что
g(z) =f(z, q>(z)) (это утверждение — один из вариантов теоре-
мы об измеримом выборе).

Поясним это утверждение для случая, когда U — отрезок
[а, Ь] прямой. Тогда множество Az = {« : f (z, и) =g(z)} замкнуто,
AzG[a,b] и в качестве ф(г) можно взять iniAz.

IV. Всякая непрерывная снизу и ограниченная снизу функ-
ция g(z), определенная на полном сепарабельном метрическом
пространстве, есть предел возрастающей последовательности
непрерывных функций.