Вероятность: основные понятия, структура, методы. - Скороход A.B.

Пусть Ü (х) — также субгармоническая функция, U (x)<.F (х).
Если t —момент остановки, т<А/, то О (|т)<^ЧЕт)|

М (с/(|т) 110 = х)<М(F(gt) | g0= jc).

Заметим, _ что M(t7 (|„+1)| |„,..., ?„) = М(Г/ (|и+,)| £„) =
= Р£/(£„)>£/(|я). Поэтому {£/(&„), л = 0, 1,..., TVJ-субмар-
тингал, значит,

M(£/(|T)|g0==x) >£/(*),

tf(x)<M(F(St)|So = *)-
Выбирая т так, чтобы M(F (lx)\z0=-=x)<U (х)-\-г, получаем
Ü(x)<U(x). □

Пример. Несимметричное случайное блуждание. Рас-
смотрим случайное блуждание по целым точкам с шагами ±1,
если %п — величина шага в момент п, то

Уравнение (17) принимает вид

U (x)=^F(x)/\(pU (х+ \)+qU (х- 1).

Рассмотрим множество тех х, где U (x)<CF (х). Если это нера-
венство выполняется при а<Сх<СЬ (а, b, х — целые числа), тог-
да для таких х

U(x) = pU(x+ \) + qU{x-\).

Если U (a) = F (а), U(b) = F(b) (т. е. (а, 6) —максимальный
интервал, его нельзя расширить), то

4 ' rb_ra ГЬ_га 4 '

р

(здесь записано решение разностного уравнения с краевыми
условиями). Функцию U(х) можно находить с помощью пре-
дельного перехода

U(x)*= Hm UN{x),

где UN — цена остановки для случайного блуждания на
[—N, N] с остановкой на концах интервала. Для тех интерва-
лов, для которых UN(x) <.F(x), также справедливо представле-
ние (18). Поэтому UN(x) можно найти так. Вычислим функцию
Ъ\(х) по формуле (18) при a = —N, b = N. Пусть с\ — первая
точка при движении от —N, к N, для которой D\ (с{) ~>F(c\).

Определяем функцию U2(x) по формуле (18) для xG[—N,Ci],
считая а = —N, Ь = си и затем для x£[ci,N], считая а = сь Ь =
= N. Пусть теперь с2>сх — первая точка, где U2(c2) >F(c2).
Вычисляем иг(х) по формуле (18) на интервалах (—N,Ci),
(сис2), (c2,N). Продолжая эту процедуру, найдем UN(x).

§ 3. Управляемые марковские процессы
с непрерывным временем

Определение управляемого процесса с непрерывным време-
нем связано с определенными трудностями, вызванными тем,
что не существует «предшествующего» момента для момента t.
Поэтому управляемые процессы с непрерывным временем нель-
зя задавать с помощью конечномерных распределений, как в
случае обычных процессов. Более естественно здесь использо-
вать задание процесса инфинитезимальными характеристиками,
предполагая, что сами эти характеристики зависят от управле-
ния. Здесь возникает вторая трудность: естественно рассматри-
вать управление, зависящее от процесса, но сам процесс не
задан, пока не задано управление. Имеется, таким образом,
замкнутый круг. Чтобы избежать его, мы будем рассматривать
ступенчатые управления. Тогда управляемый процесс с таким
управлением может быть определен. Мы рассмотрим лишь
скачкообразные и диффузионные марковские процессы.

3.1. Скачкообразные процессы. Скачкообразный марковский
процесс в фазовом пространстве (Х,<М) задается парой функ-
ций X{t,x) и я(/, х, В), i£R+, х£Х, B£2ß, где для почти всех t

К (t, jc)-=llm \ P(t, x,t + h, Х\{х}),

n(t, х, L-Hm jP(t,x, t + h,B\{x}),

P (t, x, s, В) —вероятность перехода для процесса.

Предполагается, что X(t,x) и n(t,x,B) измеримы относи-
тельно Шкл. ®2ß, я — вероятностная мера по В на <%.

Управляемый скачкообразный процесс задается функциями
%(t, х, и) и n(t,x,u,B), где иви, (U, С)—измеримое простран-
ство— фазовое пространство управлений. Предполагаем, что
при любом фиксированном u&U эти функции определяют скач-
кообразный марковский процесс. Кроме того, предполагаем,

ЧТО ЭТИ фуНКЦИИ ИЗМериМЫ ОТНОСИТеЛЬНО <%R+<8>&®ff, %(t,x,u)

ограничена.

а) Ступенчатые управления. Пусть управляе-
мый процесс рассматривается на [О, Т]. Обозначим через
Дх[0, 7"] и D(j[0, 7"] пространства непрерывных справа ступенча-
тых1функний, определенных на [0, 7] и принимающих значения
из X и U соответственно (X я U рассматриваются как прост-

ранства с дискретной топологией). Всякая функция х{1) из
Дх{0, 7] определяется своими точками разрыва 0</1<...<
«С^г^Т" и значениями а'(0), х(^), х^г). (Аналогичное ут-
верждение справедливо и для Т>и[0, Т\). Пусть О.г[0, Т] есть
подмножество Э.[0, Т], состоящее из функций, имеющих г раз-
рывов. Множество /гсОх[0, Т] будем называть измеримым, если
измерим относительно $к±г®3!г+1 образ множества Р(]Вхт[0, Т]
при отображении х( ■ )-> (^,..., л;(0), х(А),..., х(Ъ)), точ-
ки — все точки разрыва х(0-

Отображение 5 : Ох[0, Т]-*Ои[0, 71, измеримое относительно
указанных выше классов измеримых множеств (в Т>и[0, Т] они
вводятся аналогично), называется управлением (или стратеги-
ей), если каково бы ни было ^б[0, Т] из соотношения £1(5) =
= х2(з), Б<а вытекает Б(х1 (■), 0 =5(х2( •), О, где 5(^1 (•),/) —
результат действия отображения 5 на х(-) как функция / (эта
функция принадлежит Т>и[0,Т]). Покажем, как по управлению
указанного вида и инфинитезимальным характеристикам по-
строить пару случайных процессов (1(0, ч(0)> I (') е^х[0, Т],