Курс теории случайных процессов - Вентцель А.Д.
Скачать (прямая ссылка):
у
D — подмножество Х\ т — первый момент выхода из D: т = min{n: ln<?D}.
Задача 1. Пусть ф(х)— числовая функция на X\D; положим «(*) = Мхф(Ет) (предполагается, что математическое ожидание существует; для тех элементарных событий, для которых т = оо, т. е. не
выходит из D, вместо ф(|т) берем 0). Докажите, что
функция и удовлетворяет уравнению
(Р — Е)и(х) = 0, x<=D, (1)
и «граничным условиям»
и (х) = ф (х), (2)
Если X, например, — решетка на плоскости, причем переходы в цепи возможны только в ближайшие соседние точки, то функция и(х) в D действительно зависит от значений <р(х) в точках «границы» D, если в нее включать точки, не принадлежащие D, но соседние с какими-либо точками D (рис. 31).
Уравнению (1) удовлетворяет, в частности, вероятность того, что в момент выхода из D цепь попадает в определенное множество Г е X\D: ведь функция
и (х) = Рх t= Г} представляется в виде Мдг(?т).
В случае, когда множество D состоит из конечного числа элементов х\, ..., хп, задача (1) — (2) сводится к системе п уравнений (1) с п неизвестными и(х\), ...
¦ ¦¦, и(хп):
П
И (Xi) — Z Р ( 1, Xt, Xj) и (Xj) =
/=1
= Z p(l, Xi, x)q>(x), i=l, • • •, п. (3)
х е X \ D
Решение задачи (1) — (2) (или системы (3)) существует для любой ограниченной функции ср, но может быть не единственно. Это будет в случае, когда может навсегда остаться в множестве D.
Задача 2. Докажите, что функция и (х) = Рх {т = оо} удовлетворяет уравнению (1) в D и дополнительному условию и (х) =0 при х е X\D.
\
„ граница."В Рис. 31
11*
323
В случае бесконечного D решение может быть не единственно и в случае Р*{т = оо} = 0. Пример: симметричное случайное блуждание по целочисленным точкам прямой (р(1, i, i -j- 1) = р(1, i, i—l)=l/2, остальные p(l,i,j)—нули); D~{ 1,2, ...}; u{i) = i при
i > 0, u(i) = 0 при i ^ 0. Здесь (P — E)u(i) = 0 при
i e D\ граничное условие — нулевое.
Задача 3. Пусть функция ср неотрицательна. Докажите, что и0 (х) = Мхф (|т) — наименьшее неотрицательное решение задачи (1) — (2).
т-1
2. Теперь рассмотрим функцию y(*) = Mjc? &(?г)-
г=о
Задача 4. Докажите, что функция v — решение задачи
(Р — Е) v (х) = — g (х), x^D; (4)
v (х) = 0, х е X \ D (5)
Частный случай g = 1 дает нам уравнение для математического ожидания времени выхода т(х) = = Мдлг: (Р — Е)т(х) — — 1, хеО (если М^т < оо).
Задача 5. Если D конечно и Р*{т<°°} = 1 для всех х е D, то Мхх < оо. Докажите.
Задача 6. Найдите математическое ожидание времени выхода из D= {1, ..., п—1} для симметричного случайного блуждания на прямой.
Задача 7. Докажите, что т (х) = Ыхх — наименьшее неотрицательное решение уравнения (Р — E)v(x) =—1, х е D (среди решений со всевозможными неотрицательными значениями вне D).
Задача 8. Найдите математическое ожидание времени выхода из D = {1, 2, ... } для несимметричного одномерного случайного блуждания (р(1, ?, i + 1) =р, р(1, i, i—1) =q, р + q = 1).
3. Для первоначального ознакомления с вопросом о связи между марковскими процессами и уравнениями данных нами задач достаточно; следующая задача не обязательная.
Задача 9*. Выведите уравнение для функции
т -1 п--1
z (х) = Мх Yj 8 (In) Ц q (li).
n=0 i = 0
§ 13.2. Случай решений, допускающих гладкое продолжение
0. В случае непрерывного времени и непрерывного фазового пространства мы уже не можем брать множество D произвольным, а должны ограничиться каким-нибудь более или менее узким классом множеств.
324
Мы будем рассматривать замкнутые множества D, а затем еще далее сузим этот класс. Моментом (первого) выхода процесса из D будем называть т = = inf{i': *). В случае диффузионного процесса
min^: h <ф. D) не достигается: в момент т процесс находится еще в D, а именно на границе dD этого множества. Мы установили (§ 6.1, задача 4), что момент первого выхода из замкнутого множества будет марковским моментом относительно семейства ст-алгебр для любого
процесса g* с непрерывными справа траекториями.
Сделаем общий чертеж для всего этого па- Рис. 32
раграфа (рис. 32).
1. Мы уже понимаем, что стоит прежде всего заняться вопросом о конечности т.
Задача 1. Пусть (?(, Рх) — марковское семейство, и пусть существуют константы Т и б > 0 такие, что Рх {т < Т} > 6 для всех х е D. Тогда для всех х
-6)п, (1)
п = О, 1, 2, ..., и Мхт < Г/б.
Задача 2*. Пусть (?<, Р*) — феллеровское марковское семейство с непрерывными справа траекториями. Если D — компакт и Рх {т < °°} > 0 для всех х е D, то выполняются условия задачи 1, и Мхт конечно и ограничено.