Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
апостериорный оператор
d??2 = dt (а0 + а1т) --\- dut --|-
dm dy2
+ -?-(- - • (11.72)
2 \ N dm2 dy| /
Одномерный процесс х = т - у2 теперь не является марковским, а есть лишь
компонента двумерного марковского про-
269
цесса (х, т). Требование 8.7.Б для х не выполняется, хотя другие
требования 8.7.А, В и являются выполняющимися. Оно вынуждает добавить к х
вторую координату т, после чего все требования будут выполняться.
В соответствии с (11.72) основные уравнения в данном случае имеют вид
_ dSt (X, т) = /_%_ , \ д2^ d*Sf , d2St ,
dt 2 \ N ) дх2 N дх dm 2N dm2
+ (а0 + а1т + и0) + (а0 + d'-m) -- + х2 + К (11.73)
дх дт
В Е,,2.
3. Пусть теперь усложнение касается только работы сервомотора. Будем
считать, что при разных положениях регулируемого объекта (при разных у2)
условия его работы различны и максимальная скорость зависит от у2\
t
I ut - Ut-Д ! < j* u0 (y2 (T)) dx = "о (Уг (t)) A + о (A). (11.74)
t-д
В этом случае координата х достаточна для выполнения требований 8.7.А, Б,
но недостаточна для указания ограничений (11.74) на управление (8.7.В не
выполняется). Добавление координаты г/2 (или т) исправляет положение. Как
нетрудно видеть, основное уравнение при этой имеет вид
dSt (*, т) = ±_ Г + \ d2St $ &Sf k* FSt
dt 2 \ N ' ) dx2 N dx dm 2N dm2
+ [a + u0 (tn - x)] + a + x2 -f kt
ox dm
(11.75)
В Ej,2.
Каждому из приведенных уравнений (11.71), (11.73),
(11.75) соответствуют одни и те же условия (11.61), (11.63) и условие
(11.64) на общей границе областей Hi и Н2.
Легко записать также комбинированное уравнение, соответствующее
одновременному учету описанных выше усложняющих факторов.
4. Рассмотрим особо одну важную причину увеличения числа достаточных
координат. Для применения излагаемых методов, связанных с условными
марковскими процессами, принципиальным является марковский характер
процессов. С практической точки зрения это условие является не очень
ограничительным, поскольку реальный немарковский про-
270
цесс с любой требуемой точностью можно представить как компоненту
многомерного марковского процесса.
В этом смысле, если не обращать внимания на связанные с такой заменой
погрешности, немарковский характер процессов не является препятствием для
применения теории. Чтобы увеличить точность аппроксимации, вообще говоря^
следует увеличить число компонент многомерного марковского процесса.
Поэтому более точный учет немарковского характера процесса связан с
увеличением числа достаточных координат.
Возможность замены (с любой точностью) немарковского процесса марковским
в большой степени расширяет область применимости теории. Конечно,
увеличение числа достаточных координат затрудняет проведение расчетов и
получение конкретных результатов. Поскольку повышение точности
аппроксимации связано с усложнением расчетов, то при решении конкретных
практических задач в выборе точности аппроксимации следует стремиться к
разумному компромиссу.
Покажем увеличение числа достаточных координат при учете немарковского
характера процесса на примере задачи,, разобранной в § 11.3. Пусть
процесс | (t), за которым проводится слежение, не является марковским:
вероятности его будущих значений зависят не только от ?(t), но, скажем,
еще от производной р (t) = - -. Если зависимость от более
dt
высоких производных можно не учитывать, то двумерный процесс (g, р) будет
марковским. Пусть ему соответствует инфинитезимальный оператор
dL 1 ,2П ^ , <5 . - ,
= -¦ k2D - --------Кп----\- (а -Ь р) -••
dt 2 dp2 dp dg
Последний выбран с таким расчетом, чтобы при Х-+оо получался процесс ?
(/), рассмотренный ранее в § 11.3.
Как и раньше, считаем, что наблюдается процесс (11.47) и г/2- Совместный
процесс g, р, у\, у2 имеет оператор
dLpr = dt \ ¦ ^р - j- (а + р)----------------------+ ? ---------------\-
- %2D -f-
L 5р dg дуг 2 drf
+ ±N-92
2 ду\
+ dUt^ + JLdt *
ду* 2 ду
Пользуясь формулами (9.33), (9.34), можно-записать уравнения
т -= а + + _L kl% (гр - ту,
Шц - ктц + - Ьц (уг - т)
271
для апостериорных математических ожиданий т=Mpsi, mT,=MpsT], уравнения
для апостериорных дисперсий
N
гг
- 7'цг] Хк^ц (11 -76)
^riri = ^2-D 2Х.&Г1Г1
а также выражение для вторичного апостериорного инфини-тезимального
оператора:
d% ^ dt^-Xm^^ + (а + тц) ~ + т -j-- +
, 1 А2 ^ I 1 Ь2 52 J ^ 52 Л 1 Ь Ь 62 I
2N 11 дт2 2JV ^ Лп2 2 ду\ N 11 64 дтдтц
dm dyi дтп дух
д х ,, <Э2
+ % -- "Г Г- + dlit -1- dt-y- (11.77)
дуг 2 ду
2
Как показывает проверка, достаточными координатами теперь являются
переменные х = т - у2, тл. Принимая во внимание (11.77), получаем
основное уравнение
dSt (х, т ) dSt . , . _ ч dS
__________2____ - > т_?___L (п _L i t/Л :
- = - 'КШц -5--------------------\- (Cl -f- т-п -|- Uq) --
dt дтц дх
. _L{А + _l_Lккк% d*s* I i h,
2 \ N J dx* 2N 1,1 dm\ N 11 дх дтц й
(11.78)
в Hi,2. Таким образом, проведенный учет немарковского характера процесса
| (t) вызвал появление добавочной координаты Шг\.
5. Аналогичным образом может быть учтен немарковский характер движения
