Условные марковские процессы и их применение к теории оптимального управления - Стратонович Р.Л.
Скачать (прямая ссылка):
оператор которых можно назвать вторичным апостериорным оператором. Его
получение также является важной задачей теории.
Функцией, зависящей от достаточных координат, т. е., помимо прочих
переменных, от апостериорных вероятностей или заменяющих параметров, в
теории оптимального управления является условный риск. Оптимальное
управление сопровождается минимизацией этого риска. Отыскание оптимальных
решений и оптимальных условных рисков происходит одновременно. Более
того, нахождение условных рисков помогает отыскать оптимальное решение, и
отсюда видна большая роль, которую играют условные риски в теории
оптимального управления.
Зная вторичный апостериорный оператор, мы легко можем записать уравнение
для урезанных условных рисков - основное уравнение теории. Установление
этого уравнения и его решение - в этом заключается стандартный путь,
рекомендуемый теорией оптимального управления.
При обобщении теории на случай непрерывного времени удобно использовать
понятие оптимальных условных рисков (определенных при помощи условных
минимизаций и усреднений функции штрафов) как более первичное, чем даже
понятие оптимального решения. Переходу к непрерывному времени помогает
введение ступенчатого индекса. Случай непрерывного времени и ступенчатого
индекса (когда время меняется непрерывно, а информация приходит в
дискретные моменты) занимает промежуточное положение между случаем
дискретного времени и случаем непрерывного времени и непрерывного индекса
(непрерывного притока информации). В последнем (вдвойне непрерывном)
случае трудно продуктивным образом определить оптимальные решения, но не
представляет труда дать определение "оптимальных" условных рисков. После
того как это определение дано, берется ступенчатая аппроксимация
непрерывного индекса и для нее строятся оптимальные решения. Риски этих
решений могут быть сделаны сколь угодно близкими к "оптимальным" рискам,
соответствующим непрерывному индексу. В этом смысле данные решения
являются е-оптимальными для непрерывного индекса. Описанным путем
обходятся чисто логические трудности обобщения теории на случай
непрерывного времени, и строится работоспособная теория.
Излагаемая в книге формулировка теории оптимального управления возникла
путем обобщения в процессе работы автора над различными конкретными
задачами. Возможность распространения применяемых методов на новые
задачи, привела к абстрактной форме теории. Адекватным языком
7
для такой степени общности является язык измеримых функций и теории меры.
Поэтому мы выбрали здесь изложение на этом языке, хотя с педагогической
точки зрения этот способ изложения можно считать наименее целесообразным.
Мы предполагаем, что читатель будет осваивать основной материал,
параллельно знакомясь с конкретными задачами и примерами,- чтобы понять,
что скрывается за абстрактными формулировками. При этом от читателя
требуется встречная личная активность. Полезно помнить, что при чтении
книги листать ее страницы справа налево требуется так же часто, как и в
обратном направлении.
Поскольку теоретическая значимость различных мест книги обратно
пропорциональна их доступности, мы не делаем попыток выделять часть
материала в петит, предоставляя различным категориям читателей выбрать
свой собственный способ чтения. Читатель, владеющий языком теории меры и
имеющий опыт работы в близких областях, может сразу начинать с
абстрактных формулировок. Менее подготовленный читатель должен больше
внимания уделить примерам, которых немало в книге. Лица, интересующиеся
приложениями, могут переносить методы решения с излагаемых задач на свои
собственные, минуя абстрактные формулировки и тем более доказательства.
Широкий круг читателей, специалистов по приложениям, может, кроме того,
использовать книгу для повышения уровня своей математической подготовки.
Наконец, лицам, занимающимся самостоятельной работой, книга может
принести болыйую пользу в качестве справочника, содержащего те или иные
формулы и результаты, отсутствующие в книжной литературе.
Читатель без труда заметит, что указание источников и список литературы в
книге весьма неполны. В оправдание автор может сказать, что он не
проводил сколько-нибудь подробного библиографического анализа и считает
исторический обзор данных вопросов преждевременным.
В заключение автор хотел бы поблагодарить Ю. Л. Кли-монтовича, М. С.
Пинскера, В. И. Тихонова, С. В. Фомина, Э. М. Хазен и Р. 3. Хасьминского,
которые познакомились с книгой в рукописи и сделали ряд полезных
замечаний.
ЧастьI
НЕКОТОРЫЕ ВСПОМОГАТЕЛЬНЫЕ ВОПРОСЫ ТЕОРИИ МАРКОВСКИХ ПРОЦЕССОВ
Глава 1
СХОДИМОСТЬ НЕМАРКОВСКОГО ПРОЦЕССА К МАРКОВСКОМУ
§ 1.1. ПОСТАНОВКА ВОПРОСА
Аппарат марковских процессов является весьма эффективным главным образом
по той причине, что он связан с аппаратом дифференциальных уравнений,
которым удовлетворяют вероятности марковских процессов в случае
непрерывного времени. В дискретном времени этим уравнениям соответствуют
