Вероятность: основные понятия, структура, методы. - Скороход A.B.

2) если №п (хи х2,...,хп) = { {у и ...,уп) : ((*ь ...,хп),
(Уи-. ■ ,Уп))£№п}, то

\оё2т (Жп (хи ..., *„) )< п (Я ({г|„} /{|п} )'+б),

3) 2 Р{?1 == хь . . ., |„=х„, т)1 = г/,, . . ., г]„ = г/„}>

{(х1,...,хп),

> 1-е,

4) для всех (*ь ...,хп) 6Х„

^2Р{?1=х,,..., |„=х„}>-п (Я ({|п})+б),

1<^гР{т11 =Уи • • •, Цп=Уп/11=хиЪп=хп} ^
> -Я(Я({Т1„}/{Е„}) +6), (уи ...,Уп) 6ГВ (хь ...,*„).

в) Теорема Шеннона для стационарного
эргодичес к о го источника сообщений и тако-
го же канала связи. Анализируя доказательство тео-
ремы Шеннона для простейшего случая для канала с шумом,
можем убедиться, что предложенное там доказательство осно-
вывается только на подсчете числа точек во множествах Хп,
Хп, УРп(х\,... ,хп)■ Поэтому, используя лемму 2, можем дока-
зать справедливость теоремы Шеннона в том случае, когда
источник сообщений стационарен и эргодичен с энтропией Я,
зргодическая пропускная способность канала, являющегося
стационарным и эргодическим, равна с и с>Н.

Глава 4

ФИЛЬТРАЦИЯ

При передаче сообщений с помощью радиоволн на эти со-
общения накладываются случайные шумы, вызванные атмос-
ферным электричеством, солнечными вспышками, производст-
венной деятельностью человека. Поэтому полученное сообще-
ние есть смесь переданного сигнала и шума. Один из спосо-
бов получения информации о посланном сигнале (в терминах
предыдущей главы — один из способов декодирования)—это
«отфильтрование» шума из полученного сообщения. Такая опе-
рация называется фильтрацией. Здесь мы рассмотрим методы
фильтрации, основанные на случайном характере сигналов и
шумов. Оказывается, точно так, как отфильтровывается шум,
можно отфильтровать от величин, характеризующих состояние
некоторой системы, возможные случайные воздействия и, рас-
сматривая такую систему как передачу «сигнала» из «прош-
лого» в «будущее», прогнозировать «будущее», если система
эволюционирует случайно. Поэтому мы будем также рассмат-
ривать и задачу прогноза как частный случай задачи фильт-
рации.

§ 1. Линейный прогноз и фильтрация
( для стационарных случайных процессов

1.1. Общий подход к построению линейной оценки случай-
ной величины. Пусть имеется п случайных величин \\,..-,\п
и случайная величина ц. Считаем, что величины |ь--.,|п мо-
гут наблюдаться в некотором эксперименте, величина же л не-
доступна для наблюдения. Как по значениям %\,...,%п оценить
значение т)? Здесь мы рассмотрим линейные оценки величины

т). Это означает, что для оценивания г) используются линейные

__ п

функции от £ь...,£п, т. е. функции вида г| = с+ 2 аА^. Будем

6=1

среди функций такого вида искать такую, которая дает наи-
лучшую оценку г]. Если М£ь2<оо, к = \, 2,. .., п, Мг)2<оо, то
естественно считать наилучшей оценку г), для которой
М|т|—т)|2 минимально. Не ограничивая общности, можно счи-
тать, что М£ь = 0, &= 1, 2,..., п. Так как

М | т) — л |2 = (Мг| - М^)2 + 0 (Л - Л) = (МЛ — с)2 + О (Л - л)2

и второе слагаемое от с не зависит, то с = Мт). Для нахождения
коэффициентов ак удобно сначала ортогонализовать последова-
тельность £ь ^2, ■ • •, 1п, полагая

Ъ\ = 1\> ?2=^2+а21^' • • -1

(1)

где коэффициенты аы, 1 выбираются из условия

М|||*=0, т. е. М|й|*= — аиМ\ 1*\г. В том случае, когда оказа-
лось £* = 0, аАг можно выбирать произвольно, но мы будем
считать, что аы = 0. Из соотношений (1) вытекает, что |й также
линейно выражаются через |* по формулам

Поэтому всякая линейная комбинация величин \ь представима
как линейная комбинация величин £*, и наоборот.

Итак, пусть г| = Мг| + 2а^й' Тогда

п п

М | л-Л |2 = м| л |2-2 2 <Мт1^ + 2 (^)'М (^)2, (3>

это выражение достигает минимума при

а; = МЛ|*/М(Г,)2 (4)

(при М(£*)2 = 0 и Мг]^* = 0, так что правая часть (3) от а*
не зависит, будем полагать а* = 0). Если а* выбраны по форму-
лам (4), то

М(Л —Л)^ = ° лля А = 1, 2, ...,«,

а значит, в силу (2) и

М(Л-Л)Е* = 0, Л = 1,2, ...,и, (5)

(5) можно рассматривать как систему уравнений для опреде-
ления коэффициентов аи.

Пусть имеется теперь семейство величин для ко-

торых М£Л = 0, М|^|2<оо, и величина ц. Опять величины
рассматриваются как наблюдаемые, величину л нужно
линейно оценить по наблюдениям Рассмотрим линейное
подпространство случайных величин Ь {£,*., Я.6Л}, которое яв-
ляется замыканием в смысле сходимости в среднем квадрати-
ческом множества линейных комбинаций

{2 а^Ч> *= 1. 2, ..., Ь*6Л, а*€/?|•