Вероятность: основные понятия, структура, методы. - Скороход A.B.

в) Информация в одной непрерывно рас-
пределенной величине относительно другой.
Пусть I принимает значения в конечномерном евклидовом про-
странстве X, г) — в конечномерном евклидовом пространстве У.
Предположим, что пара величин г\) имеет плотность рас-
пределения в Хх У : /|, ц(х, у). Тогда каждая из величин £ и г|
имеет плотности распределения {^(х) и /,,(«/). Число

Щ,Ц) = ^[/^(х, y)\og2fhri(x, у)-

- fl (х) Л (У) log2 {f i (x) /„ (у))} dxdy (21)

называется количеством информации в величине г) относитель-
но величины |.

16. Пусть Fi — множество случайных величин, принимаю-
щих конечное число значений и являющихся функциями £,
аналогично определяется Fn. Тогда

1(1, r|)= sup I(lu4i)- (22)

Используя 14, можно установить, что 7(gi, r|i) ^/(£, л). То, что
supremum достигается на /(£, л), вытекает из формулы (16).

§ 2. Передача информации

Рассмотрим математическую модель передачи информации.
Информация, которая подлежит передаче, представляет собой
случайный процесс с дискретным временем и конечным фазо-
вым пространством. Он называется источником информации.
Значения этого процесса можно рассматривать как единичные
сообщения, подлежащие передаче. Например, при передаче
телеграмм в качестве таких сообщений можно рассматривать
отдельные буквы, слова, фразы, целые тексты. Источник ин-
формации количественно характеризуется количеством инфор-
мации, вырабатываемым в единицу времени. Чтобы это поня-
тие имело смысл, будем предполагать, что процесс, представ-
ляющий информацию, является стационарным. Количеством
информации, вырабатываемым источником информации, назы-
вается энтропия этого стационарного процесса (напомним, что
она рассчитывается на единицу времени).

Вырабатываемая информация должна быть передана по ка-
налу связи. Рассмотрим его математическую модель.

2.1. Канал связи. Канал связи С определяется, во-первых,
двумя конечными множествами — множеством входных симво-
лов X и множеством выходных У. Каждую последовательность
входных символов (хи х2,...,хп) канал переводит в некоторую
последовательность выходных символов (у\,...,уп), т. е. для
каждого п задана функция сря, переводящая Xй в Yn. Функции
фп при разных п согласованы между собой следующим образом.
Пусть операторы Рх и Py действуют в (J Xй и (J Yn по фор-

мулам РХ(Х\, ■. .,хп-и хп) = (х\,.. . ,*n-i), PY(yi, ■ ■ -,Уп-и Уп) =
= (Уи- ■ ■ ,Уп-\)- Тогда

PY(pn(xu---,xn)=qn-i(Px(xi,...,xn)), (23)

другими словами, если ц>п (хи ..., хп) = (уи ..., уп), то
Ф„_1 (х\,... ,хп-\) — (у\, ■ • • ,уп-\), т. е. символы передаются ка-
налом связи последовательно.

Таким образом канал связи определяется множествами X, У
и набором функций {ф„, п=1, 2, . . .}. При этом описании пред-
полагалось, что функции ф„ неслучайны. Такой канал называет-
ся детерминированным. Канал называется каналом с конечной
памятью, если при некотором т для п>т функции

фп (Хи . . . ,Хп) = (фп (Х\), ф2і(*і, Х2), . . • ,фпп(*1, Х2,...,Хп)) ТЭКО-

вы, что ф„„ зависит лишь от хп, хп-и ■ ■ ■, хп-т+і. Он называется
стационарным, если существует не зависящая от п функция
g{x\,...,хп) на Хт в У такая, что если при п>т ц>(х\,... ,х„) =

= (Уи •• • • , Уп), ТО уп = Я(Хп-т+1, ■ ■ ■ ,Хп). Вообще, В ОПрЄДЄЛЄНИИ

канала связи на функции фп накладывается лишь условие (23),
которое не исключает возможности для функций ф„ быть
случайными. Если ц>п случайны, то говорят, что определяемый
этими функциями канал есть канал связи с шумом.

а) Канал связи с шумом. В том случае, когда последо-
вательность (Хі, х2, ...) переводится функциями Фя в случайную
последовательность (%, г|2, ...) со значениями в К, эту случайную
последовательность удобно задавать ее конечномерными распре-
делениями. Условие (23) лревращается в условие «неупреждае-
мости»: совместное распределение величин ти, ...,г|„ зависит

только от Х\, хп, Пусть х — точка из Xе0. Канал с шумом

определяется семейством распределений в К°° р (С | х) таких, что

для всех п \х(Сп\х) для С„ вида {у.У\ = Ьі1, ...,«/„ = Ьік&У
зависит только от хх, ...,хп. Будем обозначать вероятности,
вычисленные по мере р (С | х) через Р->.

Простейший канал связи — это канал без памяти, для которого

п

Р—(Пі^і. • ■ ■> Лп = *в} = П Р > {л*=М.

х 4 = 1

а P^{r\/г = bk} = g!г(bk, хк)- Канале конечной памятью, если для
некоторого т при пут

Р ^ {г1п= Ьп | т|„_і = Ьп_\, . . ., т|„_т = Ьп_т} =

^епіРпі Ьп-\і • • ^п—тл Хп, Хп_\, . . ., -£„_т). (24)

Заметим, что канал без памяти есть канал с конечной памятью
при т = 0. Канал с конечной памятью называется стационар-
ным, если функция gn в (24) при т<.п не зависит от п. Рас-
смотрим распределение выходных символов, если на вход по-
дается случайная последовательность. Обозначим ее через
{£п}, \п принимают значения из X. Канал с шумом можно оп-
ределить последовательностью условных распределений