Вероятность: основные понятия, структура, методы. - Скороход A.B.

Р^{г|і = Ьі},..., Р^{г\п = Ьп/ці = Ьі,... ,ї)п_і = Ьп-і}.

16—2550

241

Совместное распределение последовательностей {£„} и {т)„}
можно определить равенством

P{!i = JCi, . ..,|„ = jc„, r\l = bl,i.. .,r-t\n = bn} =

= P{ll = xl, ln=xn} P-ffr^biJX

n-\

xIIP-?{T|w = »/Jh|iil = J(|) *iA}. (25)

k=\

Канал с шумом называется стационарным, если какова бы ни
была стационарная последовательность {|п}, последователь-
ность {(£„; rin)} в .XX У также будет стационарной.

б) Пропускная способность канала. Рассмот-
рим сначала детерминированный канал. Количество сигналов
длины я, которые можно получить на выходе канала, совпа-
дает с числом /„ точек в множестве значений функции ф„, ес-
ли это множество обозначить Nn, то NnaYn, следовательно,
1п^1п, где I — число точек множества У. Значит, с помощью
канала можно передать 1п различных сообщений длины я, эти
сообщения — точки из пространства Хп, их множество должно
взаимно однозначно отображаться функцией ф„ на JVn. Про-
пускной способностью канала называется величина

с= lim -j-log-2/„.

если этот предел существует. Для стационарного канала этот
предел всегда существует. Пропускная способность есть сред-
нее число двоичных знаков, которые можно передать по кана-
лу в единицу времени.

Пусть имеется канал с шумом, определяемый набором

распределений ц(С/х). Пусть 2Р(Х)—множество всех Х-знач-
ных случайных последовательностей {£п, я^1}. Каждой такой
последовательности сопоставим последовательность {(£п; Цп)',
п^1} в ХХУ, распределения которой определяются формулой
(25) (здесь нас интересуют только распределения последова-
тельностей). Очевидно, распределения (|„; цп) зависят (при

•+

фиксированной функции \i(C/x)) только от распределения
последовательности {£п}. Положим

с ({У)= lim ~ /((£„..., U, Лш)). (26)

если указанный предел существует,

с= sup с ({?„}). (27)

Число с и есть пропускная способность канала с шумом. По
этому определению пропускная способность канала есть, грубо
говоря, максимальное количество информации, которое может

содержаться в сообщении на выходе канала о сообщении на
входе, рассчитанное на единицу времени.

Если канал связи стационарный и обладает конечной па-
мятью, то предел (26) существует для всякой стационарной по-
следовательности {£п} и эиргетшп в (27) не изменится, если
его брать по подмножеству 93б{Х)с:£Р(Х) всех стационарных
последовательностей

Пример. Рассмотрим простейший канал, для которого
^=У={0,1}. Кроме того, это стационарный канал без памяти,
Ро{{0}}=р, Р0{{1}}=1-<7, Р,{{0}} = <7, Р,{{1» = 1-<7. Можно
убедиться, что в этом случае зиргетит в (27) достигается,
если {|„} независимы и одинаково распределены. Пусть
Р{Ь = 0}=5, Р{|в=1} = 1—е. Тогда

Р{Л*=0}=5/>-Н1-5)? = 1|)(з),

Р{ти=1}=1-4>(5),
/ (5) = I (I,, г!,) = Я Ы - Я (г,, | Ы = ф (5) 1оеа ^ +

+ (1 - ф (5)) Ьё2 - ЗН0 - (1 - 5) Я,,

где

Я0 = р 1о£2 1 + (1 - р) 10ё2 -р-^,

Я, = ^1оё2^ + (1-^)1оё2 —.

Так как 5 = -^--^—-, то
р—д

I (*) = ф (5) 1о& + (1 - ф (5)) 1о^ + Аф (5) + Д (28)

где

р—д ' " ?
Экстремальное значение правая часть (28) принимает при

1 1 2А

1о£2ф+1оё2Г^ + Л = 0, 4> = -щт

и, следовательно, пропускная способность канала будет
с = *°& (1 + 2"А) + 1оё2 (1 + 2А) +

+лт|^+5=т^1оё2((1+2-А)-2А)+

+ -~Х 1о§2 (1 + 2Д) 4- В = 1о?2 (2В + 2А+В) =

/ фЯ0-рЯ, (1_р)Я1-(1-9)Я0\

= 1о&(2 +2 ).

2.2. Кодирование и декодирование. Для того, чтобы поток
сообщений, вырабатываемый источником информации, мог
быть передан по каналу связи, нужно эти сообщения «закоди-
ровать» с помощью элементов пространства X, а затем, полу-
чив на выходе последовательность У-значных символов, вос-
становить переданную информацию с помощью «декодирова-
ния». Введем еще два конечных множества: Z— множество
единичных сообщений, вырабатываемых источником информа-
ции, U — множество символов, которыми записывается та ин-
формация, которую нужно получить. Если нужно получить
информацию о движении спутника и состоянии внутри его, то
источник информации — показания датчиков, установленных
внутри спутника (это множество Z), X характеризует ток, по-
ступающий на антенну спутника, У — звуковые или световые
сигналы приемника, U — необходимые числовые данные.

Кодирование определяется функцией, переводящей Z-значные
последовательности в Х-значные, при этом функция должна быть
неупреждающей. Таким образом кодирование задается функцией ф
из Z°° в Х°°, причем если i|>(zi, z2,. . .) = (хх, х2,...),
ty(z'v zy.. .) = {х\, х2,. ..), то из равенств zl = z\, z2 = z'2,...
..., zn = zn вытекает, что хх=х[,.. ., хп=х'п. Простейший код —
код без памяти, он определяется функцией т|з, (z) из Z в X, в
этом случае