Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
I/А при 0 < л: < А,
Рх (*) Ру (У) Pxy (Х'У)
dx dy =0.
[0 во всех остальных случаях.
Тогда Н (X) = log А и это выражение отрицательно при А < 1.
2.25. (а) Заметим, что в силу симметрии pY (у) =~г— , 0 < у < 2я. Имеем
2я
/ (X; Y) рх (х) \pYlx(y\x) log Py 1 х (ylfL dydx.
X у PY (У>
Теперь имеем pY | х (У I ¦*) — Pz (У—х) > где вычитание производится по модулю 2я. Таким образом,
^ аУРу | х (У I х) 1о§ Ру\х(У\х) = ~Н (2) > 1 (Х; = 1о§ 2л-—Н (2) •
у
(б) Если pz(z) =
Ь —а
, а<г<^Ь, то H(Z) = log (b—а) и
f (X; F)=Iog2rc— log (6—a) — log
2я b— a
583
Различие между аддитивным шумом, находящимся в интервале от а до Ь, и аддитивным шумом, находящимся в интервале от 0 до b — а, соответствует известному фазовому сдвигу а в принятой фазе. Это не меняет I (X; У), и фактически это различие можно устранить с помощью изменения нуля опорной фазы на приемнике.
2.26. (а)
(б) / (X; Y) = 1/2 бит.
(в) / (X; U) = 1/2 бит.
Это означает, что рассматриваемое преобразование не разрушает информацию, содержащуюся на выходе относительно X. Это не удивительно, так как для всех и из интервала (1,3) значение х должно быть+1, и тот же самый результат получается при и = 1. Точно так же при любом заданном у из интервала (—1, 1) значение х с равными вероятностями будет +1 или —1, и тот же самый результат получается при и — 0.
2.27. (а) Нам задан ансамбль PXyz(^)= PXYZ ^ 1/2'
Либо производя вычисления, либо замечая, что г непосредственно определяет х, получаем / (X; Y | Z) = 0.
(б) Если X и У разбиваются на отдельные события 0 и 1, то имеем Хр = X и Ур = У. Если Z состоит только из одного события, которое представляет собой все выборочное пространство, то / (Хр; Yp\Zp) = / (X; У) = 1 бит.
(в) Рассматривая Z, состоящие только из одного события, которое представляет собой все выборочное пространство, будем иметь I (Хр; Yp \]ZP) = ~ I (Хр\ Ур). Поэтому получим
sup / (Хр; Ур | Ър) >sup / (Хр\ УР) = /(Х; У).
Таким образом, если / (X; У) > / (X; У | Z), то
sup I (Хр\ Ур | Zp) > / (X; Y | Z).
/100 \ / 100\
3.1. (а) Имеются 1 + 100 +1 ) + ( )= 166 701 последователь-
ность с 3 или меньшим числом единиц, и кодовые слова должны быть сопоставлены каждой из них. Так как 217 < 166 701 < 218, то двоичные кодовые слова должны иметь длину 18.
(б) Рг [последовательность содержит 4 или больше единиц] =
юо / 100 \
= 2 (0,995)10°-'(0,005)г'ж0,0018.
I = 4 V г '
(в) Используя неравенство Чебышева в виде, данном в задаче 2.4 (а), и обозначая через г число единиц в последовательности, получаем
Рг [г > 4] <-f-=-р
Используя обычную форму неравенства из задачи 2.4 (б), получим
г| ^ 100 (0,005) (0,995)
Рг [г > 4] < Рг [ г— г > 4-г] < --------------------1 =0,04.
(3,5)2
Заметим, что указанные оба вида границы являются довольно слабыми.
3.2. Согласно неравенству Чебышева [см. задачу 2.4 (в)], имеем
D [/ (и)]
Рг
584
/ (и)
—— - Н (U)
> б
LS2
где и—одиночная буква источника и
¦| 4- ~ (log 4)2—Н2 (U)
^0,471.
(а) L0 ж 1884.
Заметим, что результаты будут отличными, если использовать логарифмы с другими основаниями
(б) La ~ 0,471 • 1012.
Как можно было бы ожидать, неравенство Чебышева является здесь очень слабым.
(в) Из (3.1.13) и (3.1.14) имеем
<.А< 2LtHiU) + 6\
1040? < А < Ю516,5 для пункта (а),
3.3. (а) Код I удовлетворяет свойству префикса, а код II не удовлетворяет.
(б) Оба кода являются однозначно декодируемыми (появление 1 в коде II всегда означает начало нового кодового слова).
(в) Для кода I имеем / (%; 1) = —log 0,4. Для кода II имеем / (с^; 1)= 0.
(г) Для кода I имеем / (U; Хх) = —0,4 log 0,4 — 0,6 log 0,6 = 0,971 бит. Для кода II имеем / (U; Хг) = 0.
Первая буква каждого кодового слова кода II дает информацию о предыдущем сообщении.
3.4. (а) Возьмите сначала каждую пару кодовых слов, для которой одно является префиксом другого, и для каждой такой пары запишите повисший суффикс, который остается, когда префиксное слово устраняется из начальной части более длинного слова. Например, повисший суффикс для пары 01, 01110 есть 110. Рассмотрим далее кодовые слова вместе с повисшими суффиксами и для каждой пары, состоящей из одного повисшего суффикса и одного кодового слова, в которой одно является префиксом другого, запишем новый повисший суффикс. Нет нужды, конечно, записывать суффиксы, которые уже были записаны. Будем продолжать делать это с каждым новым повисшим суффиксом, добавленным к списку, до тех пор пока либо нельзя будет сформировать новый повисший суффикс (в этом случае код будет однозначно декодируемым), либо один из повисших суффиксов будет кодовым словом (в этом случае код не является однозначно декодируемым).
