Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Задавая Q, на котором достигается максимум Е0 (р, Q) при каждом фиксированном р, можно использовать геометрический метод, показанный на рис. 5.6.3, чтобы найти кривую Ет (ft). Для нахождения Ет (R) можно также использовать равенства (5.6.31) и (5.6.33), взяв для каждого р значение Q, на котором достигается максимум Ео (р, Q)- Чтобы показать, что эти равенства дают все точки на кривой Ет (R), заметим, что для каждого R существуют некоторые р и Q, такие, что Ет (R) = Е0 (р, Q) —рR. Для этого Q имеем Ет (R) = = Ег (R, Q). Но так как параметрические равенства определяют Ег (R, Q) для заданных р и Q, то они также дают Ет (R). В примере 2 будет показано, однако, что эти равенства могут порождать некоторые дополнительные точки, лежащие строго ниже кривой Er (R).
Пример 1. Для двоичного симметричного канала, изображенного на рис. 5.3.1, а, Е0 (р, Q) достигает максимума по Q при Q (0) = Q (1) = 1/2. Для этого Q имеем
Е0 (р, Q) = pln2—(1 + р)1п[е1/(1 + Р) + (1 — е)1^1 +р>]. (5.6.40)
Параметрические равенства (5.6.31) могут быть приведены к виду
?? = In 2 — Ж (б), Er(R) = Te(б)~Ж(б), (5.6.41)
где параметр б связан с параметром р, присутствующим в (5.6.31), соотношением
Р1/о+р>
(5.6.42)
gi/(i+p)_ji (j_6ji/(i + p)
а Ж (б) и Те (б) задаются равенствами
% (б) = —б In б — (1 — б) In (1 — б), (5.6.43)
¦ те (б) = —б In е — (1 — б) In (1 — е). (5.6.44)
Эти равенства справедливы лишь для б из интервала е ^ б ^
< У1/(У7 + ]ЛП=^е). Для R < In 2 — M[Vl!{Yе + /1 — е)]
можно использовать (5.6.33) вместе с (5.6.40), чтобы получить
Er(R) = In 2 — 2 In (V" е + У 1-е) —R. (5.6.45)
162
Равенству (5.6.41) можно дать геометрическую интерпретацию, как показано на рис. 5.6.4. Можно заметить, что Тг (6) как функция б является уравнением касательной к кривой Ж (б) с точкой касания б = е.
Наиболее существенным в этом примере является то, что даже для такого простого канала невозможно дать другого выражения для Ег (R) кроме параметрического.
Пример 2. Рассмотрим канал, матрица переходных вероятностей которого приведена на рис. 5.6.5. Можно заметить, что, если используются только первые четыре входа, то канал является симметричным,
J
0
1 2 3 * 5
Рис. 5.6.4. Показатель экспоненты случайного кодирования для двоичного симметричного канала.
0,82 0,06 0,06 .0,06
0,06 0,82 0,06 0,06
0,06 0,06 0,82 0,06
0,06 0,06 0,06 0,82
О,?9 0,43 0,01 0,0Г
0,0f 0,0/ 0,?9 О,?9
матрица, переходных веррятнрстеи. P(j \к)
Рис. 5.6.5. Разрывность наклона Er(R).
а если используются только последние два входа, то канал сводится, по существу, к двоичному симметричному каналу. Можно догадаться, что при больших скоростях следует использовать только первые четыре входа, и что при малых скоростях следует использовать только последние два, в некотором смысле менее зашумленные входы. Проверяя эту гипотезу с помощью (5.6.37), находим, что при р ^ 0,51 функция Е0 (р, Q) принимает максимальное значение при Q (0) = Q (1) = = Q (2) = Q (3) = 1/4, а при р > 0,51 функция Е0 (р, Q) достигает максимального значения при Q (4) == Q (5) = 1/2.
Подставляя эти значения для Q в (5.6.31), можно получить кривую Er (R), частично показанную на рис. 5.6.5. Имеется разрыв непрерывности наклона при переходе от р = 0,41 к р = 0,63, и для р из этого диапазона равенства (5.6.31) дают точки, как показано, лежащие строго ниже Er (R).
Пример 3 (каналы с очень большим шумом). Рассмотрим канал с очень большим шумом в том смысле, что вероятность получения заданного выхода почти не зависит от входа. Выведем приближенное 6* 163
выражение для Ег (R) для таких каналов, которое зависит только
от пропускной способности. Пусть со j, j = 0, ..., J — 1, являются
набором вероятностей, определенных на выходах канала; и определим еjk с помощью равенства
Р^(/|^) = ^(1 + 8Л). (5.6.46)
Предположим, что |е;А| < 1 при всех / и k, так что канал имеет очень большой шум в указанном выше смысле. Суммируя (5.6.46) по всем /, получаем
2(О;б;А = 0 при всех к. (5.6.47)
Найдем теперь Е0 (р, Q) для этого канала, разлагая Е0 в ряд по степеням в}-к и отбрасывая все слагаемые порядка более высокого, чем 2. Имеем
Е0 (р, Q) = - In ? Q (k) a)j/<4-p> (i +8/fc)W(4+P>ji+P.
Выводя <i>j из-под внутренней суммы и разлагая (1 + получаем
1 +
Zjh
2
