Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Цх;У)= р (у \х) In dy=~-\п2
х-i Ру(У) 2
для всех х,—1/2 < х < 1/2. Выше при выполнении интегрирования необходимо учесть, что ру(у) = точно в половине интервала интегрирования, независимо от х.
662
Те же соображения, примененные к (5.6.37), подтверждают, что прй том же самом входном распределении достигается ^(Р)» которое равно ?0(р) = = 1п 2 — In (2~р + 1). Это выражение совпадает с Е0 (р) для ДСтК с е = = 1/2 и, следовательно, Er(R) будет тем же самым (см. решение задачи 5.10). Физически выход | у \ < 1/2 не несет информации о входе и, следовательно, может рассматриваться как стирание. Выход | у | > V2 однозначно определяет вход.
(б) Здесь первый шаг — нахождение выходной плотности вероятности, соответствующей данному входному распределению. Пусть е = п — А. Входное распределение изображено ниже и выходную плотность можно найти графически, сопоставляя прямоугольник со стороной длины 2 каждой входной точке, взвешивая после этого каждый такой прямоугольник и суммируя.
Для любого х из интервала [—А, А] имеем
I(x-,Y)= j р(у\х) In^jfdy. х-l ® (У)
ш(у)
А 5 X.
1_
Zn
if.
2(п+1)
-5
1
Так как р(у\х) = 1/2 во всей области интегрирования, а(у) равна 1/(ап) на интервале (или интервалах) общей длины 2е и со (у) равна 1/[2(/г + 1)] в оставшейся области, то имеем
I (x;Y) = s\nn + (l —в) In (п + 1) = In (ti + 1) — (п—А) In
/2+1
Это выражение одно и то же для всех * из [—А, А], поэтому при этом распределении достигается пропускная способность и
С=1п (я+1) — (п—A) In
Заметим, что это выражение возрастает с А, кусочно-линейно по Л и приближенно равно In (А + 1) для больших А.
Те же рассуждения применимы к (5.6.37) и показывают, что это распределение максимизирует Е0(р, Q). В результате получаем
?о(Р. <?) = — >пЬ “ ' 1
1
¦1П1(И~ЛЧ п ) +(1_П + ЛЧп+1,
Выражение для Er(R) следует из (5.6.31) и (5.6.32). Эти выражения довольно громоздки и ненаглядны, поэтому они не будут даны здесь. Однако в пределе, когда А стремится к целому числу или А становится большим, имеем
?,.(/?) = In (Л+1)—/?.
663
(в) Для целого А при дискретном распределении
Q (Л —2i) = l/H-H). t =0,1,..., /С,
достигается как пропускная способность, так и Er(R). В обозначениях рисунка для Q(x) в пункте (б) это соответствует парам импульсов, которые приходят вместе и скаладываются.
7.6. (а) Из (7.5.7) вытекает, что средняя взаимная информация для заданного набора энергий $2, ..., ^SN удовлетворяет неравенству
N
I(Xn;Yn)< 2 V2ln(l^^/a^)
п= 1
с равенством, если входы независимые гауссовские случайные величины с нулевыми средними. Полагая а,п = ^п/п и используя а® >= л2, это соотношение приводим к виду
N
I(Xn;Yn)k'^1 1/21п(1^а п/п). п=1
Максимизируя это выражение по а при ограничении 2an < 5, получаем [как и в (7.5.3) и (7.5.4)]
n+a„=B, п < В, (1)
ап = 0, п > В. (2)
Простейший путь решить эти уравнения состоит в том, чтобы сначала решить их относительно В и alt aN одновременно, используя (1) и 2а„ = 5 и затем модифицировать решение, положив ап = 0, если данное ап окажется
отрицательным. Для N<= 2 это приводит к ах = 3, а2 = 2 и, следовательно,
= 3, g2 = 4, N = 2,
С = V2 In 4 + Va In 2 = 8/a In 2.
Для N = 4 эта же процедура дает В ¦= 3 ?/4, = г3/^, a2 = l3/4, a3 = 3/4,
a4 =—V4- При этом нарушается ограничение, так что следует положить а4 = = 0. Тогда получаем В = Зг/3, ai = 22/3, аа = 12/3, а3 = 2/3. При этом удовлетворяются (1) и (2), так что имеем = 22/3, $2 = 3V3, $3 = 2, ?4 ¦= 0,
С = V, In n/3 + V, In u/e + V. In u/9 да 1,05.
Это же решение справедливо для N = оо при %п ss 0 для п > 3.
(б). Равенство (7.5.20) справедливо для рассматриваемой здесь задачи,
однако ограничение 2 %>п1п < 5 приводит к максимизации (7.5.21) при ограни-
п
чении 2 Апп = 5.
п
Следовательно, эта задача математически идентична решенной в § 7.5, если заменить а* на л2 и на ап. Физически, наши действия сводятся к нормированию энергии сигнала и дисперсии шума в каждом подканале.
Используя (7.5.35), можно найти Всг с помощью метода проб и ошибок получаем Всг 2,42. Подставляя это значение в (7.5.36), находим
^сг = 1/21п2,42+1/21п1, 21 «0,537.
Также подставляя Вст в (7.5.34) с р = 1, находим Ег (Rcr)x0,206. Наконец, ?r(0)=?r(i?cr) + i?cr« 0,743.
