Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
В русской терминологии — информационная плотность. (Прим. ред.)
**) Не следует удивляться, что это определение равносильно общему определению взаимной информации, введенному в гл. 2. Однако имеются некоторые математические тонкости, возникающие при доказательстве этого, и заинтересованному читателю следует обратиться к статье Гельфанда и Яглома (1957). То, что это определение равносильно общему определению гл. 2, означает также, что оно не зависит от используемого множества ортонормальных функций.
***> Как указано в гл. 2,1(\N; yN) часто существует, даже если не существуют плотности вероятностей.
388
гдё
Ст =-у [sup I (XN-,\N)], (8.1.56)
а верхняя грань берется по всем входным распределениям вероятностей, согласующимся с ограничениями на входе канала. Величина, стоящая в скобках в приведенном выше выражении, представляет собой максимум взаимной информации, которая может быть передана за время Т. Для произвольного непрерывного канала при Т оо указанный выше предел не обязательно существует, и пропускная способность определена лишь в том случае, когда этот предел существует. Если С существует, то обращение теоремы кодирования, очевидно, остается в силе, однако прямая теорема кодирования необязательно имеет место, т. е. можно построить примеры каналов с пропускной способностью, определяемой (8.1.55), но таких, что при скоростях, меньших пропускной способности, данные не могут быть переданы с произвольно малой вероятностью ошибки.
8.2. БЕЛЫЙ ГАУССОВ ШУМ И ОРТОГОНАЛЬНЫЕ СИГНАЛЫ
Здесь ортонормальное разложение, рассмотренное в последнем параграфе, применяется к нахождению пропускной способности канала с аддитивным гауссовым шумом с мощностным ограничением на входе. Затем исследуется вероятность ошибки, достигаемая при ортогональных сигналах на входе такого канала.
Пусть фх(0, ф2(0> • • ¦ — полное множество действительных орто-нормальных на интервале (О, Т) функций. Вход x(t) для 0 ^ t ^ Т может быть представлен в виде (8.1.49). Аналогично шум z(t) может быть представлен в виде
Zn = $ z W Фп (0 dt. (8.2.1)
Для белого гауссова шума со спектральной плотностью N0I2 компоненты шума zlt z2.....по определению, статистически независи-
мые гауссовские случайные величины со средним 0 и дисперсией N0!2. Предполагается также, что они статистически не зависят от x(t). Принятая функция y(t) равна сумме x(t) и z(t) и допускает представление
yn = \y(f)4n(t)dt = xn + zn. (8.2.2)
Равенство (8.2.2), как показано на рис. 8.2.1, сводит канал непрерывного времени к бесконечному множеству параллельных дискретных по времени каналов с аддитивным гауссовым шумом.
Предположим, что мощность на входе канала ограничена величиной S, так что
т
(0 dt ^ ST.
О
389
Из соотношения между энергиями находим, что это неравенство равносильно неравенству
2iX*^ST. (8.2.3)
Из теоремы 7.4.2 следует, что средняя взаимная информация в п-м канале ограничена сверху следующим образом:
с равенством, если хп — гауссовская случайная величина с нулевыми средними значениямн. Используя неравенство log(l + z) ^ z log е, получаем
I(Xn-,Yn)^-§- loge. (8.2.4)
No
Так же как и при доказательстве (7.2.19), можно показать, что средняя взаимная информация в первых N каналах ограничена сверху следующим образом:
I (X"; Y") < 2 I (Хп; Yn) < 2 -1 log (1 + ^-) (8.2.5)
п= 1 n= 1 2 \ Л'о /
с равенством, если ..., — статистически независимые гауссов-
ские случайные величины с нулевыми средними. Из (8.2.3) и (8.2.4) видно, что можно перейти к пределу при N -> оо и получить
/Г[Х(0;У(0К (8-2-6)
П=1 2 \ jV0 /
<~^-loge, (8.2.7)
No
где при выводе (8.2.7) использовались неравенства (8.2.3) и (8.2.4). Равенство в (8.2.7) имеет место, если хп — статистически независимые гауссовские случайные величины с нулевыми средними.
Предположим теперь, что мы ограничиваемся функциями x(t), являющимися линейными комбинациями только первых N ортонор-мальных функций. Из теоремы 7.5.1 следует, что при ограничениях
2
п— 1
значение I(XN\ \N) достигает максимума на независимых гауссовских случайных величинах хь xN с нулевыми средними и с дисперсиями ST/N и
т /vN -xrNs N , ft, 2ST
тах/(Х ; Y ) = — log 1 '
2 \ N0N
