Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Аддитивный гауссов шум и ограничение на энергию входного сигнала
Рассматривая второй пример, предположим, что в канале с аддитивным шумом задано ограничение на энергию на входе
(7.4.6)
Пусть шум имеет плотность pz (г) с нулевым средним и дисперсией
о2. Предположение г = 0 не приводит к потере общности, так как можно всегда добиться его выполнения, сдвигая нуль на осях z и у. В дальнейшем мы примем, что pz (х) — плотность гауссовского распределения, однако в течение некоторого времени будем считать ее произвольной. Среднеквадратическое значение выхода канала ограничено следующим образом:
?* = (jc + z)* = jc*-fz*<ff + a2. (7.4.7)
Найдем теперь максимум Н (Y) при ограничении на у2, а затем попытаемся найти соответствующее входное распределение, приводящее
12 Зак. 210 353
к плотности pY (у), на которой достигается максимум. Можно опять использовать методы вариационного исчисления, распространяя предел в (7.4.3) до оо и добавляя второе ограничение, 7 J у*р (у) dy. Это приводит к условиям, аналогичным (7.4.5),
logр (у) + loge
УУ
О для всех у.
Решение этого уравнения, удовлетворяющее ограничению (7.4.7), имеет вид
Р(У)
о2)
ехр
(7.4.8)
Теорема 7.4.1. Максимальное значение энтропии
ОО
H(Y) = — j Р (у) log р (у) dy,
— 00
взятое по всем плотностям вероятностей, удовлетворяющим ограничению
J y%p(y)dy = A,
(7.4.9)
достигается только на плотности гауссовского распределения
Ф а (У)
1
ехр
и равно
1/2пА Н(У) = Ч9 log (2яеЛ).
11
2А
(7.4.10)
(7.4.11)
Доказательство, Эту теорему можно было бы доказать, развивая соображения гл. 4 о свойствах выпуклых функций и доказывая, что решение (7.4.8)'вариационного уравнения дает единственный максимум. Однако следующее доказательство в некотором смысле проще. Пусть р (у) — произвольная плотность вероятности, удовлетворяющая (7.4.9), и пусть фл (у) — плотность гауссовского распределения. Тогда
jp(-/)l0giw dy-]p(y)
log У2пА -f — log е 2/4
dy
log У 2лА + — loge =
V2 log (2яеЛ).
(7.4.12)
Применяя (7.4.12), получаем
Н (У)—V2 log (2яеЛ) = |р {у) log -^Дуу- dy <
<loge J р(у)
Фл (У)
Р(У)
Р{У)
dy^O,
где было использовано неравенство log z ^ (г — 1) log е. Равенство здесь достигается тогда и только тогда, когда <рА (у)/р (у) = 1 для всех у. 1
Поскольку Я (Y) возрастает с Л, то ясно, что изменение ограничения в теореме на Jу*р (у) dy^A не может изменить результат. Для получения пропускной способности остается найти плотность вероятности входного сигнала, приводящую к плотности гауссовского распределения на выходе. Один из печальных фактов нашей жизни состоит в том, что если сумма двух независимых случайных величин является гауссовской случайной величиной, то каждая из случайных величин должна быть гауссовской*). Однако, к счастью, наибольший интерес представляет ситуация, когда аддитивный шум гауссов. В этом случае максимум Н (Y) и пропускная способность достигаются на гауссовском я. Для этого случая выражение / (X; Y) уже было вычислено в (2.4.36). Таким образом, доказана следующая теорема.
Теорема 7.4.2. Пусть задан дискретный по времени канал без памяти с аддитивным гауссовым шумом, дисперсия которого ст2, и пусть ограничение на входе имеет вид х2^$. Тогда пропускная способность равна
C = V*log(l + -^-). (7.4.13)
Вычисление пропускной способности канала с негауссовым аддитивным шумом — задача утомительная и неблагодарная. Ограничимся здесь границами для пропускной способности, даваемыми следующей теоремой; эта теорема фактически показывает, что при заданной дисперсии шума гауссов шум является наихудшим с точки зрения пропускной способности аддитивным шумом.
Теорема 7.4.3. Пусть задан дискретный по времени канал без памяти с аддитивным шумом (дисперсия которого ст2) и с ограничением на входе х2 ^ Тогда
Vzlogl^elg’ + CT2)] — #(Z)>C>-i- log ^1 -f (7.4.14)
Доказательство. Левая часть неравенства следует из соотношения / (X; Y) = Н (Y) — Я (Z) и того, что выражение V2 log [2яе (& + + о2)] является верхней границей Я (Y). Для того чтобы установить справедливость правой части неравенства, положим
1 ( X2 \
Рх (*) = —— ехр ——
V2n4g V 2 S)
*) Г. Крамер. Случайные величины и распределения вероятностей. М., ИЛ, 1937.
12* 355
и покажем, что получающаяся средняя взаимная информация удовлетворяет неравенству
