Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
где R' определено в (7.3.33), б> О — произвольно и jx задается приближенно равенством (7.3.29), в котором of = { q (х) [/ (х) —ё]2 dx. Ограничения при выводе этих соотношений состоят в том, что плотности и интегралы существуют; j q (х) f (х) dx — ё и
оо
j Я М V Ml2 dx конечен. Ясно, что (7.3.45) и (7.3.46) справедливы,
— ОО
независимо от того, максимизирует ли входная плотность q (х) величины Ео и Ех или нет.
7.4. АДДИТИВНЫЙ ШУМ И АДДИТИВНЫЙ ГАУССОВ ШУМ
В этом параграфе результаты, полученные в § 7.2 и 7.3, применяются в важном и простом частном случае каналов с аддитивным шумом. Канал с аддитивным шумом определяется как канал, для которого входное пространство — множество действительных чисел (или действительных векторов) и выход представляется как сумма входа и статистически независимой случайной величины (или вектора), называемой шумом**. Для простоты примем, что шум z имеет плотность вероятности pz (z). Для данного входа х выход принимает значение у, тогда и только тогда, когда z = у — х, и так как z не зависит от х, то переходная плотность вероятности канала задается равенством
pY\x(y\x) = pz(y — x). (7.4.1)
*> Для пуританина, у которого вызывает беспокойство определение статистической независимости при отсутствии какой-либо вероятностной меры на входном пространстве, канал с аддитивным шумом может быть определен как канал, удовлетворяющий соотношению (7.4.1), т. е. канал, для которого переходная вероятностная мера является функцией только разности у — х.
351
Вычисление средней взаимной информации и пропускной способности для канала с аддитивным шумом сильно упрощается в силу того, что условная энтропия выхода при заданном входе Н (Y | X) равна энтропии шума Н (Z) и, следовательно, не зависит от входного распределения. Для того чтобы убедиться в этом, будем считать, что Рх М — плотность вероятности на входе. Используя (7.4.1) в выражении, определяющем условную энтропию (2.4.25), имеем
со
Я(Г|Х)=—5 5 px(x)pz(y — x)\0gpz(y — x)dydx =
— со
СО ОО
= — j Pz{z)\ogpz{z)dzdx =
— 00 — оо
= \px{x)H{Z)dx = H(Z). (7.4.2)
Те же самые соображения, очевидно, применимы для дискретного распределения на входе. Следовательно, средняя взаимная информация между выходом и входом канала задается равенствами
/(X; Y) = Н (Y) — Н (Y\X) = Н (Y) — Н (Z). (7.4.3)
В этом выражении Н (Y) зависит от входного распределения, а Н (Z) не зависит. Таким образом, проблема нахождения пропускной способности для канала с аддитивным шумом сводится к максимизации Н (У) при заданных ограничениях на входе. Следующие два примера показывают, как эта задача может быть иногда решена.
Пример. Сначала рассмотрим шум с плотностью вероятности pz (г) = 1/2 для —1^ z 5-С1 и pz (z) = 0 во всех других точках. Предположим, что амплитуда на входе принимает значения из интервала —1<л<1. Так как выход у равен x+z, то значения сигнала на выходе лежат в интервале —2 ^ у ^ 2. Наша задача заключается в том, чтобы найти в этом интервале pY(y), максимизирующее Н (Y), и затем попытаться найти входное распределение, которое приводит к этой максимизирующей плотности pY (у). Нетрудно догадаться, что H(Y) достигает максимума на плотности вероятности равномерного распределения и это будет подтверждено применением вариационного исчисления. Пусть
2 2
Р[Р(У)] = — f P(y)iogp(t/)dy + k \p(y)dy, (7.4.3a) — 2 -2
где Я — множитель Лагранжа для ограничения j р (у) dy = 1. Функция р {у) является стационарной точкой, если выражение
df [р (у) + eh (у)]/де |е=0 равно нулю для всех h (г/),
dF[p(y) + eh (у)] 2
дг
— § Ь(У)1\°ёР(У) + 1о8е — ^dy- (7-4.4)
352
Следовательно, стационарная точка достигается, если
log р (у) +log е — К = 0; — 2 < у < 2. (7.4.5)
Это означает, что р (у) постоянна в рассматриваемом интервале, или
р (у) =
Заметим, что дискретное распределение на входе Рх ( — 1) = = Рх (+ 1) = V2 дает Ру (у) = V4 при — 2 < у < 2 и поэтому на нем, по-видимому, достигается пропускная способность. Для того чтобы строго доказать, что на этом распределении достигается пропускная способность, выберем произвольное конечное множество входных букв аь ..., ак между —1 и +1, включая —1 и +1. Для рассматриваемого входного распределения
/ (х = ak- Y) = С pz {у—flk) log —^—— dy = 1 бит.
-2 и
Следовательно, это распределение удовлетворяет необходимым и достаточным условиям теоремы 4.5.1, при выполнении которых достигается пропускная способность. Аналогично можно проверить, что это распределение удовлетворяет необходимым и достаточным условиям, при выполнении которых максимизируется ET(R). Это не удивительно, так как использование на входе лишь х = —1 и х = +1 превращает рассматриваемый канал в двоичный канал без шума; у > 0 означает, что х = +1, а у < 0 означает, что х — —1. В задаче 7.5, в которой продолжается изучение этого примера, рассматриваются произвольные амплитудные ограничения на х. Оказывается, что плотность равномерного распределения у в общем случае не получается, хотя пропускная способность всегда достигается на дискретном входном распределении.