Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 170

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 164 165 166 167 168 169 < 170 > 171 172 173 174 175 176 .. 355 >> Следующая


где R' определено в (7.3.33), б> О — произвольно и jx задается приближенно равенством (7.3.29), в котором of = { q (х) [/ (х) —ё]2 dx. Ограничения при выводе этих соотношений состоят в том, что плотности и интегралы существуют; j q (х) f (х) dx — ё и

оо

j Я М V Ml2 dx конечен. Ясно, что (7.3.45) и (7.3.46) справедливы,

— ОО

независимо от того, максимизирует ли входная плотность q (х) величины Ео и Ех или нет.

7.4. АДДИТИВНЫЙ ШУМ И АДДИТИВНЫЙ ГАУССОВ ШУМ

В этом параграфе результаты, полученные в § 7.2 и 7.3, применяются в важном и простом частном случае каналов с аддитивным шумом. Канал с аддитивным шумом определяется как канал, для которого входное пространство — множество действительных чисел (или действительных векторов) и выход представляется как сумма входа и статистически независимой случайной величины (или вектора), называемой шумом**. Для простоты примем, что шум z имеет плотность вероятности pz (z). Для данного входа х выход принимает значение у, тогда и только тогда, когда z = у — х, и так как z не зависит от х, то переходная плотность вероятности канала задается равенством

pY\x(y\x) = pz(y — x). (7.4.1)

*> Для пуританина, у которого вызывает беспокойство определение статистической независимости при отсутствии какой-либо вероятностной меры на входном пространстве, канал с аддитивным шумом может быть определен как канал, удовлетворяющий соотношению (7.4.1), т. е. канал, для которого переходная вероятностная мера является функцией только разности у — х.

351
Вычисление средней взаимной информации и пропускной способности для канала с аддитивным шумом сильно упрощается в силу того, что условная энтропия выхода при заданном входе Н (Y | X) равна энтропии шума Н (Z) и, следовательно, не зависит от входного распределения. Для того чтобы убедиться в этом, будем считать, что Рх М — плотность вероятности на входе. Используя (7.4.1) в выражении, определяющем условную энтропию (2.4.25), имеем

со

Я(Г|Х)=—5 5 px(x)pz(y — x)\0gpz(y — x)dydx =

— со

СО ОО

= — j Pz{z)\ogpz{z)dzdx =

— 00 — оо

= \px{x)H{Z)dx = H(Z). (7.4.2)

Те же самые соображения, очевидно, применимы для дискретного распределения на входе. Следовательно, средняя взаимная информация между выходом и входом канала задается равенствами

/(X; Y) = Н (Y) — Н (Y\X) = Н (Y) — Н (Z). (7.4.3)

В этом выражении Н (Y) зависит от входного распределения, а Н (Z) не зависит. Таким образом, проблема нахождения пропускной способности для канала с аддитивным шумом сводится к максимизации Н (У) при заданных ограничениях на входе. Следующие два примера показывают, как эта задача может быть иногда решена.

Пример. Сначала рассмотрим шум с плотностью вероятности pz (г) = 1/2 для —1^ z 5-С1 и pz (z) = 0 во всех других точках. Предположим, что амплитуда на входе принимает значения из интервала —1<л<1. Так как выход у равен x+z, то значения сигнала на выходе лежат в интервале —2 ^ у ^ 2. Наша задача заключается в том, чтобы найти в этом интервале pY(y), максимизирующее Н (Y), и затем попытаться найти входное распределение, которое приводит к этой максимизирующей плотности pY (у). Нетрудно догадаться, что H(Y) достигает максимума на плотности вероятности равномерного распределения и это будет подтверждено применением вариационного исчисления. Пусть

2 2

Р[Р(У)] = — f P(y)iogp(t/)dy + k \p(y)dy, (7.4.3a) — 2 -2

где Я — множитель Лагранжа для ограничения j р (у) dy = 1. Функция р {у) является стационарной точкой, если выражение

df [р (у) + eh (у)]/де |е=0 равно нулю для всех h (г/),

dF[p(y) + eh (у)] 2

дг

— § Ь(У)1\°ёР(У) + 1о8е — ^dy- (7-4.4)

352
Следовательно, стационарная точка достигается, если

log р (у) +log е — К = 0; — 2 < у < 2. (7.4.5)

Это означает, что р (у) постоянна в рассматриваемом интервале, или

р (у) =

Заметим, что дискретное распределение на входе Рх ( — 1) = = Рх (+ 1) = V2 дает Ру (у) = V4 при — 2 < у < 2 и поэтому на нем, по-видимому, достигается пропускная способность. Для того чтобы строго доказать, что на этом распределении достигается пропускная способность, выберем произвольное конечное множество входных букв аь ..., ак между —1 и +1, включая —1 и +1. Для рассматриваемого входного распределения

/ (х = ak- Y) = С pz {у—flk) log —^—— dy = 1 бит.

-2 и

Следовательно, это распределение удовлетворяет необходимым и достаточным условиям теоремы 4.5.1, при выполнении которых достигается пропускная способность. Аналогично можно проверить, что это распределение удовлетворяет необходимым и достаточным условиям, при выполнении которых максимизируется ET(R). Это не удивительно, так как использование на входе лишь х = —1 и х = +1 превращает рассматриваемый канал в двоичный канал без шума; у > 0 означает, что х = +1, а у < 0 означает, что х — —1. В задаче 7.5, в которой продолжается изучение этого примера, рассматриваются произвольные амплитудные ограничения на х. Оказывается, что плотность равномерного распределения у в общем случае не получается, хотя пропускная способность всегда достигается на дискретном входном распределении.
Предыдущая << 1 .. 164 165 166 167 168 169 < 170 > 171 172 173 174 175 176 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed