Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
/ (X; У)^-/г log Г 1 + - V (7-4.15)
Это полностью докажет теорему, так как С — верхняя грань
1 (X; Y) по всем допустимым входным распределениям. Пусть pz (z) — плотность вероятности шума и пусть сра« (г) — плотность вероятности гауссовского распределения с дисперсией с2. Пусть ру (у) — выходная плотность и пусть срА (у) — плотность гауссовского распределения с дисперсией А = & + о2. Тогда, так же как в (7.4.12), имеем
Я
Рх (х) Pz (У—Х) log -Фст‘(- -¦ х) dy dx = Г Pz (z) log фст. (z) dz —
Фл (У) J
~ $ Py (y) log Фл (у) dy= — V2 log(2rteo2) -|-+ V2 log(2mA) - V2log(l-f^). (7.4.16)
Далее, используя (7.4.16),
8
-/([X; F) + x/2log 1
Я
о2
t Ч / ч i Ру(У)(РаЛУ~х)
Рх (x) pz (y—x) log----------— dx dy ¦-
Pz (У~х) Фл (У)
Однако, так как px (x) — плотность гауссовского распределения, то | рх (х) фа» (у — х) dx = (у). Следовательно, двойной интеграл
в (7.4.17) сводится к J ру (у) dy = 1 и правая часть (7.4.17) равна нулю, что завершает доказательство. ]
Далее используем границы вероятности ошибки (7.3.45) и (7.3.46) для канала с аддитивным гауссовым шумом, описываемым плотностью
Л°'1 (7.4.18)
2 0а
Каждое кодовое слово хт = (хт>1, ..., хт<ц) удовлетворяет ограничению
2 x*m,n<N$. (7.4.19)
П= 1
Выберем для ансамбля кодов плотность вероятности на входе
Имеется целый ряд причин для выбора здесь гауссовской плотности. Первая состоит в том, что она легко интегрируема, вторая причина — получающая совместная плотность имеет сферическую симметрию и третья причина в том, что эта плотность приводит к экспоненте случайного кодирования, показатель которой в нелинейной части совпадает с показателем экспоненты нижней границы вероятности ошибки (см. Шеннон, 1959).
Подставляя (7.4.18) и (7.4.20) в выражение для Е0 (р, X, У, г) в (7.3.43) и заменяя / (х) на х2, мы можем дополнить показатель экспоненты до полного квадрата и полученное выражение проинтегрировать. После замены г на переменную s результат представляется в виде
Е0 (р, X, Y, s) =
s (1 + р) $ + 1/г In (1 —2s<§) -)- —- ln
1 — 2s $ -j-
(1+P)°2J
(7.4.21)
Этот результат справедлив при 0 ^ s <; 1/(2ё). Для больших s, Е0 = = —оо, что бесполезно. Вместо максимизации этого выражения по s удобно произвести следующие замены:
Р = 1
А = Ш1 о2,
-2s$ + ^4/(1 + р).
(7.4.22)
(7.4.23)
Величина А —отношение сигнал/шум в канале и можно ожидать, что в определенном масштабе получающаяся граница будет зависеть лишь от А, а не отдельно от '$ и сг2. Используя (7.4.22) и (7.4.23), исключим с?, а2 и s в (7.4.21) и получим выражение для Е0 в виде функции от А, р и р:
Е0 (А, (3, р):
(1-р)(1+р) + Л + Ш р
1 -f- р
pin р
Ограничение 0<s< 1/ (2$) появляется здесь как
А . _ , , А
1 + Р
Р< 1
1 +Р
(7.4.24)
(7.4.25)
Функция Ео имеет стационарную точку относительно р, определяемую из равенства
! + Р , f
дЕ о
ар
- (1 + р)
0.
(7.4.26)
Левая часть (7.4.26) в области, задаваемой (7.4.25), убывает по р от + <х> до некоторого отрицательного значения. Следовательно, Е0 максимизируется единственным значением р из этой области, которое удовлетворяет (7.4.26). Преобразуя (7.4.26) и решая получившееся квадратное уравнение
А \ , Ар
02 ftlli
11 Л 074
находим это значение
р=—(1 + —— 2 \ 1 + р
1 + 1 / 1
4Ар
(1+р + Л)*
(7.4.28)
Далее Е0 — рR имеет стационарную точку относительно р, определяемую из равенства
д [Е0 — р#] = _1_ 2
дР
1-р +
Р
In (3
-R=0. (7.4.29)
(1 + р)Р—^ (l + P)
Для Р, удовлетворяющих (7.4.26), оно сводится к
R = V2 In р. (7.4.30)
Теперь для Р и р, удовлетворяющих (7.4.26) и (7.4.29), имеем
Er(R) = Ёо - PR =¦~ [(:1 -1Р)(1 + Р) + Л + In (р -
(7.4.31)
Теперь можно получить явное выражение для Er (R), разрешая (7.4.26) относительно (1 + р) через р и А. Это приводит к
1
2Р
1 +
/
4р
Л(Р-1)
(7.4.32)
Подставляя (7.4.32) в (7.4.31) и несколько упрощая получающееся выражение, находим