Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
(9.6.18) имеем
min R0 (р, Р) ^ 1 q (и) In du, (9.7.2)
i» q(u)
где / (и) — любая функция, удовлетворяющая ограничению
00
j /(и)ехр[ — р (и — y)2]d«^l для всех v. (9.7.3)
—оо
490
Заменой переменных у = и — а приводим этот интеграл к виду .
J f (У + ») ехр [—ру2Ыу.
Поэтому (9.7.3) может быть удовлетворено с равенством для всех v, если / (и) постоянная
f (и) = Ур/я. (9.7.4)
Подставляя эту формулу в (9.7.2) и интегрируя, получаем
min R0 (р, Р) V2 In (2реЛ). (9.7.5)
Для любого р имеем R (d*) ^ min R() (р, Р) — рd* и, следовательно
R (d*) > V2ln (2реЛ) — pd*. (9.7.6)
Максимизация правой части (9.7.6) по р дает
P=aJr. (9-7.7)
Д(Л*)>-1п——- = -1 п—. (9.7.8)
2 d* 2 2 d*
Для d* > Л граница в (9.7.8) отрицательна и может быть заменена
на R (d*) ^ 0. Вместе с тем, отображением всех и в и =0 достигается
среднее искажение d = А с нулевой средней взаимной информацией, так что
R (d*) = 0, d* > А. (9.7.9)
Далее покажем, что (9.7.8) удовлетворяется с равенством при d* < А. Для этого сначала покажем, что (9.7.5) удовлетворяется с равенством при р ^ 1/(2Л), и найдем соответствующий тест-канал. Необходимое условие для равенства в (9.7.5) состоит в том, что имеется решение с и (») ^ 0 уравнения
« , ч
Г со(и)ехр[— р (и — vf]dv— q w ¦ для всех и, (9.7.10)
J /(«)
— оо
оо
j" со (у) Ypjnexp [ — р (и — v)2\ dv — q (и). (9.7.11)
—зо
Левая часть (9.7.11) является сверткой гауссовской плотности вероятности с дисперсией 1/(2р) с функцией со (у), а правая часть является гауссовской плотностью вероятности с дисперсией А. Следовательно, (9.7.11) удовлетворяется для всех и при
«(») = -,—1.......................................- -ехр(- -~]. (9.7.12)
Т/2я А — я/p V 2 А — 1/р./
Функция со (у) является плотностью вероятности при р > 1/(2Л), сходится к 6-функции при р —1/(2Л) и не существует как действительное
*> Заметим, что постоянное значение для f(u) будет удовлетворять (9.7.3) с равенством для любой разностной меры искажения и что эта постоянная не зависит от q(u).
491
решение (9.7.11) при р С 1/(2А). Отсюда следует, чго (9.7.5) удовлетворяется с равенством при р > 1/(2Л) и, следовательно, что
f — In — ; d*< А,
R(d*) = l 2 d* (9.7.13)
( 0; d* > A.
График этой функции изображен на рис. 9.7.1. Координата пересечения оси R и касательной наклона — р к этой кривой задается для всех р > 0 равенством
• d / ох (1/21п(2реЛ); р>1/(2Л),
min R0 (р, Р) =1
Р А;
р< 1/2Л.
(9.7.14)
Рис. 9.7.1. Скорость как функция искажения для гауссовского дискретного по времени источника с дисперсией Лис квадратично-разностным искажением.
Так как эти рассуждения, доказывающие равенство, строились на довольно абстрактных идеях § 9.4 и 9.6, то найдем тест-канал, задаваемый (9.7.12), и покажем, что он действительно дает искажение d* =
— 1/(2р) и среднюю взаимную информацию 1/2 In (A/d*). Из (9.6.21) следует, что переходная плотность вероятности тест-канала раЕна
<o(v)
p(v\u)--
q(u)
Рь («И>
где обратная переходная вероятность рь (и | v) задается выражением
Рь (и | v) = f (и) ехр [ — р(м — о)2]= (9.7.15)
= ]/р/яехр[—р (и — о)2]. (9.7.16)
Если временно представить себе, что v является входом канала, то рь (и | v) можно считать распределением, порожденным аддитивной гауссовской случайной величиной г с нулевым средним значением и дисперсией 1/(2р). При таком истолковании и = v + г, где v и z — независимые гауссовские случайные величины (рис. 9.7.2) и тест-канал является «обращенным» каналом с аддитивным гауссовым шумом. Тогда среднее искажение равно как раз среднеквадратическому значению z
d (u — о)2 = z Средняя взаимная информация равна
1_
2
/(!/; V):
-In
1 +
V2 1
1/(2р).
1 , и2 — In —
2 d
In