Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
А Й 2Q(0^(/I0
играет главную роль в описании поведения Е0 (р, Q). Здесь принято обозначение J (Q; Р), чтобы подчеркнуть, что эта информация рассматривается как математическая функция Q и переходных вероят-
157
ностей канала. У (Q; Р) нельзя просто интерпретировать как среднюю по ансамблю кодов взаимную информацию на символ.
Теорема 5.6.3. Пусть распределение вероятности на входе Q и дискретный канал без памяти будут такими, что У (Q; Р) > 0. Тогда Е0 (р, Q), определенная (5.6.14), имеет следующие свойства:
Е0( p,Q)>0; р>0,
У(Q; Р)>—!Р>0,
др
d*E0(p,Q)
Эр’-
<0; р>0.
(5.6.24)
(5.6.25)
(5.6.26)
Равенство в (5.6.24) имеет место тогда и только тогда, когда р = =0; равенство в левой части (5.6.25) имеет место, когДа р = 0, и равенство в (5.6.26) имеет место тогда и только тогда, когда при всех /и к, таких, что Q (k)P (j \k) > >0, имеем
P(i\k)
In
2Q(0^(/|0
Рис. 5.6.2. График E0 (p, Q).
(5.6.26a)
т. e., если случайная величина, представляющая собой взаимную информацию имеет нулевую дисперсию.
Можно заметить, рассматривая (5.6.14), что Е0 (0, Q) = 0, и легко проверить, выполняя дифференцирование, что
дЕо (р, Q)
Эр
р=0
-У (Q; Р).
(5.6.27)
Доказательство оставшейся части теоремы содержится в приложении 5Б.
Используя эту теорему, легко максимизировать Е0 (р, Q) — рR по р при заданном Q. Определим
Er(R, Q)= max [?0(P, Q)~РЯЬ 0<p^t
Уравнение для стационарной точки функции Е0 (р, Q) от р имеет вид
дЕ0(р, Q)
др
(5.6.28)
pR
(5.6.29)
Так как д2Е0 (р, Q)/dp3 ^ 0, то любое решение уравнения (5.6.29) в интервале 0 ^ р 1 максимизирует (5.6.28). Более того, так как
158
дЕ0/др является непрерывной и убывающей функцией от,р, то решение уравнения (5.6.29) в интервале О р < 1 существует, если
дЕо (р, Q)
ар
^ дЕ0 (р, Q)
Р=1 др
= Cf( Q;P). (5.6.30)
р = 0
Значение дЕ0/др\р=\ называется критической скоростью R сг для заданного Q.
При R, лежащей в указанном выше интервале, удобно использовать (5.6.29), чтобы связать R и Ег (R, Q) параметрически через р. Получим
R = dE0(p, Q)/dp; O^p^Tl (5.6.31)
Ет (R, Q) = E0 (p, Q) — pd E0 (p, Q)/dp.
Дифференцируя равенства (5.6.31), будем иметь dR/dp — d2EJdp2 и дЕт/др =—рд2Е0/др2. Следовательно, при изменении р от 0 до 1 значение R монотонно убывает от Cf (Q; Р) до dEJdp ]р=ь a Er (R, Q) монотонно возрастает от 0 до Е0 (1, Q) — дЕ0 (р, Q)/dp |р=j. Взяв отношение производных, получим
р. (5.6.32)
dR
Таким образом, параметр р можно интерпретировать как величину наклона Ет (R, Q) к оси R.
При R < дЕ0/др | р==1 значение Е0 (р, Q) — pR достигает максимума (в интервале 0 р < 1) при р = 1, что дает
Er(R, Q) =?„(!, Q)-«. (5.6.33)
И, наконец, в неинтересном случае, когда R>?f (Q; Р), значение Е0 (р, Q) — pR достигает максимума при р = 0, давая Ег (R, Q) = 0.
Подытожим сказанное. При R из интервала, задаваемого
(5.6.30), Ег (R, Q) и R связаны (5.6.31). При меньших значениях R функции Ет (R, Q) и R связаны линейным соотношением (5.6.33), а Ет (R, Q)=0 при больших значениях R. В зависимости от R функция Ет (R, Q) строго убывает и является положительной при всех R < <3 (Q; Р).
Рассмотрим теперь частный случай, в котором д2Е0 (р, Q)/dp2 =
— 0. Из равенства (5.6.26 а) теоремы 5.6.3 видно, что это соотношение должно удовлетворяться при всех р ^ 0, если оно удовлетворяется при каком-нибудь р ^ 0. В этом случае дЕ0 (р, Q)/dp является постоянной и интервал, на котором справедливо (5.6.30), имеет нулевую протяженность (см. рис. 5.6.1, б). Этот частный случай является довольно искусственным и имеет место только для каналов без шума (для которых Н (Х|У) = 0) и для некоторых других довольно специфических каналов, таких, как изображенный на рис. 5.6.1, б).
Для обычного случая, в котором д2Е0 (р, Q)/dp2 < 0, параметрические равенства (5.6.31) имеют силу на ненулевом интервале скоростей. Из (5.6.32) и (5.6.31) имеем д2Ет (R, Q)/дЙ2 = =г-[д2Е0 (р, Q)/dp-]~l > 0 п, следовательно, функция Er(R, Q) является
