Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
2.12. Требуется найти максимум Н (X) при двух ограничениях 2.пРх (п) = = А и 'Е.Рх (п) = 1. Не будем учитывать дополнительное условие Рх (п) > 0 для всех п > 0 и будем надеяться, что решение, удовлетворяющее другим ука-19* 579
занным условиям, удовлетворяет также этим последним неравенствам. Используя множители Лагранжа, будем иметь
= 0,
дР (п)
2 —Р(п) logР{п)—Х ^ пР(п) — у 2
<7=0 п«=0 П=0
log Р (ti) — log е — hti —у = 0, Р (л) = e2'Xn-v = Вхп,
где В и х должны быть выбраны так, чтобы удовлетворялись эти условия. Имеем
В . _ _ . Вх
s Р(л) =
Отсюда
= 1. 2лР(л) =
I / Л \Я
Рх(п) =-------- ------- , «=0,1
хк ’ 1 + А ^ 1 +AJ
(1-х)3
=А.
То что это распределение действительно максимизирует Н (X) (а не является просто стационарной точкой), легче всего проверить с помощью свойств выпуклых функций, описанных в § 4.4.
2.13. Постоянное предсказание отсутствия дождя не дает никакой информации о погоде. Не следует думать, однако, что синоптик, в идеале, должен заботиться о максимизации средней взаимной информации в своих прогнозах.
2.14. Так как Рх (ам) =а, то
м— 1
Н (X) = —a log а— ^ рх (аг) *°8 РХ (а0 ^ ~а *°§ а~
1= 1
^ Ру (а-) -(1_а) 2 -iLLii
г = 1 1—а
Р у (а.) log——!— + log (1—а) 1—а
= —а logа-
— (1—а) log <1— а)+ (1— а) Я (7).
Из теоремы 2.3.1 следует, чт"! Н (Y) < log (М — 1), поэтому
Н (X) < —а log а — (1 —а) log (1 —а) -f (1 —а) log (М — 1).
2.15. Пусть X является ансамблем с вероятностями Р (ад), 1 < k < К.
Без потери общности можно предположить, что Р (ах) > Р (а2) и пусть Y является ансамблем с вероятностями
где 0<е <
Покажем теперь, что H(Y)^>H(X). Имеем
Р(аi)—e, P(e2)-fe, Р (а3)..........Р(ак),
Р (ai) — Р (аг)
2
Н (X) —Н (Y) = —Р (а0 log Р К)-Р (а2) log Р (в*) +
+ [Р (ai) —е] log [Р К)—е] + [Р (аа) + е] log [Р (а2) + е] =
Р (aj)—е P(a2)-fe Р (а{) — е
= P(aj) log — --- — -f Р (а2) log —-/_-ч- —е log
Р (aj) Р (а2)
Используя неравенство log;c<(;c—1) log е, получим
’ Р (а2) + е
Н (X)-Н (Y) < (log е) [Р М -е-Р М + Р (a*) + е -Р (в2)] -
-е log
РЮ-^е
P(a2) -f е 2.16. (ai< b{) = 1/2,
P.xy (ai> ^2) =1U>
PXY
PfaJ—e
-e log - ¦ —---< 0.
Р(я2) -f e
580
В этой задаче нужно показать, что возможны случаи, когда наблюдения некоторых букв из У'-ансамбля увеличивают неопределенность относительно Х-ан-самбля. Легко, однако, показать, с помощью того же самого доказательства, что и в теореме 2.3.5, что сумма
Sn ; . , , . Р (®h 1 bj)
Р (oft I bj) log--------------L
k P(ah)
всегда неотрицательна. Дальнейшие рассмотрения, связанные с этими частичными средними значениями, см. Blachman N. М., IEEE Trans., IT-14. January, 1968, 27—31.
2.17. (a) Это неравенство равносильно неравенству
2 р к) log о,
*=1 Р (ч)
которое сразу же следует из неравенства log х < (log е) (х ¦— 1).
(б) Вновь используя то же самое неравенство, будем иметь
0<2р K)log^7^-<[loge] Е'~~-2РЫ
’ Q (аь)
V Р2 (ah)
k Q (ak) k
Vi P2 (ад) P2 (аь)
0 < 2j —— — 1, 2 —— > 1 • k Q(ah) k Q(ah)
2.18. (a) Согласно (2.3.15) для последовательных каналов, изображенных на рис. 2.3.2, I (X; Y | Z) = 0. Это означает, что X и Y становятся независимыми при условии, что задано значение Z, т. е. для каждой пары yz, имеющей ненулевую вероятность,
Р{х\уг)=*Р(х\г). (I)
Из (2.3.17) следует, что / (Х\ Z) = I (X; Y) для последовательных каналов тогда и только тогда, когда I (X; Z \ Y) = 0, что имеет место тогда и только тогда, когда для каждой пары уг, имеющей ненулевую вероятность,
P(x\yz)^P(x\y). (II)
Из (I) и (II) получаем, что I (X; Z) = I (X; Y) тогда и только тогда, когда для каждой пары уг, имеющей ненулевую вероятность,
