Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Н(Х)~ a log — + (1—a) log -—^—-f (1 —а)# (У), а 1 — ос
где Y является ансамблем из М — 1 точек с alt оЛ,_1 с вероятностями
PY(aj) = Px(aj)i(l—a); 1.
Показать далее, что
Н (X) < a log — -f (1 —сс) log----f (1 —а) log (М— 1)
а 1 — а
и найти условие, при котором выполняется равенство.
2.15. Энтропия дискретного ансамбля рассматривается как мера неопределенности. Обосновать это истолкование, доказав, что любое преобразование вероятностей двух элементов ансамбля, которое делает эти вероятности более близкими друг к другу, увеличивает энтропию ансамбля.
2.16. Дать пример совместного ансамбля XY, где X имеет выборочным пространством (а^, а2), Y имеет выборочным пространством (61( 62), и
2
Н(Х)+ 2 рх I г («А I bj) lQg рх \y(ak\ bj) k=i
положительно при / = 1 и отрицательно при / = 2.
2.17. Пусть аи___, а^ является множеством несовместных событий и пусть
Р(а{), ...., Р(аЛ) и <?(%), ..., Q(aK) два различных набора вероятностей, приписанных этим событиям
%p(ah)= J]Q(a*) = l
k=\ k=i
Доказать следующие утверждения:
P(ah)
k=i Q (ak)
Выражение в пункте (а) часто называется энтропией Р относительно Q.
521
2.18. Рассмотрите последовательные каналы, изображенные на рис. 2.3.2, и предположите, что I(X; Z) — I(X\ Y), т. е. что никакая информация о входе не теряется во втором канале. Определите 2 буквы в ансамбле 2, например с* и ci, как эквивалентные, если Рх | z(a* | с,) = Рх | г(аь\с{) ПРИ всех
(а) Показать, что 1(Х\ 2) = I(X; Y) тогда и только тогда, когда из неравен-ств Ру | z(b] I ci) > 0 и Py\z(P}\ci) > 0 для какой-либо буквы bj алфавита Y следует, что с; и с; эквивалентны. Другими словами, второй канал не разрушает никакой информации о X, если никакие неэквивалентные буквы алфавита 2 не спутываются во втором канале.
(б) Показать, что если I(X; Z) = I(X; Y), то тот же результат остается справедливым при всех выборах входного распределения Рх(а/г); предполагается, что Рх(аъ) > 0 при всех значениях k (если второй канал понимается как приемник, то такой приемник часто называют достаточным приемником).
2.19. Пусть XYZ является дискретным совместным ансамблем. Установить, справедливы или нет следующие неравенства; в случае справедливости найти условия выполнения равенств:
(а) I(XY; 2) > I(X\ Z).
(б) H(XY\Z) > H(X\Z).
(в) I(X\ Z \ Y) > /(2; У | X) - /(2; Y) + 1(Х; 2).
(г) H(XYZ) — H(XY) < H(XZ) — Н(Х).
2.20. Пусть X, Y и 2 являются ансамблями, каждый из которых содержит по два элемента так, что восемь элементов совместного ансамбля XYZ могут быть рассмотрены как вершины единичного куба.
(а) Найти совместное распределение вероятностей Р(х, у, г), для которого I(X\ Y) = 0 и I(X\ Y\Z) = 1 бит.
(б) Найти совместное распределение вероятностей Р(х, у, г), для которого 1(Х; Г) = 1 бит и I(X; Y | 2) = 0.
Характерным в этой задаче является то, что нет общего неравенства между /(X; Г) и /(Л'; Y 12).
2.21. В совместном ансамбле XY взаимная информация 1(х; у) является случайной величиной. В этой задаче будет рассматриваться дисперсия этой случайной величины D[/(.v; у)].
(а) Доказать, что D[I(x; у)] = 0 тогда и только тогда, когда существует некоторая постоянная а такая, что при всех х, у, для которых Р(х, у) > 0,
Р(х, у) = аРх(х) Ру(у).
(б) Выразить /(X; Y) через а и истолковать частный случай a = 1.
(в) Для каждого из изображенных ниже каналов найти распределение вероятностей Рх(х), для которого I(X; F) > 0, а’ D[1(х\ у)} = 0. Найти I(X; Y).
х ¦' Р(у)х) у
2.22. По определению, гауссовская случайная величина (г. с. в.) с нулевым средним значением и единичной дисперсией имеет плотность вероятности рх(х) «¦
«= (1/^2п) ехр [—х2/2]. То что эта плотность вероятности со вторым моментом,
522
равным единице, следует из табличных интегралов (для вывода см. Феллер (1950), т. 1, гл. VII, § 1)
1у1я ехр i~f~)dx=1, <*>
--ОО
оо
—со
(а) Показать, что если х г. с. в. с нулевым средним значением и единичной дисперсией, то у = а + Ьх имеет среднее значение а, дисперсию Ьг и плотность
1 ( (у—а)2
'хр Г-да-/'
Случайная величина, имеющая эту плотность, называется г. с. в. со средним значением а и дисперсией Ьг.
