Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
— Н (X | Y) является неравенство
Я(Х)>Я(Х|Г). (2.3.9)
Знак равенства имеет место тогда и только тогда, когда X и Y статистически независимы. Таким образом, наложение любого условия на
ансамбль может только привести к уменьшению энтропии ансамбля. Важно отметить, что (2.3.9) включает усреднение по обоим ансамблям X и Y. Значение выражения
— ЪР(х\у) \ogP(x\y)
может быть как больше, так и меньше Я (X) (см. задачу 2.16).
40
Применяя неравенство (2.3.9) к каждому слагаемому равенства (2.2.30) и подставляя Un вместо X, a Ult ..., f/„-i вместо Y, будем иметь
Hiu,.....t/*)< 2 H(Un). (2.3.10)
Л=1
Знак равенства будет тогда и только тогда, когда ансамбли статистически независимы.
Теорема 2.3.3*. Пусть XYZ — дискретный совместный ансамбль. Тогда
I(X]Y\Z)^0. (2.3.11)
Это выражение равно нулю тогда и только тогда, когда при каждом заданном г ансамбли X и Y статистически независимы, т. е., когда
Р (х, у I z) = Р (х | г)Р {у | z) (2.3.12)
для каждого элемента совместного выборочного пространства, для которого Р (г) > 0.
Доказательство. Доказательство этой теоремы повторяет доказательство теоремы 2.3.2, если все вероятности заменить на условные при заданном г. |
Из неравенства (2.3.11) и равенства (2.2.26) следует, что
Н (X\Z) > Н (X\ZY). (2.3.13)
Знак равенства будет тогда и только тогда, когда справедливо (2.3.12).
Случай, когда I (X; Y\Z) = 0, имеет несколько интересных интерпретаций. Можно представить себе, что в этом случае имеется пара каналов, соединенных последовательно, как показано на рис. 2.3.2. Ансамбль X представляет собой вход первого канала; ансамбль Z представляет собой как выход первого канала, так и вход второго канала и ансамбль Y является выходом второго канала. Предположим, что выход второго канала статистически зависит только от входа второго канала, т. е., что
Р (У \z) — Р (У \г>х) Для всех х> У>г при Р (г, х) > 0. (2.3.14)
Умножая обе стороны равенства на Р (х\ г), получаем равенство (2.3.12) так, что
/ (X; У | Z) = 0 . (2.3.15)*
Для такой пары последовательных каналов разумно ожидать, что средняя взаимная информация между X и Y будет не больше, чем информация, проходящая через каждый отдельный канал. Покажем, что это справедливо на самом деле. Из равенства (2.2.29) получаем следующие равенства:
I (X; YZ) = / (X; Y) + / (X; Z\Y) = (2.3.16)*
= / (X; Z) + / (X; Y | Z). (2.3.17)*
41
Приравнивая правые части и используя (2.3.15), будем иметь
I (X; Z) = I (X; Y) + I (X; Z\Y). (2.3.18)*
Из (2.3.11) следует, что I (X; Z|]F) ^ 0, и, таким образом, равенство
(2.3.15) означает, что
/ (X; Z) > / (X; Y). (2.3.19а)*
Принимая во внимание симметрию равенства (2.3.12) относительно
X и Y, получаем также, что
I (Y) Z) > I (X; Y). информацию в неравенстве (2.3.19а) через
Выражая находим, что
Я (X) — Я (X | Z) > Я (X) — Я (X | Y), Я (X|Z) < Я (Х|У).
Средняя
(2.3.196)*
энтропии,
(2.3.20)
Рис. 2.3.2. Последовательное соединение каналов.
неопределенность Я (X | Z) относительно входа канала при заданном выходе называется неопределенностью для канала и, таким образом, неравенства (2.3.20) дают согласующийся с интуицией результат, что эта неопределенность для канала никогда не может уменьшаться при движении от входа по последовательно соединенным каналам.
Неравенства (2.3.19) и (2.3.20) становятся до некоторой степени более удивительными, если интерпретировать второй блок на рис. 2.3.2 как устройство обработки данных, обрабатывающее выход первого блока, который в данном случае является каналом. Независимо от того, является ли эта обработка ансамбля Z детерминированной или вероятностной, она не может уменьшить неопределенность X или увеличить взаимную информацию о X. Это не означает, что никогда не следует обрабатывать выход канала и фактически обработка обычно необходима для того, чтобы как-либо использовать выход канала. Вместе с тем это означает, что среднюю взаимную информацию следует истолковывать как среднюю меру находящихся в распоряжении статистических данных, а не в терминах полезности представления. Этот результат будет обсужден более подробно в гл. 4.
2.4. ВЕРОЯТНОСТЬ И ВЗАИМНАЯ ИНФОРМАЦИЯ ДЛЯ НЕПРЕРЫВНЫХ АНСАМБЛЕЙ
Рассмотрим ансамбль X, определяющий случайную величину х, принимающую значения из выборочного пространства, образованного множеством действительных чисел. Вероятностная мера на этом пространстве проще всего задается с помощью функции распределения
