Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
*> См. задачу 2.22.
48
чайная величина х имеет выборочное пространство (аг,..., ак), а выборочным пространством случайной величины у является множество действительных чисел, то определим Рх (аь) при 1 •< k < К и pY\x (У1 \ ak) для всех действительных чисел ух и 1 <; k <; К. Безусловная плотность вероятности случайной величины у при этом равна
Условная вероятность некоторого значения х при условии, что задано значение ух случайной величины у, для которого pY (й)> 0, равна
Взаимная информация и средняя взаимная информация между л: и у задается соотношениями
Условная взаимная информация определяется аналогичным образом. Все равенства, отмеченные звездочкой в §§ 2.2 и 2.3, остаются, очевидно, справедливыми для этих смешанных дискретных и непрерывных ансамблей.
2.5. ВЗАИМНАЯ ИНФОРМАЦИЯ ДЛЯ ПРОИЗВОЛЬНЫХ АНСАМБЛЕЙ
Предыдущие рассмотрения дискретных и непрерывных ансамблей с плотностями вероятностей оказываются подходящими для того, чтобы иметь дело практически со всеми задачами в теории информации, представляющими технический интерес, в особенности, если использовать некоторые разумные ограничения при рассмотрении более общих случаев. Однако для того чтобы точно сформулировать более общие результаты, не расчленяя их на множество частных случаев, часто желательна более абстрактная точка зрения. Детальное представление такой точки зрения требует использования теории меры, что выходит за рамки этой книги*’. В этом параграфе будут кратко описаны те результаты, относящиеся к общему случаю, которые могут быть поняты без теории меры. Эти результаты будут использованы в гл. 7 и понадобятся только при исследовании каналов, которые не могут быть описаны с помощью достаточно хороших плотностей вероятностей. Главный результат, который будет получен в этом параграфе, состоит в том,
*) Для знакомства с этой точкой зрения см. Пинскер (1960). Примечания переводчика (Файнстейна) содержат доказательства ряда результатов, полученных в Советском Союзе в этой области, которые не являются широко доступными в переводе на английский язык.
К
M«/i)= 2 Px{ah)pYlx(y1\ak).
k= I 1
(2.4.37)
px i у (ah! У1) -=
PX (ak) Py 1 X (^1 I ah) Py (У1)
(2.4.38)
49
что теоремы и равенства, отмеченные звездочками в 2.2 и 2.3, остаются справедливы в общих случаях.
В терминах теории меры ансамбль X определяется выборочным пространством — множеством событий, каждое из которых является подмножеством элементов выборочного пространства и вероятностной мерой на множестве событий. Множество событий обладает тем свойством, что любое конечное или счетное объединение или пересечение множеств событий является другим событием и что дополнение любого события является другим событием. Вероятностная мера обладает следующими свойствами: каждое событие имеет неотрицательную вероятность, все выборочное пространство имеет вероятность, равную единице, и вероятность любого конечного или счетного объединения непере-секающихся событий равна сумме вероятностей отдельных событий. Для всех задач, имеющих практический интерес*), любое подмножество элементов, которое следует рассмотреть, является событием и имеет вероятность.
Совместный ансамбль XY (или Хг ... Хп) описывается подобным же образом. Элементы совместного выборочного пространства являются парами х, у, а события представляют собой подмножества совместного выборочного пространства. Существует, однако, дополнительное ограничение, состоящее в том, что, если А является событием в выборочном пространстве X, а В является событием в выборочном пространстве Y, то совместное подмножество АВ, соответствующее тому, что х принадлежит А и у принадлежит В, является событием в совместном выборочном пространстве. Отдельные вероятностные меры Рх и PY отдельных ансамблей определяются с помощью совместной вероятностной меры PXy¦ Например, если В совпадает со всем выборочным пространством Y, то
Рх (A) = Pxy (АВ) для каждого события А.
Для того чтобы определить среднюю взаимную информацию между двумя ансамблями, рассмотрим вначале разбиение ансамбля. Разбиение Хр ансамбля X определяется как конечный набор (А 1у А а,..., Ак), К ^ 1, взаимно несовместных событий, объединение которых составляет все выборочное пространство. Физически разбиение может быть истолковано как правило квантования исхода эксперимента. Разбиение Хр можно рассматривать как дискретный ансамбль с элементами Аъ ..., Ак и вероятностями Рх (^l), •••, Рх {Ак}. При заданном совместном ансамбле XY можно рассмотреть разбиения пространства X на Alt ..., Aiс и пространства Y на Вг, ..., Bj, для того чтобы получить совместный дискретный ансамбль XPYP. Совместные вероятности задаются, конечно, с помощью PXY (AkBj). Определим теперь среднюю
*) Однако даже для такого простого ансамбля, как единичный интервал с равномерной плотностью вероятности, математически строго можно показать, что существуют патологические множества точек, которые не являются событиями (см. Халмош (1953) стр. 67; то что мы называем здесь событием, там названо измеримым множеством). Вероятность не может быть приписана тем подмножествам, которые не являются событиями, без нарушения аксиом вероятности.
