Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Ix-y{Xx, j/i) = log (2.4.13)
Рх (хх) Py (Ух)
В принятых сокращенных обозначениях это равенство имеет вид
I(x; у)-= log-?^.g> (2.4.14)
Р (X) Р (у)
44
Иепользуя равенства (2.4.11) и (2.4.12), это равенство можно представить как
= log ?Ш>. . (2.4.15)
Р (X) р (у)
Сходство между определениями информации, предложенными здесь и для дискретных ансамблей, удобно для запоминания, но не дает реального основания для введения этого определения. Для того чтобы дать такое обоснование, проквантуем ось л: на интервалы длины А, а ось у — на интервалы длины б. Получаемые в результате квантованные случайные величины образуют дискретный ансамбль и взаимная информация между некоторым х-интервалом (хг — А, хг) и некоторым «/-интервалом (уг — б, уг) задается равенством
]0g Рг 1*1—А <*<*!, У1—8 <у <yi 1 (2 4 16)
Рг [хг — Л < X < хг] Рг [У! — б < у < г/J Деля числитель и знаменатель на Дб, получаем
•^тРг [хг—Д< х < xlt У1 — 6<У <У1]
log , t -----------------------------------------. (2.4.17)
Y) Pr [*i—Д<* < Xj] Pr [t/i — S < I/ < yi]
Переходя к пределу при А и б, стремящимся к нулю, получаем, что это выражение переходит в определенное выше выражение для Iх-, y (хъ Уг)-
Так же как и в случае дискретных ансамблей, взаимная информация является случайной величиной; ее среднее значение равно
оо оо
I(X;Y)= $ $ р(х, y)log-ES?'«l-dxdy. (2.4.18)
-оо -оо Р (х) Р (У)
Переходя к чуть более общей ситуации, предположим, что выборочное пространство X является множеством л-мерных действительных векторов, а выборочное пространство Y — множеством m-мерных действительных векторов. Если рху (хъ z/i) представляет собой совместную плотность вероятности XY на совместном (п + т)-мерном выборочном пространстве, а рх (*i) и ру (уг) являются плотностями вероятностей на пространстве X и Y соответственно, то Iх- Y (ху, уг) снова определяется равенством (2.4.13) и снова может быть представлена как предел при все более и более тонком квантовании каждого измерения совместного пространства. Средняя взаимная информация I (Х\ Y) задается равенством (2.4.18), где теперь интегрирование распространяется по совместному (п + т)-мерному пространству.
Пусть теперь х, у кг—случайные величины с действительными конечномерными выборочными пространствами и пусть р (х, у, z)—их совместная плотность вероятности. Условная взаимная информация между х и у при заданном z определяется как
I(x;y\z) = log /W'2* (2.4.19)
p(x\z) р(у\г)
45
Эту величину, так же как и I (х\ у), можно представить в виде предела при все более и более тонком квантовании по осям х, у и z. Средняя условная взаимная информация задается равенством
I(X;Y\Z)=^p(x, у, z) log ~ESxjJd?] dx dy dz. (2.4.20) J p(x\z)p(y\z)
С помощью этих определений немедленно получаем все теоремы и равенства, отмеченные звездочками в § 2.2 и 2.3, если использовать приведенные там доказательства и выводы.
При рассмотрении дискретных ансамблей было ясно, что средняя взаимная информация не зависит от обозначений, принятых для элементов отдельных выборочных пространств. Эта инвариантность по отношению к обозначениям свойственна также средней взаимной информации в случае непрерывных ансамблей, хотя это менее очевидно. Чтобы показать это, рассмотрим совместный ансамбль XZ со случайными величинами х и z и пусть у будет некоторым преобразованием 2, т. е. у = f(z). Этот случай можно представить графически (см. рис. 2.3.2), где х — вход канала, 2 — выход канала и у преобразование 2. Так же
как и ранее*), I (X, Y\ Z) = 0, и, следовательно, подобно (2.3.19)
/ (X; Z) > / (X; Y). (2.4.21)
Предположим, далее, что у является обратимым преобразованием z так, что z — f~x (у). Теперь можно рассматривать у как выход канала, а 2 как преобразованный выход, получая при этом
1 (X; Y) ^ / (X; Z). (2.4.22)
Объединяя эти неравенства, получаем / (X; Y) = I (X; Z) и, следовательно, средняя взаимная информация между двумя ансамблями инвариантна к любому обратимому преобразованию одной из случайных величин. В точности такое же доказательство можно, конечно, применить независимо к любому обратимому преобразованию другой случайной величины.
Рассмотрим теперь вопрос о том, можно ли дать осмысленное определение собственной информации для непрерывного ансамбля. Пусть X будет ансамблем, определяющим действительную случайную величину х с конечной плотностью вероятности р (х). Пусть ось х квантуется на интервалы длины А так, что собственная информация интервала (хг — А, хг) равна
