Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
50
В, Р
В'г /
Bj
взаимную информацию между двумя ансамблями X и Y следующим образом:
I (X; Y) = sup / (Ху, Yp), (2.5.1)
/ 2 Г,у (Л В,) log -gggfc ¦ (2.5.2)
где верхняя грань берется по всем разбиениям ансамбля X и всем разбиениям ансамбля Y.
Покажем теперь, что при дальнейшем подразбиении разбиения X или Y величина / (Хр; Yp) не может уменьшиться. Для того.чтобы показать это, рассмотрим рис.
2.5.1. На этом рисунке \'Рг хр Ypz Vpf
является подразбиением YPt в Aj том смысле, что событие Въ принадлежащее YPl, подразби- |
вается на В\ и В12 из YPz. Как А~
мы уже отмечали при исследо- к
вании, связанном с рис. 2.3.2, Рис. 2.5.1. Эффект подразбиения.
I (Хр\ УРг) >/ (Хр\ YPi), и то же
самое доказательство, очевидно, может быть применено независимо от того, как подразбиваются события разбиения YPl. Те же соображения можно применить к X, изменяя роли X и Y.
Из приведенного выше результата видно, что I (X; Y) можно истолковать как предел соответствующим образом выбранной последовательности все более и более тонких разбиеиией, и, таким образом, для дискретных ансамблей и ансамблей с хорошими плотностями вероятностей определение (2.5.1) сводится к уже данному определению.
Так как уже было доказано, что I (Хр-, Yp) является неотрицательной функцией, то из равенства (2.5.1) следует, что I (X; Y) является неотрицательной. Более того, ансамбли X и Y статистически независимы тогда и только тогда, когда все разбиения ансамблей статистически независимы, и, таким образом, I (Х\ Y) = 0 тогда и только тогда, когда X и Y статистически независимы. Это доказывает теорему 2.3.2 в общем случае.
Для совместного ансамбля XYZ введем подобное определение
I (Х\ YZ) = sup I (ХР- Y},Zp), (2.5.3)
где верхняя грань берется по всем разбиениям пространства X, всем разбиениям пространства Y и всем разбиениям пространства Z. В этом определении имеется одна тонкость. Получим ли мы тот же самый результат, если будем понимать YZ как единый ансамбль, а не как совместный ансамбль? Другими словами, если разобьем совместное пространство YZ, а не раздельно пространство Y и пространство Z, изменит ли это значение верхней грани? К счастью, теорема Добрушина**
*) Формулировку п доказательство этой теоремы см. у Пинскера (1960), стр. 10. Мы предполагаем здесь, что пространство YZ и его события представляют
собой произведение индивидуальных пространств и их событий (см. Халмош (1953)).
51
(1959) показывает, что мы получим тот же самый результат в обоих случаях.
И, наконец, средняя условная взаимная информация определяется
как
I (X;Z\Y) = / (X; YZ) — I (X; Y). (2.5.4)
Это определение не является столь же общим, как наше определение
I (X; Y); трудность состоит в том, что I (X; Z | Y) является неопреде-
ленной, если как 7 (X; YZ), так и I (X; Y) являются бесконечными. Пинскер (1960) дал общее определение, основанное на теории меры, однако нам оно здесь не понадобится. Пример, показывающий, почему 7 (X; Z | Y) нельзя разумно определить как sup I (Хр, Zv | Yp), см. в задаче 2.27.
Определение (2.5.4) также оставляет некоторые сомнения относительно того, удовлетворяется ли равенство
I (X; Z\Y) = I (Z; Х \ Y). (2.5.5)
Для того чтобы показать, что (2.5.5) удовлетворяется всегда, когда выражения являются определенными при любом заданном s>0, выберем разбиения, для которых:
7 (X; YZ) — е < 7 (Хр; YpZp) < 7 (X; YZ),
I (X; Y) - e < 7 (Xp; Yp) < 7 (X; Y),
I (Z; FX) - e < / (Zp; YPXP) < 7 (Z; FX),
7 (Z; F) - e < I (Zp\ Yp) < 7 (Z; F).
Очевидно, что четыре различных разбиения могут быть выбраны так, что каждое из них будет удовлетворять одному из написанных выше соотношений, и любое разбиение, которое является подразбиением каждого из этих четырех разбиений, удовлетворяет одновременно всем четырем равенствам. Из равенства (2.5.4) следует, что это разбиение будет удовлетворять условиям
| / (X; Z |F) — / (Хр; Zp | Yp) |< е, (2.5.6)
| / (Z; X | F)-7 (Zp, Хр ] Fp) | < е. (2.5.7)
С другой стороны, так как 7 (Хр; ZP\YP) = I (Zp; Хр | Yp), то отсюда следует, что
II (X; Z\Y) — I(Z-X\ Y) | < 2е. (2.5.8)
Так как е > 0 можно выбрать произвольно малым, то из этого неравенства вытекает справедливость (2.5.5).
В качестве примера использования этих определений и для того чтобы показать, что 7 (X; F) может быть бесконечным, рассмотрим ансамбль, в котором л: равномерно распределена на единичном интервале и у — х с вероятностью единица. Разбив пространства X и У на
