Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Н(Х)=% Px(ah) log—(2.2.14)
*=i px(ah)
= — 'ZP(x)\ogP(x). (2.2.15)
X
Имеется некоторое дополнительное основание для использования здесь символа Н, кроме того, что в теории информации это обозначение используется почти всегда. Энтропия ансамбля тесно связана с энтропией, используемой в статистической термодинамике, и фактически является таковой (с точностью до аддитивной постоянной) при интерпретации множества ah как множества элементов фазового пространст-
ва, имеющих бесконечно малые равные объемы*1. К счастью, энтропия в теории информации является понятием значительно более простым, чем в термодинамике.
Условная собственная информация также является случайной величиной на совместном ансамбле XY и имеет среднее значение, задаваемое равенством
H(X\Y) = 2P(x,y)I(x\y)=-2P(x,y)logP(x\y). (2.2.16)
х.У х,у
Ее можно интерпретировать как среднюю информацию (по х и у), которая требуется для того, чтобы определить х, если известно у.
Если равенство (2.2.13) усреднить по ансамблю XY, то можно найти, что средняя взаимная информация между х и у равна разности между энтропией X и условной энтропией X при заданном Y
I (X; Y) = Н (X) — Н (X\Y). (2.2.17)
Это равенство показывает, что / (X; Y) можно интерпретировать как среднюю неопределенность X, которая снимается после-наблюдения исхода ансамбля Y; Н (X | Y) представляет собой среднюю оставшуюся
¦неопределенность X после наблюдения. ....
' МожнсГ'пблучить еще некоторое соотношение между собственной и взаимной информацией, если рассмотреть совместный ансамбль XY как единый ансамбль, элементами которого являются^ пары х, у сов-
*'> См., например, R. С. Tolman, The Principles of Statistical Mechanics, стр. 168 (величина H у Толмана является отрицательной энтропией).
36
местного выборочного пространства. Собственная информация, содержащаяся в паре х, у, равна --
I (х, У) = —log Р (х, у). (2.2.18)
Так как Р (х, у) — Р (х)Р (у j х) = Р (у)Р (х\у), то получаем
I (х,у) = I (х) + I (у\х) = /(*/) + / (х\у). (2.2.19)
Взаимная информация может быть также выражена через I (х, у) следующим образом:
I (х; у) = I (х) + I (у) - I (х, у). (2.2.20)
Усредняя эти выражения по совместному ансамблю ХУ, находим
Н (XY) = И (X) + Я (У | X) = Я (Y) + Я (X | У), (2.2.21) I (X; У) = Я (X) + Я (У) — Я (ХУ). (2.2.22)
Пусть теперь ии ..., uN будут исходами совместного ансамбля Ux ... UN. Условная взаимная информация между щ и и2 при условии, что задано и3, определяется в соответствии с (2.2.1) как
/(%;«2К) = log^ii^= (2.2.23)
Р (“1 I “з)
= I (iii ] «з) ^ (% I ^2> ^з)- (2.2.24)
Для средней условной взаимной информации теперь получаем
/ № и,\и,)=222р («ь-.) i«g = (2'2'25)
и, и, «, И (“1' “з)
= Я (?/а I г/3) ¦- я I t/2 ?/3). (2.2.26)
Мы могли бы здесь получить неограниченное число соотношений между условной и безусловной взаимной и собственной информациями, используя совместные исходы вместо отдельных исходов в этих выражениях. Одно из соотношений, представляющее определенный интерес, состоит в том, что взаимная информация о некотором частном исходе иъ содержащаяся в некоторой частной паре исходов и2и3, равна информации о «!, содержащейся в и2, сложенной с информацией о иъ содержащейся в и3 при условии, что задан и2. Чтобы показать это, рассмотрим
I (иг, «а) +1 (ий «з I «2) = log +
Р(и i)
+ log = log _ 7 („i; „з)> (2.2.27)
P («11 “2) P (“1)
Второе соотношение, следующее из цепной формулы для вероятности
Р (и j, и2, ..., uN)=--P(u^)P(u2\ulf.. P(uN\uu ..., Un-i),
имеет вид
I (иъ щ, ..., uN) = / (их) + / (ыа I ui) + ... +I(uN |«i, ..., uN-i). (2.2.28)
37
Усредняя (2.2.27) и (2.2.28) по совместному ансамблю, получаем
I (Ui; U, Ua) = I (U,; U,) +1 (UL; U, | U2), (2.2.29)*>
H(Uly и2, ..., U N) — Н (Ui) -f Н (U21 Ux) + ... +
+ H{UN\U1 ... UN-i). (2.2.30)
Пример 2.3. Рассмотрим опять канал, изображенный на рис. 2.2.1, но будем использовать его три раза подряд, так что входом будет последовательность ххх2х3 трех двоичных символов, а выходом —¦ последовательность УхУгУз трех двоичных символов. Предположим также, что входная последовательность строится так, что один и тот же символ повторяется трижды: последовательность ахахах используется с вероятностью 1/2, и последовательность а.2ага2 с вероятностью 1/2. Будем считать, наконец, что канал действует независимо на каждый Рис. 2.2.1. Двоичный сиы- из символов, другими словами, что метричный канал.
