Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Как можно заметить из определения (2.2.1), взаимная информация является случайной величиной, т. е. числовой функцией элементов выборочного пространства. Взаимная информация является довольно необычной случайной величиной, так как ее значение зависит от вероятностной меры, однако с ней можно обращаться так же, как с любой другой случайной величиной. В частности, взаимная информация имеет среднее значение, дисперсию, моменты всех порядков и производящую функцию моментов. Среднее значение, которое называется средней взаимной информацией и обозначается / (X; Y), задается равенством1*0
/№П= s s Pxy (ak, bj) log (2.2.7)
А = 1 / = 1 ^ХУак>
В сокращенной записи это равенство имеет вид
I(X;Y)=^P(x,y) log^iiL. (2.2.8)
х у Р(х)
Отсюда видно, что средняя взаимная информация является функцией только ХК-ансамбля, в то время как взаимная информация, которая является случайной величиной, — функцией частных исходов х и у. В примере 2.1 взаимная информация принимает значение log [2 X X (1—б)] с вероятностью 1—е и значение log (2е) с вероятностью е. Средняя взаимная информация при этом равна (1 — е) log [2 (1—е)] + -f е log (2 е).
Интересным частным случаем взаимной информации является тот, в котором появление данного исхода у, скажем у = bj, однозначно определяет, что исходом х будет данный элемент ah. В этом случае
Pxiy (ak | bj) = 1 и Ix-, y (ah; bj) = log -jr^. (2.2.9)
Так как это выражение представляет собой взаимную информацию, требуемую для определения х = ак, то оно определяет собственную
*> В этом выражении и далее во всей книге принимается, что 0 log 0 равно 0. Это соответствует пределу W log W при W, стремящемся к 0 сверху.
34
информацию, содержащуюся в событии x = ah, которая обозначается
/*(**) = log (2.2.10)
В сокращенной записи это равенство имеет вид: I (х) = —log Р (,v).
Собственная информация, содержащаяся в событии х = ah, является, очевидно, функцией только ансамбля X. Собственная информация, содержащаяся в х == ak, всегда неотрицательна и увеличивается с уменьшением Рх (ah)- Она может быть интерпретирована либо как априорная неопределенность события .г = ah, либо как информация, требуемая для разрешения этой неопределенности. Собственная информация сперва казалась более простым понятием, чем взаимная информация, так как она определяется с помощью отдельного, а не совместного ансамбля. Мы определили вначале взаимную информацию отчасти потому, что она естественно обобщается на случай недискретных выборочных пространств, в то время как собственная информация не обобщается, а частично потому, что интуитивное понимание собственной информации фактически невозможно, в терминах отдельного ансамбля. Многие попытки, предпринятые в литературе для эвристической интерпретации собственной информации с помощью индивидуального ансамбля, привели к большой путанице. В частности, исходя из отдельного ансамбля, трудно понять, почему информация и неопределенность не должны быть связаны обратной зависимостью, а должны быть двумя различными взглядами на одну и ту же вещь.
Пример 2.2. Рассмотрим ансамбль X, для которого выборочное пространство является множеством всех двоичных последовательностей заданной длины т. Предположим, что все последовательности равновероятны так, что имеются 2т элементов в выборочном пространстве, каждый с вероятностью 2~т. Собственная информация любого заданного исхода равна при этом
I (х) = —log Р (х) = log 2т = т бит. (2.2.11)
Как и должно быть, согласно интуитивному представлению, требуется tn бит собственной информации для определения последовательности т двоичных цифр; этот пример делает ясной причину появления логарифма в мерах информации.
На совместном ХУ-ансамбле определим условную собственную информацию, содержащуюся в событии х = ah при условии появления у = bj, следующим образом:
<2-2Л2>
Или просто
1 {х\у)= —logP(x\y).
Это является собственной информацией, содержащейся в событии х — ah ансамбля при условии, что у = bj. Ее можно интерпретировать как информацию, которую нужно сообщить наблюдателю для определения х = ak, после того как наблюдатель установил, что произош-2* 35
ло событие у = bj. Объединяя определения (2.2.1), (2.2.10) и (2.2.12), получдем
/ (х\у) = I (х)-1 (х\у), (2.2.13)
т. е. информация об исходе х, содержащаяся в исходе у, равна собственной информации, требуемой для определения исходах, уменьшенной на неопределенность этого исхода х при заданном у.
Точно так же, как и взаимная информация, собственная информация тоже является случайной величиной. Энтропия ансамбля определяется как среднее значение собственной информации и задается равенством
