Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
31
пределение, скажем Pur (1) = q и Рц (0) = 1 —q, то вероятность последовательности зависит только от числа единиц, содержащихся в ней. Вероятность каждой из
W4 N1 !’ j\ (N — j)\
последовательностей, содержащих по j символов 1 и N — / символов 0, равна qi (1 — q)N~K
2.2. ОПРЕДЕЛЕНИЕ ВЗАИМНОЙ ИНФОРМАЦИИ
Пусть {а\, ...., ак} будет выборочным пространством X, а {6Ь ..., ...., bj) будет выборочным пространством?" в XY совместном ансамбле с распределением вероятностей PXy (а&. bj), Например, х можно интерпретировать как вход дискретного канала с шумом, а у как его выход. Мы хотим количественно измерить, как много говорит нам о возможности появления некоторого возможного исхода, скажем ak из ансамбля X, появление некоторого возможного исхода, скажем bj, из ансамбля Y. На вероятностном языке, появление y = bj изменяет вероятность х = ak от априорной вероятности Рх (аь.) до апостериорной вероятности Px\y (cik\b])¦ Количественной мерой этого изменения (которая оказывается полезной) является логарифм отношения апостериорной вероятности к априорной. Это приводит нас к следующему фундаментальному определению: информация о событии х = ak, содержащаяся в событии у = bj, равна
Ix.'Y(ah-,bj) = \ogPxlY{“*]b-j). (2.2.1)
Рх (°h)
Основание логарифма в этом определении определяет шкалу, по которой измеряется информация. Наиболее часто употребляются основания 2 и е. При основании логарифмов 2 значение выражения (2.2.1) называется числом бит (двоичных единиц) информации, а при натуральных логарифмах значение выражения (2.2.1) называется числом нат (натуральных единиц) информации. Таким образом, число нат равно числу бит, умноженному на In 2 « 0,693. Так как большинство положений теории и результатов остаются справедливыми при любом основании логарифмов, то основание будет указываться только в случае необходимости.
Если в равенстве (2.2.1) поменять местами х и у, то получаем, что информация о событии у = bj, содержащаяся в событии х — ak, равна
Iv,x(bj-, ak) ----- log (2.2.2)
Ру (bj)
Покажем теперь, используя определение условных вероятностей, что правые части равенств (2.2.1) и (2.2.2) совпадают. Из-за этой симмет-32
рии Iх\ y {a-h\ bj) называется взаимной информацией между событиями х = ak и у = by.
1у. х Ф/, ak) = log рХу(°р*!\ = log Px'Y(“hl-bjl = IX. у (ak\bj). (2.2.3)
Если не будет возникать недоразумений, мы будем пользоваться сокращенным обозначением для информации.о событии х, содержащейся в некотором событии у.
I (х- у) = log (2.2.4)
Р (х)>
Полное оправдание определения информации равенством (2.2.1) станет ясным только в ходе развития теории. Однако следующий пример может дать некоторое интуитивное понимание этого определения.
Пример 2.1. Канал, изображенный на рис. 2.2.1, называется двоичным симметричным каналом. С вероятностью 1 — s выходная буква совпадает с входной, и с вероятностью е она отлична от входной буквы.
В предположении, что входы являются равновероятными Рх (о^) = = Рх (а2) = V2, совместные вероятности задаются равенствами
Pxy (аг, Ьг) ~ РХУ (а2, Ь2) = Х~-,
Pxy (#ъ Ь2)=Рху (а2, Ьх) —
Замечая из этих равенств, что выходные буквы равновероятны, получаем
Px\y (#i | b{) Рх|у (а21 b2) = 1 — s,
Рх\ y (^ \Ь%)=РХ\у (а21 6Х) = е. (2.2.5)
Взаимная информация тогда равна
Ix; Y (ах, Ьх) = Ix; y (а2, Ьй) = log (2 (1 — е)), (2.2.6)
1х¦ Y (ах, b2) = Ix; Y (а2; bx) = log (2е).
При е = 0 канал на рис. 2.2.1 является бесшумным; его выход полностью определяет вход. При 8 = 1/2 канал полностью зашумлен; его вход и выход являются статистически независимыми. Предположим теперь, что е достаточно мало, много меньше чем Ч2, и предположим, что х — а1у и у = Ьг. На выходе канала прием™ буквы Ьх делает вероятность того, что а1 была послана много большей соответствующей вероятности для а2, и из соотношений (2.2.6) видно, что информация, содержащаяся в у = Ьх относительно х = alt является в этом случае положительной. Для е = 0 эта информация равна 1 бит в соответствии с тем, что у = Ьх однозначно определяет на приемнике, какая из двоичных букв была послана. Когда 8 увеличивается, эта взаимная информация уменьшается, соответствуя увеличению на приемнике недостатка определенности в том, что был передан х = ах-
2 Зак. 2 10 33
Рассмотрим далее случай, в котором передается х = а.г и принимается у — Ьх. Информация, определяемая равенствами (2.2.6), в этом случае отрицательна (при е < V2), что соответствует тому, что прием Ьх приводит к заблуждению, давая приемнику некоторую степень уверенности в том, что был послан х = alt а не а2. В одном из последующих примеров будет видно, как некоторая последующая положительная информация может исправить неправильное впечатление на приемном конце, вызванное первоначальной отрицательной информацией. Интересно заметить, что при е, стремящемся к 0, эта отрицательная информация стремится к — оо, соответствуя тому, что приемник не только будет находиться в заблуждении, но будет заблуждаться с абсолютной определенностью. К счастью, если е = 0, то это событие не может произойти.
