Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 28

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 22 23 24 25 26 27 < 28 > 29 30 31 32 33 34 .. 355 >> Следующая


log---------------. (2.4.23)

PrI*!—’

В пределе при А, стремящемся к 0, Рг [хг — А < х < хх] стремится к величине Арх (х^), которая стремится к нулю. Таким образом собственная информация интервала стремится к оо, при стремлении длины

Здесь имеются некоторые математические тонкости. Так как у однозначно определяется г, то совместная плотность вероятности р(х, г/, г) будет иметь импульсные функции. Это является частным случаем более общих ансамблей, которые будут рассмотрены позже, поэтому оставим эти математические тонкости до того времени.

46
интервала к нулю. Этот результат не является удивительным, если представлять себе действительные числа в виде десятичных дробей. Так как для точного представления произвольного действительного числа требуется бесконечная последовательность десятичных знаков, то следует ожидать, что собственная информация будет бесконечной. Трудность здесь состоит в требовании точного задания действительного числа. С физической точки зрения мы всегда удовлетворены приближенным заданием и любое приемлемое обобщение понятия собственной информации должно включать в себя некоторую желаемую аппроксимацию. Эта проблема будет исследована с фундаментальных позиций в гл. 9, но мы будем использовать термин собственная информация только для дискретных ансамблей.

Для того чтобы иметь дело с различными средними и условными взаимными информациями и производить с ними вычисления, оказывается полезным определить энтропию непрерывного ансамбля. Если ансамбль X имеет плотность вероятности р (х), определим '-энтропию X равенством ~.....' ' ~~ —..—....—

С помощью этих определений подобно равенствам (2.2.17) и (2.2.22) будем иметь

Эти энтропии не обязательно положительны, не обязательно конечны, не инвариантны по отношению к преобразованиям случайных величин и не могут быть интерпретированы как средние собственные информации.

Пример 2.4. Следующий пример на приведенные выше определения будет полезен в дальнейшем при рассмотрении каналов с аддитивным гауссовым шумом. Пусть вход канала х будет гауссовской случайной величиной с нулевым средним значением; плотностью вероятности х будет

Параметр Е является среднеквадратичёским значением или «энергией» входа. Будем считать, что выходом канала у является сумма входа и не зависящей от него гауссовской случайной величины с нулевым средним

/Н(Х)= \ p(x)log-!—dx. (2.4.24)

п ( v\

Аналогично, условная энтропия определяется равенством

00

H(X\Y)= Uр(х, у) log dxdy. (2.4.25)

v d П ( У fj)

I (.X; Y) = H(X)-H(X\Y) = = II (Y) — H (Y | X) =

=H (X) + H (Y) — H (YX).

(2.4.26)

(2.4.27)

(2.4.28)

(2.4.29)

47
значением и дисперсией о2. Тогда условная плотность вероятности выхода при условии, что задан вход, имеет вид

р(у \х) =

1

У 2ла2

ехр

(у—х)г

2 а2

(2.4.30)

Это значит, что при заданном х выход у имеет гауссовское распределение с дисперсией а2, которое сконцентрировано около точки х. Совместная плотность вероятности р (х, у) равна р (х)р (у \ х) и совместный ансамбль полностью определен. Удобнее всего найти среднюю взаимную информацию / (X; У), пользуясь (2.4.27):

Я (У | X) = — ^ Р [х) ^ р {у | х) log р {у | х) dy dx = = j pix)^p{y\ x) j^ogV 2jta2 ' (y ~x)

= f p (x)

2a2

•log e

dy dx

log y"2no2

loge

dx —

= ylog (2jtecr2).

(2.4.31)

(2.4.32)

(2.4.33)

В равенстве (2.4.32) было использовано то, что §p(y\x)(jy— х)Чу равен дисперсии условного распределения, или а2.

Заметим теперь, что выход канала является суммой двух независимых гауссовских случайных величин и, таким образом, является

гауссовской случайной величинои’

1

р(у) =

У 2я (? + ст2)

с дисперсией Е -f a2

ехр

2 (Е+ a2)

Находя Я (У) таким же образом, как Я (У | X), имеем Я(У)=у1оё[2яе(?+сг2)],

/(X; У) = Я (У)-Я (У | X) = | log (l + ~

(2.4.34)

(2.4.35)

(2.4.36)

Отметим, что, когда а2 стремится к нулю, выход у аппроксимирует вход х с возрастающей точностью и / (X; У) стремится к оо. Это следовало ожидать, так как уже было показано, что собственная информация любого заданного выборочного значения х должна равняться оо.

Часто нас будут интересовать совместные ансамбли, для которых некоторые случайные величины являются дискретными, а некоторые— непрерывными. Простейший способ описания вероятностной меры таких ансамблей состоит в задании совместной вероятности дискретных случайных величин, принимаемой для каждого возможного совместного исхода, и в задании условной взаимной плотности вероятности для непрерывных случайных величин при условии, что задан каждый совместный исход дискретных случайных величин. Например, если слу-
Предыдущая << 1 .. 22 23 24 25 26 27 < 28 > 29 30 31 32 33 34 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed