Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 165

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 159 160 161 162 163 164 < 165 > 166 167 168 169 170 171 .. 355 >> Следующая


Если выходное пространство канала — действительная прямая и канал описывается плотностью вероятности pY\х (у \х), то выходное пространство можно разбить на интервалы, подразбить интервалы на все более мелкие интервалы и в пределе получить

°° Г

Е0( р, Хф У) = — In J dy \liQ(ak)PY\x(y\ah)

*- »

1 +P

(7.2.22)

To что правая часть (7.2.22) действительно является, верхней гранью Е0 (р, Xd, Yp) по всем разбиениям Y, следует из тех же соображений, которые были использованы при рассмотрении (7.2.20); при этом применяется интегральная форма неравенства Минковского*)

S ^[2QK)^ix(y|a,),/(1 + p)]1+P<

уев.

<f2QK)[ j pY\x{y\ ah) dy

1иев.

i/(i+p)'|1 + p

= {|?ЫЯпИ^|ай)1/(1 + р)}1 + Р.

(7.2.23)

Суммируя обе части по /, получаем желаемый результат.

Это сводит проблему нахождения Ет (R) для канала с переходной плотностью вероятности к проблеме вычисления выражения

Er(R)= sup sup[?’0(p, Xd, Y) — pR], (7.2.24)

0 < p < 1 xd

где Eо (p, Xd, Y) определено (7.2.22). Очень мало можно сказать в общем случае о нахождении верхней грани Е0 (р, Xd, Y) по всем дискретным входам. В некоторых случаях (см. задачу 7.5) Е0 (р, Xd, Y) достигает максимума на дискретных входах и в этом случае условия

См. Харди, Литльвуд и Полна (1934), теорема 201.

340
(5.6.37) и (5.6.38), обобщенные на непрерывный выход, указывают, что максимум достигается. В других случаях (см. задачу 7.4) верхняя грань по Е0 (р, Xd, Y) достигается в пределе, когда Xd стремится к плотности вероятности на входном пространстве, и, используя (5.6.37) и (5.6.38), эту оптимальную плотность вероятности можно иногда найти*). В задаче 7.3 обращено внимание на одну особенность функции Е0 (р, Xd, Y), где показано, что

sup Е0 (р, Xd, Y) ха

может быть разрывна по р в точке р = 0. Это указывает на существование каналов с бесконечной пропускной способностью, но с конечным показателем экспоненты случайного кодирования.

Рассмотренная в § 5.7 граница случайного кодирования для процедуры с выбрасыванием обобщается на общие дискретные по времени каналы без памяти таким же образом, как и граница случайного кодирования.

Определим следующие величины:

Ех(р, Xd, Ур) =

= -Р In 2 Q (ah) Q (atf'ZVPy | x (Bj] ah) PY , x(Bj | a;)Fp, (7.2.25)

k, i L i

Eex(R') = sup[ — pR' + Ex(p, Xd, Yp)], (7.2.26)

где верхняя грань берется по p^l, Xd и Ур. Тогда для любых R0, N ^ 1 и Е < Еех (R') существует блоковый код длины N с М =

— Г /Аемк~| кодовыми словами, для которого

Ре,т^ехР (— NE) для всех т, (7.2.27)

Доказательство этого неравенства аналогично доказательству теоремы 7.2.1.

7.3. ОГРАНИЧЕНИЯ НА ВХОДЕ

В § 7.1 мы определили ограничение на энергию, как ограничение на среднеквадратическое значение входных сигналов. Здесь рассматривается несколько более общая задача. Пусть X — входное пространство дискретного по времени канала без памяти и пусть f (х) — действительная функция, определенная на входных буквах. Ограничение при использовании канала сводится к тому, что математическое ожидание f (х) меньше или равно некоторому фиксированному значению &. Если X—множество действительных чисел и f(x)=x2, то получается описанное выше ограничение на энергию. В более общем случае, например, X может быть классом функций х (/), a f (х) может быть j х2 (t) dt или любым другим функционалом от х (/).

С точки зрения теории кодирования следует более точно объяснить, что означает ограничение на математическое ожидание f (х). Одна

*> В этом случае достаточность условий (5.6.37) и (5.6.38) все еще имеет место, хотя доказательства гл. 4 и 5 не проходят.

341
нз разумных интерпретаций этого ограничения состоит в том, что каждое кодовое слово удовлетворяет этому ограничению, т. е. для каждого кодового слова хт = (хт, .....хт, n), требуется, чтобы

2 f(xn,m)<N&.

п = 1

Другая разумная интерпретация состоит в задании вероятностной меры на сообщениях Рг (т) и требовании, чтобы

2 РГ (т) 2 N$-

т=1 п= 1

Заметим, что класс кодов, для которого каждое кодовое слово удовлетворяет ограничению, содержится в классе кодов, для которых удовлетворяется ограничение при усреднении по кодовым словам. Таким образом, любая вероятность ошибочного декодирования, которая может быть достигнута на некотором коде первого класса, может быть также достигнута на коде (в частности, на том же коде) последнего класса. Обратно, любая нижняя граница вероятности ошибки последнего класса также будет нижней границей первого класса. Поэтому теорема кодирования будет доказываться при ограничении на каждое кодовое слово, а ее обращение — когда удовлетворяется ограничение только при усреднении по множеству кодовых слов. Таким образом, каждая теорема будет применима к обоим случаям, и будет показано, что нет существенной разницы в том, какой
Предыдущая << 1 .. 159 160 161 162 163 164 < 165 > 166 167 168 169 170 171 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed