Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 63

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 57 58 59 60 61 62 < 63 > 64 65 66 67 68 69 .. 355 >> Следующая


— Н (UL | s0) > Ноо (U) = lim — Я (U L). (4.6.19)

L L-+ jo L>

Используя (4.6.19) и определение N [см. (4.6.12)] совместно с (4.6.18), имеем

<Ре (s0)> log (М- 1 ) + Ж «Ре (s0)>) > Я» (?/)—^ / (X"; \N | s0).

(4.6.20)

Теперь можно связать (4.6.20) с верхней и нижней пропускными способностями канала. В соответствии с определением (4.6.7) имеем

— / (XN; | s0) ^ Сдг для всех s0. (4.6.21)

120
Подставляя (4.6.21) в (4.6.20) и переходя к пределу при L-+00, Af->oo, получаем для всех s0:

<Ре (s0)> log (М-1 ) + Ж«Рв (s0)>) > (U)-^C. (4.6.22)

тс

Важно отметить, что при выводе (4.6.22) не было сделано предположения о независимости \N и s0. Физически это означает, что (4.6.22) остается справедливым даже, если устройство обработки входных данных знает начальное состояние канала и использует это при отображении последовательности источника в последовательности на входе канала. Точно также неравенство (4.6.22) остается справедливым вне зависимости от того, использует или нет устройство обработки данных на выходе начальное состояние при отображении последовательностей у в последовательности v.

Для того чтобы связать (4.6.20) с нижней пропускной способностью канала, нужно сделать дополнительное предположение в том, что \N не зависит от начального состояния s0. Теперь, используя определение Сдг, получаем, что для некоторого начального состояния s0:

I (XN; Yw|s0)<Cw. (4.6.23)

Так как согласно теореме 4.6.1 CN ^ С + (log A)/N, то получаем, что для любого N и некоторого s0

<Ре (s„)> log (М-1) 4-Ж«ре (s0)>) > Нх (U)-^-

(4.6.24)

Если имеется распределение вероятностей q0 (s0) на начальных состояниях, то <Ре (s0)> можно усреднить и получить общую вероятность ошибки на букву источника

<^> = 2?o(so)<pe(s0)>-

«о

Если qmin является наименьшей из этих вероятностей начальных состояний, то <Ре> ^ qmin <Pe(so)> Для каждого начального состояния, и для (4.6.24) можно получить следующую границу:

-^log {М—\) + Ж (

“tnin. V “min /

c+ 1о8Л

N

(4.6.25)

Соотношения (4.6.24) и (4.6.25) не обязательно справедливы в случае, если устройство обработки данных на входе может использовать начальное состояние, однако они остаются в силе независимо от того, использует или нет устройство обработки данных на выходе какие-либо сведения об этом состоянии. Эти результаты можно подытожить следующей теоремой.

Теорема 4.6.2. Пусть дискретный стационарный источник с алфавитом объема М производит одну букву каждые т8 сек и имеет предельную энтропию на букву Нх (U). Пусть канал с конечным числом состояний с верхней пропускной способностью С и нижней пропускной

12}
способностью С используется один раз каждые тс с. Если в пределе при L—yoо последовательность источника из L букв связана с последовательностью адресата с помощью jV = (________Lts/tc J-кратного ис-

пользования канала [т. е. имеют место равенства (4.6.13) и (4.6.14)], то независимо от начального состояния канала вероятность ошибки на букву источника удовлетворяет (4.6.22). Если в дополнение ансамбль на входе канала XN не зависит от начального состояния, то для каждого значения N существует некоторое начальное состояние, для которого справедливо (4.6.24). Если, кроме того, имеется распределение вероятностей начального состояния с наименьшей вероятностью Ят1п, то справедливо (4.6.25).

Неразложимые каналы

Определим теперь обширный класс каналов, известных как неразложимые ККЧС, для которых С — С. Грубо говоря, неразложимым ККЧС называется такой ККЧС, для которого влияние начального состояния исчезает со временем. Точнее, пусть

qN (sN | х, s0) = 2 Pn (у, sN | x, s0). у

ККЧС является неразложимым, если для любого сколь угодно малого е > 0 существует такое N0, что для всех N ^ N0 справедливо

so)~ 9w(swlx-so)Ke (4.6.26)

при любых sN, х, s0 и So-

Читателю предлагается проверить, что каналы, представленные на рис. 4.6.3 и 4.6.5, не являются неразложимыми. Можно заметить, что канал на рис. 4.6.2 является неразложимым и, в действительности, левая часть (4.6.26) равна нулю для всех 1. Ниже будет показано, что канал на рис. 4.6.1 также является неразложимым.

При фиксированной последовательности на входе (хг, х2, ...) можно рассматривать последовательность состояний (s0, Si, ...) как неоднородную цепь Маркова. Чтобы избежать нагромождения обозначений, в последующем изложении мы опустим зависимость от входной последовательности и, например, будем использовать обозначение q (Sjv | s0) вместо qN (sn | x, So)*’. Будем интересоваться зависимостью q (Sn I s0) от s0 при больших N. В качестве меры этой зависимости определим расстояние dN (so, So) следующим образом:
Предыдущая << 1 .. 57 58 59 60 61 62 < 63 > 64 65 66 67 68 69 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed