Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 163

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 157 158 159 160 161 162 < 163 > 164 165 166 167 168 169 .. 355 >> Следующая


(7.1.3)

335
канала в виде параллельного соединения каналов с дискретным временем.

В следующих параграфах сначала будет проведено исследование каналов без ограничений (или при наличии амплитудных ограничений) на входы, затем каналов с ограничениями на входы и затем изучено несколько примеров, в том числе важный пример канала с аддитивным гауссовым шумом.

7.2. ОТСУТСТВИЕ ОГРАНИЧЕНИЙ НА ВХОДЕ

Как было показано, если ограничиться конечным множеством букв на входе и произвести разбиения на выходе, то общий дискретный по времени канал без памяти можно использовать как дискретный канал без памяти. Таким образом, любая вероятность ошибки, которая может быть достигнута с помощью кодирования в любом таком дискретном канале без памяти, может быть достигнута и в общем канале при использовании его как соответствующего дискретного канала.

Для заданного дискретного по времени канала без памяти пусть Xd — конечное множество входных букв канала (аъ ..., ац) с вероятностями Q (ах), ..., Q (ак). Пусть Yp — разбиение выходов канала на события Въ ..., Bj. Совместный ансамбль XdYp имеет совместное распределение вероятностей Q (ак) PY\x (Bj \ ak) и среднюю взаимную информацию (в натуральных единицах)

к J Pv I x(Bj I ak)

I (Xd- Yp) =2 2? К) Ру I X (Bj I ah) ln F y|* Jl--------------

k--=\j=\ v

Q (ai) Py I X (Bj I flj)

i = 1

Определим функцию E0 (p, Xd, Yp) с помощью равенства

j

E0(p,Xd,Yp) =-In 2

i = i

к

^Q(ah)PY]X(Bj\ahy/^ + P)

k= l

i + p

(7.2.1)

(7.2.2)

Согласно теореме (5.6.2) существует блоковый код длины N с М = eNR кодовыми словами, для которого при переходных вероятностях канала Ру\х (Bj | ak) вероятность ошибки удовлетворяет неравенству Ре^ехр {— N [Ео (р, Xd, Yp) — pi?]} для всех р, O^p^l. Это приводит нас к определению показателя экспоненты случайного кодирования для данного дискретного по времени канала без памяти

Er (R) — sup [?0(p,Xd, Yp) — pR]. (7.2.3)

Верхняя грань берется по всем конечным выборам входных букв, всем распределениям вероятностей входных букв, всем разбиениям выходного пространства и всем р, O^p^l. Аналогично определяется пропускная способность канала (в натуральных единицах):

С = sup/(Xd; Yp), (7.2.4)

где верхняя грань определяется как и выше.
Теорема 7.2.1. (Теорема кодирования.) Пусть для дискретного по времени канала без памяти Ет (R) и С определены равенствами (7.2.3) и (7.2.4). Для любых R ^ О, N ^1 и Е < Ет (R) существует блоковый код длины N с М = | eNR~| кодовыми словами, для которого

Pe<exp(—W?). (7.2.5)

м

Здесь Ре = 2 РгИРе,т

т= 1

— средняя вероятность ошибки; Рг(/я) — вероятность передачи m-то кодового слова; Ре_ m — вероятность ошибки для m-то кодового слова. Кроме того,

Ет (R) > 0 для всех R, 0 < < С. (7.2.6)

(,Замечания. Неравенство (7.2.5) утверждает, что для заданных N, R можно либо найти коды, для которых Ре^ехр[—NEr(R)], либо, по крайней мере, найти коды, для которых Ре сколь угодно близко к ехр [—NEr (?!)]. Альтернативное утверждение состоит в том, что для заданных N, R имеем inf Ре^ехр[—NEr(R)], где нижняя грань берется по всем кодам с заданными N и R.)

Доказательство. Для заданных N, R и Е < ЕТ (R) выберем р, Xd и Yp так, что

E0(p,Xd,Yp)-pR^E. (7.2.7)

Это всегда возможно, так как Е строго меньше, чем верхняя грань левой части (7.2.7) по р, Xd, Yp. Из теоремы 5.6.2 следует, что для дискретного канала, соответствующего Xd, Yp, существует код с заданными N и R, для которого

Ре < ехр { — N [Е0 (р, Xd, Yp)-pR]}. (7.2.8)

Так как эта вероятность ошибки также может быть достигнута для общего дискретного по времени канала, то из (7.2.7) и (7.2.8) получаем

(7.2.5). Для того чтобы установить справедливость (7.2.6), примем R < С, выберем число Rlt R <С Rx <С С, и выберем Xd, Yp, удовлетворяющие неравенству

I(Xd, Y^R,. (7.2.9)

Из теоремы 5.6.4 следует, что показатель экспоненты случайного кодирования для канала, соответствующего Xd, Yp, положителен при R < Rlt следовательно, Er(R) также положительно для данного R. |

Использование Е <. Ет (R) в (7.2.5) вместо Ет (R) вызывает некоторое раздражение, однако следующий пример (рис. 7.2.1) показывает, что этого нельзя избежать. Легко видеть, что при использовании такого канала любой код будет иметь ненулевую вероятность ошибочного декодирования. Вместе с тем при любых N и R, если использовать только входы L < k ^ L + К, то при достаточно больших L и К вероятность ошибки можно уменьшить до сколь угодно малого
Предыдущая << 1 .. 157 158 159 160 161 162 < 163 > 164 165 166 167 168 169 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed