Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
[2?‘/(,+р)|1+р=( 2 П
' т ' [и,,.. .ul 1 — 1
= [2я(о1/<1+р)](1+р)^
Преобразуя последнее выражение в (3), так же как в (5.6.11), будем иметь Ре< ехр [ — №0(Р, Q) + L?s(p)],
Es (P) = (l+P)ln2"(01/<1 + P)-
616
(в) Так как (»') = 1, то Es (0)=0. После некоторых преобразований
i
получим
2жо1/(1+р)1П-^----------------
ЯР ^ ' 2я(01/(1+р)
dEs (Р) _ ___________________I ____________
др 2я(0,/(1+р>
При р = 0 это выражение равно Н (U), а при р > 0 является энтропией множества с вероятностями л (i)l^1+pV2n(l)1^l^,)*, Если эта энтропия не равна
нулю (т. е. если равенство я (i) — 1 не выполняется), то Es (р) возрастает вместе с р. Тривиальиое видоизменение леммы 5Б.1 также показывает, что Es (р) является выпуклой
(г) Ре < ехр (— ЛЧ?0(р, Q) — )iEs (р)]}. (4)
При Q, па котором достигается пропускная способность, имеем
д [Е0 (р, Q)— кЕ0 (р)]
аР
= С — кН (U).
р = 0
Если это выражение положительно, то выражение, стоящее в квадратных скобках (4), является положительным для достаточно малых р>0 и поэтому Ре -*¦ 0 при N -> оо. Отметим, что в наших предыдущих рассмотрениях кодирование для источника и кодирование для канала изучалось отдельно. Представленный здесь результат имеет некоторые методические преимущества при отыскании соотношения между вероятностью ошибки и кодовым ограничением, относящимся как к кодированию для источника, так и к кодированию для канала,
(д) При я(0 = 1М, 0</<Л—1, имеем
1 ^ 1 /(1 + р) А
= р 1п А.
?s(p)=(1+p) In
Поэтому kEs(p) = р =рR.
Для канала без шума (т. е. для канала, в котором для каждой выходной буквы / имеется только одна входная буква k, для которой Р (/| к) > 0) имеем
?о(Р. Q)=P in к,
( 1 1 \
где К является объемом алфавита на входе, a Q = —.......— . Из результата
V а К j
пункта (б) следует, что Ре экспоненциально убывает по L при фиксированном
ЛПп АГ
L/N, если Н (U) <' ¦—^—. Поэтому доказанное равносильно положительному
утверждению теоремы 3.1.1 с дополнительным утверждением об экспоненциальной сходимости по L.
5.17. Пусть Pi (j | к) будут переходными вероятностями в i-м канале и пусть Qi (k) является распределением, на котором достигается максимум Eo.i (р. Q) при заданном р. Обозначим
ai.J(Qi) = 'LQi(k)PlU\k)l^l+(>). (1)
к
Согласно (5.6.37) имеем
^ Pi </I *)1/(1+р) at.} (Q)p > 2 в,. J *(р) (2)
617
с равенством при i, k, для которых Qi(k) > 0. Покажем, что на некотором множестве вероятностей {qt} вероятности qiQi (k) максимизируют Е0 (р, Q). Используя (1), находим, что необходимым и достаточным условием максимума Ео (P. Q) Для суммы каналов будет
9? S Pi (Л А)
1/(1+р)
afj(Q)p >2. й\ + рац (Q)1 + p-
(3)
Это показывает, что qi > 0 при всех i . Подставляя (2) и (3) и используя к, для которого Qi (к) > 0, получаем
(4)
Следовательно,
<7г = -
Р?о,г(Р)/Р ^о(р)/р *
(5)
Наконец, используя то, что 2^ =1, получаем из (5), что
?„(Р)/Р
-0, г
(Р)/Р
(6)
из (5) и (6), очевидно, вытекают соотношения, указанные в задаче.
Данный канал является суммой каналов с Еол (р) = р In (3/2) и?0,а(р) = 0.
3 ¦ ^ :pln(5/2).
Таким образом, ?0(р) = р1п
+ 1
Заметим, что этот канал является одним из довольно необычных каналов, которые рассматривались на стр. 159; в этом канале функция Ет (R) является линейной. Фактически, как ясно из (6), для любой суммы каналов, в которой все составляющие Ет (R) являются линейными функциями, функция Ет (R) также является линейной.
5.18. (а) Для данного декодера правильное декодирование в случае передачи сообщения m происходит, если (хт, у) ? TN и (хт,, у) (j- TN при всех т'фт. Поэтому вероятность ошибки равна вероятности объединения следующих событий: (хт, у) $ TN или (хт,, у) ? TN, т’— 1, или 2,..., или М(т'фт). Таким образом,
Ре,т< Рг[(*яг. У) $ TN j т] + ^ Рг[(хя
т'-Фт
y)tr,v|
(1)
(б) Рг[(хт, у)$Гд,|т] =
Рг
_j_ Р (Уп I хт, п)
N „^1 П “W
е | т
Р (У71 i ХТУ1 71)
При заданном m величины In ------------!— при 1 образуют после-
w (Уп)
довательность независимых одинаково распределенных случайных величин с распределением вероятностей Q (хт>п) Р (уп \ хт,п) и средним значением С. Теперь согласно закону больших чисел имеем
