Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
2
V
jU
i= 1 /=
фj (О
dt--
Xj
N о + Xj
4>j (0
di--
i= 1
j yi,mi^)h(t, x) dx
dt,
где
I J
(t) Ф,- (t).
Это выражение даст требуемую форму ответа, который содержит сначала фильтрацию yi ,m(T) и затем квадрирование и интегрирование выхода фильтра. Те же операции можно, конечно, выполнить на промежуточной частоте, что устраняет необходимость суммирования по ;.
8.23. Пренебрегая тем, что п = STJX может не быть целым числом и для йростоты положив 7\ = Т, имеем
Ео (Р, Т)= ~ Е0(\, Т) =
(1+р)1п(1 +
(1 +V2/V0)3
1п
(1+MVo)
(1 + р) No S
= т1п
-Plnf1 +
V No
1 +
X2
4N0 (No + X)!'
685
Nq
Для малых к имеем ?'0(1, Т)~ SX/4No', для больших X заметим, что ZT0( 1 > Т) стремится к нулю приближенно как 1Д. Имеем
lim
р^о
Ео(Р, Т) _ Р
?о(р, Т) Р
— + 1 Р
In
(1 +
рА,
(1 + р) 7V0
— In 1 -f-
No
S_ Г_1
; A K“‘
In 1 +
N„
N0
jS (No
No I I
i A \
In 1 + — .
I No
NO
9.1. Для первой меры искажения угадываем, что выбор P(j \ k), удовлетворяв ющий равенству Р(1 | 0) = Я(0 | 1), дает R(d*). Так как х/2 Р(1 | 0) + Ч2Р(0 I О равно среднему искажению, то выбираем d* = Р( 1 | 0) = Р(0 | 1). Тогда J (Q; Р) равно in 2 — ffl(d*), так что R(d*) = In 2 — &?(d*) нат.
Для того чтобы проверить, что этот выбор P(j \ k) дает R(d*), предположим, что P(j | k) произвольно и пусть Р' (1|0) = Р’ (0 | 1) = 1I2 Р(1 j 0) + У2Р(0 I !)• Видим, что P'(j | к.) дает то же самое среднее искажение, что и P(j \ k), однако в силу выпуклости меньшее значение средней взаимной информации.
Для второго источника положим Р(2|0) = Р(2 | 1) = d* и Р(0 | 0) = Р(1 | 1) = = 1—d*. Тогда J(Q; Р) = (1 — d*) 1п2 и R(d*) = (1 — d*) In 2. С помощью таких же, как и выше, соображений проверяется, что при этом выборе P(j \ k) действительно достигается R(d*).
9.2. (а) Для кода Хэмминга (7,4) 1/8 последовательностей длины 7 являются кодовыми словами и 7/8 лежат на расстоянии один от некоторого кодового слова. Следовательно, среднее искажение на слово равно 7/8, а среднее искажение на букву равно 1/8. Значение R(d*) для d* = V8 равно 0,457 1п2; это число, конечно, несколько меньше чем 4/7 In 2.
21 _ / __ 1
(б) Для произвольного / скорость равна ----------—— 1п2 и среднее иска-
жение равно 2~1.
9.3. Для того чтобы получить требуемое искажение d*, вычеркните долго d* символов источника, стоящих на заранее определенных позициях в потоке данных и рассмотрите невычеркнутую часть последовательности, как закодированную последовательность.
686
9.4. Используем теорему 9. 4. 1. Из симметрии ясно, что f^ должно не зависеть от k и (9.4.9) сводится к соотношениям:
f< 1 (; =0, 1, 2, 3),
2/е-Р<1 (/ = 4,5),
4/ е—Зр < 1 (/ = 6).
Следовательно, из (9.4.8) имеем
Г In 4, р > In 2,
mini?0(P. ^) = | 1п2 + р, In 2 > р > г/г In 2,
Р I Зр , 1/2 In 2 > р.
Взяв огибающую прямых линий min i?0(P> Р) — Р^*> получаем функцию,
р
изображенную на рисунке. Заметим, что выход 6 не используется при d* < 1 и что выходы 0, 1,2,3 не используются при d* > 1.
К задаче 9.1.
9.5. (а). Заметим, что если ДКБП связывает источник с адресатом, то среднее искажение d равно, 0, если P(j \ к) > 0 только для к, /, таких, что d(k; /) = = 0, и d бесконечно в других случаях. При любом заданном выборе P(j \ к), для которого 3=0, имеем /(?/; V) — H(U) — H(U \ V) = In 5 •— H(U| V). Для любой буквы адресата V возможны только два входа и, следовательно, H(V | V) >
> In 2 и / (U\ V) > In (5/2).
Так как очевидный интуитивный выбор P(j\k)= 1/2 для всех /, к, таких, что d(k\ /)=0, дает 1(V\ V) = 1п(5/2), то этот выбор минимизирует /(?/; V) при ограничении d = 0. Следовательно, R(d*) = In (5/2) для всех d* < оо .
(б) Для любого R > In (5/2) пусть R = ln(5/2); d = 0. Для выбранного тест-канала и длины блока N и для всех u, v, таких, что P^(v|u) > 0, имеем /(u;v),= /Vln (5/2). Аналогично D(u; v) = 0 для всех u, v, для которых PN(v |u ) >
> 0. Поэтому Pt (А), определенная в лемме 9.3.1, равна 0. Тогда лемма 9.3.1 утверждает, что в ансамбле кодов вероятность Рс (D > 0) того, что искажение больше чем 0, удовлетворяет неравенству
