Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
и о(ИУ~N) стремится к нулю при N -* оо равномерно по и и быстрее, чем МУ N.
Используя неравенства 1 > е-*’/2 > 1 - х212 в (5А.20), будем иметь при и > О
ук>фм-ф( 0)>-(5А-21>
Подстановка (5А.21) в (5А.19) дает
G(u)-G( 0)
У 2п
6 V 2л
+
+ ------~+o{l/VN). (5А.22)
бЦа /2nN
Аппроксимируя G(u) —¦ G(0) в (5А.18) с помощью u/Y 2л, будем иметь
ОО
s}^7(7) Г _J?_e-sV'"iprtr)udu =--------------------. (5А.23)
у 2^ sV2лNy,''{s)
+о (1/m
*> См. Феллер (1966), т. 2, гл. XVI, § 4. С помощью прямых вычислений можно проверить, что ц3 = [i"' (s) и является конечной величиной.
207
Умножая каждое слагаемое ошибки в (5А.22) на sVjV|j,"(s) е s^Nil" (s) и интегрируя, замечаем, что каждый интеграл стремится к нулю быстрее, чем 1IVN при N -> оо , что дает
ОО __ _____
syiVXs) \ [G (u) — G(0)l ef-sy ^''(s) Uhu =
0
+ ° ( лТтГ) • (5А.24)
s V2nN\n"(s) V VN
<ения равны левой часп получить
Р, I» > %-М] = е» ОФ,[Tj^4W + .(?jr)]. (МЛ.
Вспоминая, что эти выражения равны левой части (5А.17), можно подставить этот результат в (5А.11) и получить
ПРИЛОЖЕНИЕ 5Б
В этом приложении будут доказаны теоремы 5.6.3 и 5.7.2, описывающие поведение Е0(р, Q) и Ех(р, Q) как функции р. Начнем с леммы.
Лемма. Пусть Q = [Q (0), ..., Q(f( — 1)] — вектор вероятностей и пусть а0..ак~1 — множество неотрицательных чисел. Тогда функция
f (s) = ln
V<2W«1/S
k=0
(5Б.1)
является невозрастающей и выпуклой w по s при s > 0. Более того, /(s) является строго убывающей, если не все ад, для которых Q(k) > 0, равны друг другу. Выпуклость является строгой, если не все ненулевые ад, для которых Q(k) > 0, равны друг другу.
Доказательство. То, что f(s) является невозрастающей, и условия, при которых она является строго убывающей, следуют непосредственно из известного неравенства (см. задачу 4.15 (д)).
[2Q№«i/s]* >
при 0 < s < г. Чтобы доказать выпуклость, будем считать, что s, г и 0 — произвольные числа, 0<s<r, О<0< 1, и определим
t = 6s + (1 — 6) Г. (5Б.2)
Для того чтобы показать, что f(s) является выпуклой о, нужно показать, что
т < от + (1 - Q)f(r).
(5Б.З)
Определим число Я из соотношений:
s0 г (1—0)
Я = —; 1-Я=-^------. (5Б.4)
Эти соотношения, как можно заметить (если их сложить и использовать (5Б.2)), являются совместными. Из (5Б.4) также следует, что
1 0 (1—0) Я. 1—Я.
У = У + ~t = 7 + ~7~' . (5Б'5>
208
где (5Б.6) следует из неравенства Гельдера (см. задачу 4.15(b). Возводя обе части (5Б.6) в степень t и используя (5Б.4), получаем
1 /s]s0
'EiQ(k) a
к
1 /r]r (1 —0)
k
(5Б.7)
Взяв логарифм от обеих частей (5Б.7), получаем (5Б.З). Выпуклость является строгой до тех пор, пока (5Б.6) удовлетворяется со строгим неравенством; равенство в (5Б.6) имеет место тогда и только тогда, когда существует постоянная С, такая, что Q(k) a)Js = Q(k) а]/' С при всех k (см. задачу 4.15(b). Отсюда немедленно следует условие строгой выпуклости, указанное в лемме. | Доказательство теоремы 5.6.3. Имеем
Е0(P. Q):
j-1 -In 2
i =о
к-i
2 Q(fe)p (m)1/(1+p)
k= 0
1+p
(5Б.8)
Взяв в лемме P(j\k) вместо ak и 1 + p вместо s, видим, что
[2<3(*) P(/|*)I/'I+p)j]+p
является невозрастающей функцией р для каждого j. По предположению Cf (Q; Р) > 0, и, следовательно, P(j \ k) не зависит от k для тех k, для которых Q(k) > 0. Таким образом, написанное выше выражение, является строго убывающим по крайней мере для одного /; ?0(Р> Q) является строго возрастающей функцией р и дЕ0(р, Q)/dp > 0 при р > 0. Так как Е0(0, Q) = 0, то это означает также, что Е0(р, Q) > 0 при р > 0. Покажем теперь, что Е0(р, Q) является выпуклой гл по р. Пусть pj 0 и р2 > 0 являются произвольными числами и пусть 0 удовлетворяет неравенствам 0 < 0< 1. Положим р3 = ра0 + р2(1 —
— 0). Из леммы [см. неравенство (5Б.7)] имеем
2[2С(*) P(i\ 6)1/(1+p3)j1 + p3 < 2[2Q(^)P(i|*)1/(I + Pl)](I + Pl)0X
