Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
2[№i(*)'+ (1-AjQ,(*)]=MI<2iW+ 0-Ь) 2&М = ^+(1-^) = 1-
х XX
(б) Н(Х)=~ 2 Q (X) logQ (*) =
X
= — 2 [Wi (х) log Q (*) + (• — A,) Q2 (х) log Q (дг)],
д:
kH1(X) + (l-X)H2(X)-H(X) = X'Ei Qi (X) log -^ТТ +
+ (1-Я)2<М*) 1о§7Г7Т'
* Q (х)
Q (х)
Используя неравенство log г < (log е) (г — 1), можно заметить, что правая часть написанного выше равенства отрицательна.
(в) Этот результат утверждает, что энтропия является выпуклой с\ функцией распределения вероятности.
4.11. Утверждение, что / (Ахх + (1 —А) а2) является выпуклой гл по А, 0 < А < 1, означает, что для любых Aj и А2 из единичного интервала и любого
0 из единичного интервала справедливо соотношение
0/ [А,1 а.1 -f (1 —A,i) а2] -f (1 —0) / [А,2 -f- (1 —А,2) а2]
< / (0 [А,1 Xi -f (1 —A,i) а2] + (1 — 0) [А,2 «1 + (1 —^2) ^г]) •
Если / является выпуклой в области R и и а2 принадлежит R, то Х1а1 + + (1 — Aj)a2 и А2йх + (1 — А2) я2 принадлежит R и написанное выше неравенство удовлетворяется. Вместе с тем, если f [Ххг + (1 — А) а2] является выпуклой г\ по А, то написанное выше неравенство удовлетворяется при Ах = 1, Я2 = 0 и это является определением того, что / (а) является выпуклой гл по а.
4.12. Пусть ах < а2 и пусть е>0 являются произвольными. Так как / (a) = sup fi (а), то существует г, для которого fi (а2) > / (а2) — е. Поскольку fi («1) <^fi (а2), то будем иметь / (ах) > /г (ах) > /г (а2) > / (а2) — 8. Так как е может быть произвольно малым, то / (ах) > / (а2). Заметим, что / (а) не должна быть обязательно строго убывающей по а, как показывает пример fi (a) = е~а/\ где множеством индексов является множество положительных целых чисел. Здесь / (a) = 1 при а > 0.
Для произвольных а1( а2 и 0, 0 < 0 < 1, и произвольного е > 0 существует такое i, что
fi [0a! -f(l —0) a2] > f [0ax + (1 —0) a2] —s.
Поэтому
0/ (aj) + (1 — в) f (a2)>&fi (ax) + (1 — 0) /; (a2) > f [Oaj + (1 — 0) a2] — e.
Так как e > 0 произвольно, то функция f (а) выпуклая Выпуклость не обязательно является строгой даже тогда, когда каждая из fi (а) является строго выпуклой; это можно опять показать с помощью fi (a) = е~а^‘.
4.13.(а) /[0« + (l-0)P] = [0os1 + (l-0)p1] [2-©ai-(l-0)M-
— [0a2 + (l—0) р2]2, d2f [0a + (l — 0)P]
d02
: —2 [a! — Pi]2 — 2 [a2 —|32]2 <0.
Используя задачу 4.11 и соотношение (4.4.4), можно показать, что из полученного соотношения следует выпуклость г\ функции / (а).
595
(б) Для этой частной функции и области можно провести максимизацию по и а2 раздельно. Максимум по достигается при ах = 1. Поскольку —(а2 + 1)а является убывающей функцией а2 при а2 > 0, то максимум по а2 достигается при а2 = 0. Таким образом, f (а) достигает максимума (по аг > 0, а2 > 0) при а = (1, 0) и max / (а) = 0. Можно проверить, что это решение удовлетворяет (4.4.8) и (4.4.9).
4.14. (а) Рассмотрим С как функцию долей мощностей
Беря вторую производную от log по щ, можно увидеть, что эта
функция является выпуклой гл по щ и, следовательно, является выпуклой в области определения а. Таким образом, С (а) является выпуклой г\ по а согласно свойству 1, изложенному на стр. 101. Область, на которой нужно найти максимум С (а), задается условиями щ > 0, 2 Щ= 1, которые формально определяют область, в которой а является вектором вероятностей. Поэтому согласно теореме 4.4.1 необходимое и достаточное условие того, что максимум достигается на а, состоит в том, что для некоторого %
величина является просто постоянной, которую нужно определить), получаем
Это значит, что Si=K—Ni при Ni<^K и Si—0 при Ni>K Постоянная К должна быть выбрана так, чтобы ^S; =S.
(б) Простейшим способом решить систему неравенств является метод проб и ошибок. Предположим вначале, что Si > 0 при всех /, что приводит к S = 2 Si = 3К — 2 Ni. Отсюда получим К = 8/3 и S3 — —1/3. Это противоречит условию, поэтому предположим теперь, что S3 = 0; это приводит к К = 5/2 и Sj = 3/2, S2 = 1/2, 53 = 0.
Эти значения удовлетворяют системе и, таким образом, являются максимизирующим решением.
4.15. См. Харди, Литтльвуд и Полна (1934) или какое-либо другое пособие по неравенствам.
4.16. (а) Пусть (?! (k), 0 < k < К — 1, и (?2 (k) являются двумя распределениями вероятностей на входе канала. Пусть
Для заданного 0, 0 < 0 < 1, пусть Q (k) = 0^ (k) + (1 — 0) (?2 (k)
будет связанным с Q (k) выходным распределением. Из (1) и (2) следует, что
