Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
4.12. Пусть fi(а), i (- I (I —некоторое произвольное множество индексов) является множеством функций, каждая из которых выпукла w и убывает с ростом действительного аргумента а. Предположить, что /(а) = sup Д- (а) везде
I 6/
конечна и доказать, что /(а) выпукла и убывает по а
4.13. Рассмотрите функцию двух переменных /(*) = ах(2 — %) —
¦— (а2 + I)2 в области > 0, а, > 0.
(а) Показать, что /(а) выпукла в этой области.
(б) Найти максимум /(а) в этой области и объяснить, почему он действительно является максимумом.
4.14. Канал с аддитивным гауссовым шумом часто можно моделировать с помощью множества параллельных каналов с дискретным временем; известно, что это множество параллельных каналов имеет пропускную способность
С (Si..... ^=2^ log ( 1+1*-) ,
где Ni — мощность шума в l-м канале и Si — мощность сигнала в l-м канале. Предположим, что общая мощность сигнала равна S и она может быть разделена между каналами любым образом. Пусть щ — доля мощности, которая выделена для l-то канала, так что Si = a[S.
(а) Найти необходимые и достаточные условия, накладываемые на эти доли alt ..., aL, при которых максимизируется C(Slt ..., SL) при соблюдении ограничений
аг > 0, 2«г=1-
I
(б) Найти максимизирующие значения Sx, S2 и S3 в случае L — 3, S = 2, Л7! = 1, iV2 = 2, Л’3 = 3.
Указание: используйте теорему 4.4.1.
4.15. Полезные для теории информации неравенства. Пусть в последующих неравенствах дг-, bi, Pi, Qi являются неотрицательными числами, определенными для конечного множества значений г, 1 < г < А. Пусть
=2<Эг = 1. i i
Пусть s и г — положительные числа, а % принадлежит интервалу 0 < X < 1. Доказать справедливость следующих неравенств (различные доказательства каждого из них можно найти у Харди, Литтльвуда и Полиа (1934)).
(а) 1
i
с равенством тогда и только тогда, когда Р( — Qi при всех i.
Указание: покажите, что левая часть неравенства является выпуклой функцией w по К, и рассмотреть случаи, когда X -у 0, X -> 1.
(б) Неравенство Гёльдера:
с равенством тогда и только тогда, когда при некотором с, aj~^ — bfc при всех i. Указание: полагая
НУ,аЧ1\
используйте пункт (а). В частном случае Х=1/2. неравенство называется неравенством Коши; интегральный аналог называется неравенством Шварца.
(в) Вариант неравенства Гёльдера:
с равенством тогда и только тогда, когда при некотором с, Ptail^= Pjftf1/“-*¦) с при всех i.
Указание: используйте Р\ а; вместо at и Р*1-^ вместо 6,- в пункте (б).
(r) (2Р, аг)Г <2 Pi arn r> 1,
i
(2PiaiY> 2 Pt o', r < 1
с равенством тогда и только тогда, когда значения а;, соответствующие Р,- > О, равны.
Указание: при г > 1 используйте пункт (в) с = 1; при г < 1 используйте аГ вместо aj в пункте (в).
(Д) < (2^)1/s , 0 < г < s
с равенством тогда и только тогда, когда значения а;, соответствующие Р,- > О, равны.
Указание: используйте пункт (в) при b-t = 1, К — r/s.
(е) (2 aij < 2 < 1,
г>1,
с равенством тогда и только тогда, когда т — 1 или если только одно щ не равно нулю. Отметить отличие пунктов (г) и (е).
Указание: положите Pt = а;/2а?- и рассмотрите отношение правых слагаемых к левой части.
(ж) Неравенство Минковского. Пусть ау-^ — множество неотрицательных чисел, 1 < / < J, 1 < k < К- Тогда
'>l
с равенством тогда и только тогда, когда при некоторых {а;-}, {Рй} имеем ад = = aj$h Для всех /. k.
Указание: при г < 1 используйте
чтобы получить 2 J2aAj1/r = 2[2«yft (2^)(,~r)/r] •
Использование неравенства Гёльдера для выражения в квадратных скобках при каждом k дает
534
Разделив обе части этого неравенства на выражение, стоящее в квадратных скобках, получаем искомый результат. При г > I следует положить г' = = Иг и использовать пункт (ж) при г' < I, подставляя а1^ вместо а^.
(з) Вариант неравенства Минковского
с обратным неравенством при г > 1.
Указание: используйте Q^ajk вместо в пункте (ж). Заметьте, что если
аг... ак является множеством случайных величин, принимающих значения
ajlt aj2...на j-м элементе выборочного пространства, с вероятностью Qj,
то результат пункта (з) можно выразить следующим образом:
< 1,
с обратным неравенством при г > 1.
4.16. (а) Пусть X и Y являются входным и выходным ансамблями соответственно дискретного канала без памяти (ДКБП). Показать, что H(Y) является выпуклой гл функцией входного вектора вероятностей.
