Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
(б) Пусть у и г — статистически независимые г. с. в. с нулевыми средними значениями и дисперсиями Ь2 и с2 соответственно. Взяв свертку функций ру(у) и pz{z), показать, что w — х + у является г. с. в. с нулевым средним значением и дисперсией Ь2 + с2.
Указание: дополните до полного квадрата показатель экспоненты и используйте (*).
(в) Показать, что характеристическая функция
_____ ОО
Фу (со) = е/ад= J ру (у) е/(ад dy, j = Y~I;
— СО
г. с. в. с нулевым средиим значением и дисперсией b2 задается равенством Фу(ш) = = ехр [— со2й2/2].
(г) При условии, что у и г статистически независимы, показать, что w = >= у + г имеет характеристическую функцию Ф^(со) = фу(со) Фг(ш)- Используйте это для получения независимого вывода утверждения пункта (б).
2.23. Физический канал с тепловым шумом часто может быть представлен следующей моделью. Вход канала представляет собой последовательность импульсов; каждый импульс имеет фиксированную длительность Т и фиксированную величину амплитуды х,\ х\ — "j/S, но произвольного знака. Приемник усредняет выход канала на интервале каждого импульса и выдает выходу, задаваемый равенством у = x-j-z, где г — усредненный на интервале шум. Предполагается, что z представляет собой г.с. в., не зависящую от х и имеющую нулевое среднее значение я дисперсию а2 (для белого шума со спектральной плотностью N012 имеем а2 = NJ2T),
р2<г,=тк"р(“^)-
(а) Найти вероятность того, что знак у противоположен знаку х и вычертить график зависимости этой вероятности от S/a2.
(б) Показать, что определенная выше вероятность стремится к */г— —"j/S/(2яа2) при S/a2 -> 0 и к ~\/e2/(2nS) ехр[ — S/(2а2)] при S/о2->-00.
Указание: стандартные границы для «хвостов* гауссовского распределения можно найти у Феллера (1950), т. 1, гл. VIII, § 1.
2.24. Пусть непрерывный совместный ансамбль XY имеет плотность .вероятности рХу(х, у) и отдельные плотности рх(х) и ру (у). Показать, что l(X; Y)>
> 0 и привести пример, в котором Н(Х), задаваемая равенством (2.4.24), отрицательна.
523
2.25. Входом канала является фаза х, 0 < х < 2я, а выходом канала — фаза у. Выход задается равенством у = х + г, где г представляет собой случайную величину, моделирующую шум, которая независима от входа х и имеет плотность вероятности pz(z). Сумму х + г можно представлять себе как остаток по модулю 2я (т. е. в обычном смысле сложения фаз). Пусть рх(х) = 1/2я, 0 < х <
< 2п.
(а) Выразить I(X; Y) через pz(z).
(б) Положить pz(z) = 1 !(Ь — а) при a<z < b и найти I(X; Y); предполагается, что b — а < 2 я. Объясните, почему полученный вами ответ зависит только от & — а, а не от 6 и а раздельно.
2.26. Входной ансамбль X канала состоит из чисел + 1 и •—1, используемых с вероятностями РЛ-(+ 1) = Рх(—1) = Уг- Выход у является суммой входа х и не зависящего от него случайного шума г с плотностью вероятности pz(z) = V* при —2 < г < 2 и pz(z) = 0 при всех остальных г. Другими словами, условная плотность вероятности у при условии, что задана х, определяется равенствами Ру\Х{у\ х) = ^4 ПРИ —2 < у — х ^ 2 и Ру\Х (у\х) = 0 в других случаях.
(а) Найти и вычертить график плотности вероятности на выходе канала.
(б) Найти I(X; Y).
(в) Предположим, что выход преобразуется в процесс с дискретными значениями и, определяемыми следующим образом: и = 1 при у > 1; и = 0 при
— 1 < у < 1; и = — 1 при у < — 1. Найти [(X; У) и объяснить результат аналогично тому, как это сделано в конце § 2.3.
2.27. Пусть X, Y и Z — двоичные ансамбли; рассмотрим следующее распределение вероятностей на совместном ансамбле:
pxyz(®’ 0> 0) = Яxyz 0 * 1) = 1/а-
(а) Показать, что I(X; Y\Z) = 0.
(б) Показать, что supI{XV\ Yv\Zj,) = 1 бит, где верхняя грань берется по всем разбиениям каждого ансамбля.
Указание: разбиение может содержать только одно событие, т. е. совпадает со всем выборочным пространством для этого ансамбля.
(в) Показать, что для произвольного совместного ансамбля XYZ величина ЦХ; Y\Z) не равна sup/(Xp; YP\ZP), когда I(X; Y) > 1(Х; Y\Z).
Глава 3
3.1. Источник производит последовательность статистически независимых двоичных символов с вероятностями Р(1) = 0,005, Р(0) = 0,995. Берутся по 100 символов одновременно и двоичное кодовое слово сопоставляется каждой последовательности из 100 символов, содержащей 3 или менее единиц.
(а) Для случая, когда все кодовые слова имеют одну и ту же длину, найти минимальную длину, требуемую для того, чтобы сопоставить множество кодовых слов указанным последовательностям.
(б) Найти вероятность появления последовательности источника, которой не соответствует кодовое слово.
