Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Указание: рассмотрите выходные векторы вероятностей, получающихся из входных векторов вероятностей.
(б) Привести пример ДКБП, для которого выпуклость, указанная в пункте (а), не является строгой.
(в) Вновь рассмотреть ДКБП и показать, что — H(Y\X) является линейной функцией входного вектора вероятностей.
(г) Объединяя пункты (а) и (в), показать, что I(X\ Y) является выпуклой гл функцией входного вектора вероятностей.
4.17. Пусть для произвольного распределения вероятностей Q0 в ДКБП
/„(* = *; Y) = ZP (j \k) log----------------
Показать, что
SQo (k)f0(x = k-, Y) <С < max /0 (x = k\ Y). (*)
k k
Используйте это для того, чтобы показать, что
C = min max /0 (x~k; У), (**)
Qo *
Указание: пусть Ii(X\ Y) соответствует некоторому Qx ф Q0; взяв частную производную 10(Х\ Y) по Q0(k), покажите, что
/,№ У) < SQi(ft)/0(* = ft; Y).
k
Заметьте, что при отыскании С с помощью численных методов на вычислительной машине, (*) дает границы того, насколько близко аппроксимируется С при ка-ком-либо заданном Q0 и дает критерий для прекращения вычислений, когда С аппроксимируется достаточно хорошо.
4.18. (а). Рассмотрим п (вообще говоря, различных) ДКБП с пропускными
способностями С1( С2....Сп. Соответствующая им «сумма» каналов определяется
как канал, входным и выходным алфавитами которого являются объединения алфавитов исходных каналов, т. е. в сумме каналов все п каналов можно использовать, но только так, что в любой заданный момент времени можно передачу
635
вести только по одному каналу. Показать, что пропускная способность суммы каналов имеет вид
С— logs 2 2е'
»= 1
и найти <7; — вероятность использования t-го канала. Истолковать С как среднее значение пропускных способностей отдельных каналов, сложенное с информацией, содержащейся в выборе канала.
Указание: запишите входное распределение вероятностей в виде qiQi(k), где Qt(k) является распределением вероятностей на входе г-го канала при условии, что используется г'-й канал. После этого применить теорему 4.5.1.
(б) Используйте полученный выше результат для того, чтобы найти пропускную способность канала, изображенного ниже.
X Pft/\x) у
4.19. ДКБП называется аддитивным по модулю К, если его входным и выходным алфавитами является множество 0,1, ..., К — 1 и выход у связан с входом х и шумом г равенством у = х © z. Шум принимает значения 0, 1...........К — 1
и статистически не зависит от входа, а сложение х ф г производится по модулю К (т. е. принимается х + г или х + z — К в зависимости от того, какое из значений лежит между 0 и /< — 1).
(а) Показать, что I(X\ Y) = H(Y) — H(Z).
9)
К задаче 4.20
/- Е
Л
е)
536
(б) Выразить пропускную способность через H(Z) и найти входное распределение вероятностей, дающее максимум.
4.20. Найти пропускную способность и оптимальное входное распределение вероятностей для каждого из изображенных выше ДКБП.
Указание: только канал е) требует выполнения соответствующих алгебраических преобразований.
4.21. Предположим, что ДКБП обладает тем свойством, что для некоторого входного распределения вероятностей Q(k) > 0, 0 < k < К — 1, дисперсия 1(х; у) равна 0. Доказать, что на этом входном распределении достигается пропускная способность канала (см. задачу 2.21).
4.22. Рассмотрим опять канал, описанный в задаче 2.23. Найти выражение для пропускной способности этого канала, рассматривая вначале в качестве выхода канала принятую величину у, а затем рассматривая в качестве выхода канала знак у. Показать, что первая пропускная способность больше второй. Показать, что в пределе при S -»• 0 первая пропускная способность стремится к S/(2a2), а вторая стремится к S/(na2).
4.23. Проверить справедливость значений для С и С, приведенных для каналов, представленных на рис. 4.6.3 — 4.6.5. __
4.24. Привести пример двоичного канала, для которого С — С = (CN + -f-1)/TV для всех N, а также канала с двумя состояниями, в котором имеется только память, связанная с межсимвольной интерференцией и для которого (С —¦
— 1 )/N — С = С для всех N.
4.25. Рассмотрим полубесконечное последовательное соединение дискретных каналов (см. рисунок, помещенный ниже), в котором при любом положитель ном п величина хп является входом re-го канала и выходом (п — 1)-го канала. Предположим, что шумы в каналах статистически независимы.