Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
9.6. Источник порождает независимые буквы из троичного алфавита с вероятностями Q (0) = 0,4; Q (1) = 0,4; Q (2) = 0,2. Алфавит адресата троичный, и мера искажения имеет вид d (k; j) = 0 для k = j и d (k\ j) = 1 для k ф j. Найти R (d*) и изобразить ее графически. Найти и изобразить графически как функцию С минимальную вероятность ошибки на символ источника, которая может'^быть достигнута при передаче этого источника по каналу с пропускной способностью' С.
9.7. Рассмотреть дискретный по времени источник без памяти, выход которого представляет собой последовательность действительных случайных величин, имеющих плотность вероятности q (и), дисперсию А и энтропию Я (U) — ¦= — J q (и) In q (и) du. Показать, что для d* ^ А функция R (d*) располо-
573
Лёна между следующими грайицЗмй:
Н {t/) —1/3 In (2ned*) < R(d*) <l/2 In —
Указание: для вывода нижней границы проследите рассуждения, проводившиеся при переходе от (9.7.2) до (9.7.8). Для вывода верхней границы рассмотрите тест-канал, изображенный на рис. 9.7.3.
9.8. (а) Найти скорость как функцию искажения R (d*) для источника, выход которого представляет собой стационарный гауссовский случайный процесс со спектральной плотностью
Мера искажения является квадратично-разностной.
(б) Найти пропускную способность канала с аддитивным белым гауссовым шумом с ограниченной мощностью S, спектральной плотностью шума N012 и ограниченной полосой частот W2-
(в) Найти выражение для минимальной среднеквадратической ошибки, которая может быть достигнута при передаче последовательности, порожденной источником пункта (а) по каналу пункта (б). Ввести безразмерные параметры и построить график этой минимальной среднеквадратической ошибки как функции W2.
РЕШЕНИЕ ЗАДАЧ
2.1. (at) Для несовместных событий Р (Е0) = Р (Ег) + Р (?2) + Р (Ез)
так, что Р (Е0) = 3/4.
(а2) Для статистически независимых событий 1 — Р (Е0) является вероятностью того, что не произойдет ни одного из событий; эта вероятность равна произведению вероятностей того, что не произойдет каждое из событий. По-
этому 1 — Р (Еа) = (3/i)3 и Р (Е0) = 27/в4-
(а3) Если Е0 = Е1 = Ег = Е3, то Р (Е0) = У4.
(бх) Как следует из диаграммы Венна, представленной ниже, Р (Ей),
очевидно, достигает максимума, когда события несовместны, так что Р (Е0) = 3/4.
(б2) Пересечение каждой пары множеств имеет вероятность 1/1в. Как сле-
дует из рисунка, Р (Е0) достигает максимума тогда, когда все эти попарные пересечения совпадают; в этом случае Р (Е0) = 3/4 — Vie-
2.2. Пусть L будет событием, состоящим в том, что выбрана шулерская игральная кость, и пусть Н является событием, состоящим в том, что выбрана правильная игральная кость. Пусть Л, является событием, состоящим в том, что цифра i появляется при первом бросании и Bt является событием, состоящим в том, что цифра i появляется при втором бросании. Нам задано, что P(i) = V3; Р(Н)=Ъ; P(i41|i) = */s; р (At\L) = Vi, (2 < » < 6);
Р (Ai/H) = 1/e (1 < i < 6). Тогда
P{LlAl)=J^iL=----------P(ML)P(L)------
Р(А0 Р^ЦРЩ+Р^ЩРф)
Это. является условной вероятностью того, что шулерская кость выбрана при условии, что была цифра 1 при первом бросании. Рассматривая два последовательных бросания, мы сделаем предположение, исходящее из физического механизма бросания кости, что исходы последовательных бросаний данной кости являются независимыми. Поэтому Р (Лг | L) = (2/3)2 и Р (Аг Bj)H) — (Ve)2-Отсюда следует, как и ранее, что Р (L \ Ах Bi) =le/i7.
2.3. (a)x + y = 2 (х + у) PXY (х, у)= 2 xPXY (х, y)+^yPXY (х,у)¦¦
X, У х>у Х,у
- -j хРх (х) + 2 уРу (У)—х + у-
х 'и
Заметим, что статистическая независимость не является необходимой здесь и что вывод распространяется на недискретные случайные величины, если существуют их математические ожидания.
(б) ху = 2 xyPXY (х,у) = 2 хуРх (х) Ру (у) = 2 хРх (х) 2 Уру (У) =ху. Х.У x,v X g у ~-
575
Заметим, что в первой строке равенства была использована статистическая независимость. Пусть х и у принимают лишь значения ± 1 и 0. Пример некоррелированных, но зависимых случайных величин имеет место, когда
РХу (1,0) =PXY(0,\) = Рхг(-1.0)=Рху (0,-1) =V«.
Пример коррелированных и зависимых случайных величин имеет место, когда Рху (1,1)=Рху(-1,-1)=1/2.
(в) Используя (а), будем иметь
о2х+у = (х—х + у — у)2 = (х — х)2 + 2 (х—х)(у—у) + (у—у)2-Согласно (а) стоящее в середине выражение равно 2\ху—ху]- Для некоррелированных случайных величин оно равно нулю и поэтому ах+у = о? +о|.
2.4.(а) х = ^хРх(х)> %хРх(х),
