Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
В качестве примера (быть может, нетипичного) того, сколь немногое может быть достигнуто утонченным кодированием источника, можно рассмотреть гауссовский дискретный по времени источник с квадратично-разностной мерой искажения. Гоблик (1967) и Макс (1960) рассматривали среднее искажение, которое может быть достигнуто с помощью квантования (т. е. кода источника с единичной длиной блока). Они нашли, что если квантованные буквы закодированы без шумов (с помощью метода Хаффмана), то для малых значений искажения среднее искажение примерно лишь на V4 дБ больше минимального, предсказываемого кривой R (d*). Если также не использовать кодирование Хаффмана, то потеря все же будет меньше 1 дБ.
Другое основное отличие между кодированием для канала и кодированием источника проявляется в трудности получения приемлемых вероятностных моделей и разумных мер искажения для источников, представляющих практический интерес. В силу этой трудности вообще неясно, будет ли теоретический подход полезным в таких задачах, как
17*
515
преобразование речи в дискретные данные пли сужение полосы частот в телевидении.
ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ
Большинство результатов этой главы принадлежит Шеннону (1959). Доказательства леммы 9.3.1 и теоремы 9.3.1 используют как методы первоначального доказательства Шеннона, так и последующие методы, развитые Гобликом и Стиглитцем. Они проще, чем первоначальные методы, и приводят к лучшим результатам о сходимости к R (d*) для кодов с увеличивающейся длиной блока. Распространение теории на случай, когда d (и; v) принимает бесконечные значения, и теорема 9.3.2 взяты у Пинкстона (1967). Теорема 9.4.1 публикуется здесь впервые, хотя нижняя граница R0 (р, Р) в (9.4.10) была выведена Шенноном в частном случае квадратично-разностной меры искажения. Обращение теоремы кодирования для канала с шумами в§ 9.5 взято у Пинкстона (1967). Вычисление скорости как функции искажения для гауссовского дискретного по времени источника проведено Шенноном (1948), и скорость как функция искажения для гауссовского случайного процесса найдена Колмогоровым (1956). По-видимому, теорема кодирования для источника, порождающего гауссовский случайный процесс, ранее не появлялась в литературе. Результаты § 9.8 новые, хотя аналогичная теорема, не требующая, чтобы источник был дискретным, но требующая выполнения несколько более сильного условия чем эргодичность, была получена Гобликом (1967).
ЗАДАЧИ И УПРАЖНЕНИЯ
Глава 2
2.1. Три события Elt Е2, Е3, определенные на одном и том же пространстве, имеют вероятности P(Ei) = Р(Е2) — Р(Е3) = V4.
Пусть Е0 является событием, состоящим в том, что имеют место одно или более событий Elt Е2, Ез-
(а) Найти вероятность Р(Е0), если:
1) События Ег, Е2, Е3 несовместны.
2) События Еъ Е2, Е3 статистически независимы.
3) События Elt Е2, Е3 совпадают.
(б) Найти максимальные значения, которые может принимать Р(Е0), когда:
1) Ничего не известно относительно независимости или несовместности событий Е1г Е2, Е3.
2) Известно, что события Elt Е2, Е3 являются попарно независимыми, т. е. что вероятность наступления событий ?; и Ej равна P{Ei)P(Ej), 1 ^ i =f= j ^ ^3; но ничего не известно относительно вероятности наступления всех трех событий вместе.
Указание: используйте диаграммы Венна.
2.2. Нечестный игрок использует шулерскую игральную кость, которая с вероятностью 2/3 показывает цифру 1, а цифры от 2 до 6 показывает каждую с вероятностью Vi5- Он неудачно опустил свою игральную кость в ящик с двумя правильными игральными костями и не может разделить их. Он выбирает случайно одну кость из ящика, бросает ее и появляется цифра 1. При условии этого результата найти вероятность того, что он выбрал шулерскую кость. После этого он бросает кость еще раз и она снова показывает 1. Чему равна вероятность (после этого второго бросания) того, что выбранная кость была шулерской?
2.3. Пусть х и у — дискретные случайные величины.
(а) Доказать, что математическое ожидание суммы х и у, х + у, равно сумме математических ожиданий х + у.
(б) Доказать, что если х и у статистически независимы, то х и у также не коррелированы (по определению х и у некоррелированы, если ху = ху). Придумать пример, в котором х и у статистически зависимы, но некоррелированы, и другой пример, в котором х и у статистически зависимы и коррелированы (т. е. ху ф х у).
(в) Показать, что если хну статистически независимы, то дисперсия суммы равна сумме дисперсий. Остается ли справедливым это утверждение, если х и у некоррелированы, но не статистически независимы?
2.4. (а) Одним из видов неравенства Чебышева является следующее утверждение: для любой случайной величины х, которая принимает только неотрицательные значения, и для любого б > О
Рг[*>6]<|-.
Показать, что это неравенство справедливо и что для любого заданного б > О можно указать случайную величину, для которой это неравенство удовлетворяется с равенством. Указание-, представить л: в виде суммы и затем ограничить область суммирования.
