Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
21
кое-что для понимания того, почему в определении собственной информации и энтропии появляется логарифм.
Часто энтропия также выражается в битах в секунду. Если для дискретного источника без памяти энтропия буквы источника равна Н и если источник производит одну букву за каждые т8 секунд, то энтропия в битах в секунду равна Я/т8 и теорема кодирования для источника указывает, что выход источника может быть представлен двоичной последовательностью, в которой число двоичных символов в секунду сколь угодно близко к H/rs.
В качестве более сложного класса моделей источников можно рассмотреть дискретные источники с памятью, в которых последовательные буквы источника статистически зависимы. В §3.5 аналогичным, но более сложным образом определяется энтропия этих источников (в битах на букву или в битах в секунду) и доказывается, что теорема кодирования для источников справедлива, если источник является эрго-дическим.
Наконец, в гл. 9 будут рассмотрены недискретные источники. Наиболее известным примером недискретного источника является такой, у которого выходом источника является случайный процесс. При попытке закодировать случайный процесс случайной последовательностью возникает ситуация, по своей природе сильно отличающаяся от кодирования дискретных источников. Случайный процесс можно закодировать в двоичные данные, например, следующим образом: взять выборки случайной функции, затем проквантовать их и после этого закодировать проквантованные выборки в двоичные символы. Различие между этим кодированием и двоичным кодированием, описанным ранее, состоит в том, что выборочные функции не могут быть точно восстановлены по двоичной последовательности и, таким образом, это кодирование следует описывать как в терминах числа двоичных символов в секунду, так и в терминах некоторой меры искажения функции на выходе источника при представлении ее функцией, восстановленной по двоичной последовательности символов. В гл. 9 рассматривается проблема отыскания минимального числа двоичных символов в секунду, достаточного для того, чтобы закодировать выход источника так, чтобы среднее искажение выхода источника при его воспроизведении по двоичной последовательности находилось в заданных пределах. Основное здесь состоит в том, что недискретный источник может быть закодирован с некоторыми искажениями в двоичную последовательность и что требуемое число двоичных символов в единицу времени зависит от допустимого искажения.
1.3. МОДЕЛИ КАНАЛОВ И КОДИРОВАНИЕ ДЛЯ КАНАЛОВ
Для того чтобы описать математически модель канала, мы, во-первых, определим множество возможных сигналов на входе канала (или просто входов канала), во-вторых, множество возможных сигналов на выходе (или выходов канала) и, в-третьих, для каждого сигнала на входе вероятностную меру на множестве сигналов на выходе. Про-
стейший класс моделей каналов образуют дискретные каналы без памяти; они определяются следующим образом. Входом является последовательность букв из конечного алфавита, пусть аи ..., ак, выходом — последовательность букв из того же самого или другого алфавита, скажем Ьи ..., bj. Наконец, каждая буква выходной последовательности зависит статистически только от буквы, стоящей на соответствующей позиции во входной последовательности, и определяется заданной условной вероятностью P(bj\ak), определенной для всех букв ak алфавита на входе и всех букв bj алфавита на выходе. Примером может служить двоичный симметричный канал (рис. 1.3.1), который представляет собой дискретный канал без памяти с двоичными последовательностями на входе и выходе, в котором каждый символ последовательности на входе с некоторой фиксированной вероятностью 1 — е воспроизводится на выходе канала правильно и с вероятностью е изменяется шумом на противоположный символ. В общем случае, в дискретном канале без памяти переходные вероятности исчерпывают собой все известные сведения о том, как сигнал на входе, взаимодействуя с шумом, образует сигнал на выходе. В дальнейшем будет описано, как дискретные каналы без памяти связаны с реальными каналами.
Намного более широкий класс каналов (эти каналы будут называться каналами с памятью) образуют каналы, в которых сигналами на входе снова являются последовательности букв из конечных алфавитов, но в которых каждая буква последовательности на выходе может статистически зависеть не только от соответствующей буквы входной последовательности.
Другой класс моделей каналов, которые имеют более непосредственное сходство с физическими каналами, является класс, в котором как множество входных, так и множество выходных сигналов представляют собой множества функций времени и для каждой заданной функции на входе выход — случайный процесс. Частной моделью из этого класса, которая имеет большую теоретическую и практическую важность, является канал с аддитивным белым гауссовым шумом. Множеством сигналов на входе для такой модели является множество функций времени, удовлетворяющих заданному ограничению сверху на мощность, а сигналы на выходе — сумма сигнала на входе и белого гаусссг-вого шума. При использовании этой модели для физического канала с затуханием в качестве входа в модели берется, естественно, сигнал на входе физического канала после его затухания в канале.
