Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
При передаче двоичных данных по каналу из рассмотренных выше классов часто бывает удобно разделить как кодер для канала, так и декодер для канала на две части, как показано на рис. 1.3.2. Выходом
23
Входной, а лфави"у
(ак) P(hj\ciJ о-
Выходной.
алфавит (bj) -^¦0
Рис. 1.3.1. Двоичный симметричный канал.
кодера для дискретного канала на рис. 1.3.2 является последовательность букв из конечного алфавита аь ..., ак. Эти буквы производятся во времени с некоторой фиксированной скоростью (одна буква, например, за каждые тс секунд). В каждом интервале тс секунд модулятор дискретных данных (МДД) производит одну функцию из заданного множества функций sx (t), ..., s/< (t), определенных на интервале длины тс. Какая именно из этих функций будет произведена, определяется буквой, поступающей на МДД в течение этого интервала: так, ах приводит к sx (/), а а2 приводит к s2 (t) и т. д. Таким образом, вся функция на входе канала имеет вид
"Lst {t — nxc),
п
Дискретный ка /гам ~I
Рис. 1.3.2. Представление непрерывного канала как дискретного канала.
где последовательность in,n — ..., —1, 0, 1, ..., определяется соответствующими символами на входе МДД.
Демодулятор дискретных данных (ДДД) принимает поступающие из канала функции и преобразует их в последовательности букв конечного алфавита, Ь1г ..., bj, производя буквы вновь со скоростью одна буква за каждые тс секунд. В простейшем случае каждая буква, выходящая из ДДД, является решением (возможно, что неправильным)
о том, какая буква поступила на МДД в соответствующем временном интервале, и в этом случае алфавит blt bj будет совпадать с алфавитом на входе МДД. В более сложных случаях выход ДДД будет также содержать информацию о том, насколько правдоподобно решение; в этих случаях выходной алфавит ДДД будет больше, чем входной алфавит МДД. ¦'
Как можно заметить из рис/1.3.2, совокупность МДД, канала, по которому передаются непрерывные сигналы, и ДДД может быть рассмотрена как дискретный канал; именно поэтому дискретные каналы играют большую роль при моделировании физических каналов. Если шум на последовательных интервалах по тс секунд является независимым, что имеет место в случае аддитивного белого гауссового шума, то описанный выше дискретный канал является также каналом без памяти.
24
Рассматривая кодирование и декодирование для класса дискретных каналов, мы, во-первых, получим некоторые результаты, касающиеся кодера и декодера для дискретного канала, входящего в систему, изображенную на рис. 1.3.2, и, во-вторых, сможем использовать эти результаты для того, чтобы в какой-то степени понять, как можно построить МДД и ДДД в такой системе.
Одним из наиболее важных параметров канала является его пропускная способность. Пропускная способность будет определена в гл. 4 и там будет показано, как ее найти для широкого класса дискретных каналов; в гл. 7 и 8 эти рассмотрения будут обобщены, так чтобы охватить недискретные каналы. Пропускная способность определяется с помощью информационной меры, подобной той, которая была использована при рассмотрении источников, и пропускная способность интерпретируется как максимальное среднее количество информации (в битах в секунду), которое может быть передано по каналу. Оказывается, что пропускная способность недискретного канала может быть сколь угодно точно приближена пропускной способностью дискретного канала, который получается из исходного недискретного канала при соответствующем выборе модулятора дискретных данных и демодулятора дискретных данных.
Важность понятия пропускной способности канала основана прежде всего на теореме кодирования для канала с шумами и ее обращении. Грубо говоря, эта теорема кодирования, справедливая для широкого класса каналов, утверждает, что если пропускная способность канала равна С бит в секунду и если двоичные данные поступают на вход кодера этого канала (см. рис. 1.1.2) со скоростью (в двоичных символах в секунду) R < С, то с помощью соответствующим образом построенных кодера и декодера можно воспроизводить двоичные символы на выходе декодера со сколь угодно малой вероятностью ошибки. Этот результат точно сформулирован и доказан в гл. 5 для дискретного канала и в гл. 7 и 8 для недискретных каналов. Далеко идущее значение этой теоремы будет обсуждаться ниже в этом параграфе, однако до гл. 5 на интуитивном уровне можно сказать не так уж много. Если объединить этот результат с теоремой кодирования для источников, которая была указана в предыдущем параграфе, то найдем, что если дискретный источник имеет энтропию (в битах в секунду) меньшую, чем С, то выход источника может быть воспроизведен на приемном конце с произвольно малой вероятностью ошибки с помощью использования соответствующего кодирования и декодирования. Аналогично для недискретного источника, если R является минимальным числом двоичных символов в секунду, требующихся, чтобы воспроизвести выход источника с данным уровнем среднего искажения, и если R < С, то выход источника может быть передан по каналу и воспроизведен с^этим уровнем искажения.
