Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
5.5, после этого § 6.2 и далее к гл. 2 и 4 и § 8.1 и 8.2. Иные возможности построения курса можно установить с помощью следующей таблицы используемого в тексте материала.
Таблица используемого материала
Параграфы Используемый Параграфы Используемый
материал материал
2.1---2.3 нет 6.2 5.6, 6.1
2.4---2.5 2.1--- 2.3 6.3---6.7 6.1
3.1 2.1-2.3 6.8 6.1
3.2---3.4 2.1---2.3 6.9 5.1-5.5,
6.1---6.5,
6.8
3.5---3.6 3.1---3.4 6.10 6.1---6.5,
6.8
4.1---4.5 2.1---2.3 7.1---7.5 2.1---2.5,
4.3,
5.6---5.7
4.6 3.6,4.1---4.5 8.1-8.2 нет
5.1---5.5 нет 8.3---8.6 7.1---7.5,
8.1---8.2
5.6---5.8 4.4,5.1---5.5 9.1---9.6 4.1---4.5
5.9 4.6,5.1---5.6 9.7 8.5,9.1---9.5
6.1 нет 9.8 3.5,9.1---9.5
Как общее правило, последние темы каждой главы являются самыми трудными и излагаются в более сжатой форме по сравнению с темами, рассмотренными ранее. Они включены, главным образом, для аспиран-
15
тов, а также лиц, работающих в этой области, хотя большинство из них может быть прочитано в течение второго семестра. Преподавателей следует предупредить не тратить слишком много времени на гл. 3, особенно в односеместровом,курсе. Материал, помещенный в §4.1—4.5, 5.1—5.6 и 6.1—6.5, проще и имеет большее значение, чем материал, помещенный в § 3.5—3.6, несмотря на то, что он, возможно, менее знаком некоторым преподавателям.
Я приношу извинения многим авторам значительных работ в теории информации, которых я не упомянул. Я пытался привести ссылки, которые мне казались полезными при написании этой книги, наряду со ссылками на отдельные работы, содержащие дальнейшие продвижения. Многие работы, имеющие историческое значение, были опущены, и цитируемые здесь авторы не обязательно являются теми, кто внес наибольший вклад в эту область.
Мне хочется выразить признательность Исследовательской лаборатории электроники и Электротехническому факультету Массачузетс-ского технологического института (МТИ) за терпеливую поддержку во время подготовки этой книги. Эта работа была поддержана Национальной администрацией по аэронавтике и космосу по контракту NSG-334. Я особенно благодарен Р. М. Фано, который стимулировал мой первый интерес к теории информации и кому я во многом обязан моим подходом к пониманию этого предмета. Работа над этой книгой была начата более четырех лет назад с первоначальным замыслом произвести переработку (под двойным авторством) книги Р. М. Фано «Передача информации». Шли годы, текст разрастался и изменялся и стало ясно, что получилась полностью отличная книга. Однако мой долг «Передаче информации» очевиден всякому, кто знаком с обеими книгами.
Я также очень благодарен П. Элайсу, Дж. М. Возенкрафту и К. Э. Шеннону, за их идеи и методы изложения, которые широко использованы здесь. Другой долг я обязан отдать многим студентам и аспирантам, которые слушали курс теории информации в МТИ и делали беспристрастные замечания о многих экспериментах по различным представлениям содержащегося здесь материала. Наконец, я обязан многочисленным коллегам, которые были очень великодушны и дали детальную критику различных частей этой рукописи. В этом отношении особенно большую пользу оказал Дж. Л. Месси. Г. Д. Форни, X. Юдкин, А. Вайнер, П. Элайс, Р. Кэн, Р. С. Кеннеди, Дж. Макс, Дж. Пинкстон, Э. Берлекэмп, А. Коленберг, И. Джекобе, Д. Сакри-сон, Т. Кайлат, Л. Сейдман и Ф. Препарата все вместе сделали большое число критических замечаний, которые способствовали значительному улучшению рукописи.
Роберт Г. Галлагер
1
СИСТЕМЫ СВЯЗИ И ТЕОРИЯ ИНФОРМАЦИИ
1.1. ВВЕДЕНИЕ
Теория связи имеет главным образом дело с системами, предназначенными для передачи информации или данных из одной точки в другую. На рис. 1.1.1 приведена довольно общая блок-схема для того, чтобы наглядно представить поведение таких систем. Выход источника на рис. 1.1.1 может, например, представлять собой звуковую речь; последовательность двоичных символов, поступающих с магнитной ленты; выход ряда датчиков при зондировании космоса; сигналы, поступающие
Шум
Рис. 1.1.1. Блок-схема системы связи.
к органам чувств живого организма или цель в радиолокационной системе. Каналом может быть, например, телефонная линия; высокочастотная радиолиния; линия космической связи; устройство памяти или живой организм (для случая, когда выходом источника являются сигналы, поступающие к органам чувств живого организма). В канале обычно действуют различные шумовые помехи, которые в телефонной линии, например, могут возникать из-за временных изменений частотной характеристики; из-за разговоров, проникающих из других линий; из-за теплового шума и из-за импульсного шума, источником которого являются переключательные схемы. Кодер на рис. 1.1.1 производит любую обработку выхода источника, совершаемую до передачи. Такая обработка может включать в себя, например, какую-либо комбинацию модуляций, редукции данных и внесения избыточности для борьбы с шумом в канале. Декодер производит обработку сигналов на выходе канала, целью которой является воспроизведение на приемном конце приемлемой копии (или отклика) выхода источника.
