Научная литература
booksshare.net -> Добавить материал -> Физика -> Галлагер Р. -> "Теория информации и надежная связь" -> 19

Теория информации и надежная связь - Галлагер Р.

Галлагер Р. Теория информации и надежная связь — М.: Советское радио, 1974. — 738 c.
Скачать (прямая ссылка): teoriyainformacii1974.pdf
Предыдущая << 1 .. 13 14 15 16 17 18 < 19 > 20 21 22 23 24 25 .. 355 >> Следующая


В гл. 6 будут рассмотрены способы построения кодеров и декодеров для канала. Трудно дать простые утверждения, касающиеся сложности и вероятности ошибки этих устройств. Однако, грубо говоря, не трудно заметить, что сложность увеличивается с ростом времени Т (для наилучших способов, приближенно линейно с Т), что Р е убывает с ростом Т при фиксированной R и что Т должно возрастать вместе с ростом R для достижения фиксированного значения Р е. Следовательно, грубо говоря, имеется обменное соотношение между сложностью, скоростью и вероятностью ошибки. Чем ближе R к пропускной способности и чем меньше Р е, тем требуется большая сложность кодера и декодера.

Имея в виду указанное выше обменное соотношение, на рис. 1.3.2 можно увидеть с большей ясностью практические преимущества разде-

27
ления кодера и декодера на две части. В последние годы стоимость цифровых логических устройств постоянно снижалась, в то время как такой революции не было в технике аналоговых устройств. Таким образом, в сложной системе желательно выполнить самые сложные операции в цифровой части системы. Это не говорит, конечно, о том, что аналоговые системы связи полностью вышли из моды, но просто говорит, что, когда отдается предпочтение цифровым системам, возникают многие преимущества не существовавшие еще десять лет тому назад.

ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ

Многое в современной теории связи исходит из работ Шеннона (1948), Винера (1949) и Котельникова (1947). Все они ясно понимали фундаментальную роль шума в ограничении точности передачи в системах связи, а также желательность моделирования как сигнала, так и шума с помощью случайных процессов. Винер интересовался отыс-канием наилучшего линейного фильтра для разделения сигнала и аддитивного шума при заданной задержке, и его работа оказала важное влияние на последующие исследования в теории модуляции. Кроме того, интерес Винера к приему с отрицательной задержкой (т. е. к предсказанию) вместе с работой Колмогорова (1941) по предсказанию в отсутствии шума дали важный толчок в развитии теории управления. Аналогично Котельников интересовался обнаружением и оценкой сигналов на приемном конце. Хотя его работа не так широко известна и используется в Соединенных Штатах (как должно было быть), она внесла значительное понимание как аналоговой модуляции, так и дискретной модуляции.

Работа Шеннона много больше, чем остальные, связана с дискретной техникой и, что более важно, сфокусирована на кодере и декодере в совокупности. Благодаря этому совместному рассмотрению и благодаря тому, что она не ограничивается частными типами приемных устройств, теория Шеннона дает наиболее общие из известных концепций, которые можно заложить в основу при изучении эффективной и надежной передачи.

Хорошее теоретическое введение в теорию связи дают учебники Возенкрафта и Джекобса (1965) и Сакрисона (1968).
2

МЕРА ИНФОРМАЦИИ

Понятия информации и связи в нашем мире являются слишком широкими и емкими, чтобы можно было ожидать какую-либо универсально применимую количественную меру информации. Однако, как это было объяснено в предыдущей главе, имеется множество ситуаций в связи (в особенности таких, которые включают в себя передачу и обработку данных), для которых информация (или данные) и канал адекватно представляются вероятностными моделями. Меры информации, которые будут определены в этой главе, соответствуют этим вероятностным ситуациям, и вопрос о том, насколько адекватны эти меры, зависит в общем от адекватности вероятностной модели.

2.1. ДИСКРЕТНЫЕ ВЕРОЯТНОСТИ; ОБЗОР И ОБОЗНАЧЕНИЯ

Можно представить себе вероятностную модель как эксперимент, исход которого выбирается из множества возможных исходов с вероятностной мерой, заданной на этих возможных исходах. Множество возможных исходов называется выборочным пространством. Для дискретного множества возможных исходов вероятностная мера просто означает приписывание вероятности каждому исходу. Вероятности, конечно, не отрицательны и сумма их равна единице. Выборочное пространство и его вероятностная мера называются ансамблем*); ансамбль будет обозначаться заглавной буквой; исход эксперимента — той же самой, но строчной буквой. Для ансамбля U с выборочным пространством {аь а2, ¦¦¦, ак} вероятность того, что исходом и будет некоторый заданный элемент ak выборочного пространства, будет обозначаться Ри(аь). Вероятность того, что исходом будет произвольный элемент и, обозначается через Рц(и). В этом выражении нижний индекс U используется для того, чтобы отметить, какой ансамбль рассматривается, а аргумент и используется как переменная, которая принимает значения из выборочного пространства. Когда это не вызовет путаницы, нижний индекс будет опускаться.

Например, ансамбль U может представлять выход источника в некоторый заданный момент времени; в этом случае алфавит источника есть множество букв {о^, ..., а^} и Ри (аи) является вероятностью того, что выходом будет буква ah. Обычно мы будем иметь дело с экспериментами не с одиночным исходом, а с несколькими. Например, нас
Предыдущая << 1 .. 13 14 15 16 17 18 < 19 > 20 21 22 23 24 25 .. 355 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed