Введение в кибернетику - Эшби У.Р.
Скачать (прямая ссылка):
Если бы входным сообщением была последовательность ВАСВАСААВВ, а «шу$» в то же время давал бы последовательность ОРРЕЕЕСЕСЕ, то выход был бы 1,4,7,2,6,3,2,4,1,2
и декодирование могло бы дать для первой составляющей только приближение
В, А, С, А или В, Л, С, А или В, А, В, А или В. Таким образом, первоначальное сообщение на этом входе «испорчено» «шумом» на другом входе.
В атом примере канал вполне может передавать сообщение без какой-либо двусмысленности, если шум подавляется благодаря тому, что второй вход остается постоянным, скажем все время в состоянии Е. Ибо в этом
9/2Э
ШУМЫ
269
случае кодирование взаимно однозначно:
I А В С I 6 2 3
и обратимо.
Следует отметить, что взаимодействие имело место потому, что использовались только восемь из девяти возможных выходных состояний. Благодаря этому постоянному ограничению пропускная способность канала была уменьшена.
Упр. 1. Какое получится кодирование от первого входа на выход, если второй вход остается постоянным: (I) все время в состоянии F; (II) в G?
Упр. 2. Система из трех состояний: Р, Q, R — должна передавать изменения двух входов аир, каждый из которых может принимать два состояния. Состояния входов и системы изменяются в такт друг с другом. Возможна ли передача, свободная от шума?
9/20. Искажения. Следует заметить, что деформация сообщения не обязательно является результатом воздействия шума. «Если данный переданный сигнал всегда создает тот же самый принятый сигнал, т. е. принятый сигнал является определенной функцией переданного сигнала, то такой эффект может быть назван искажением. Если эта функция имеет обратную — никакие два переданных сигнала не создают одинаковых принятых сигналов, — то искажения могут быть скорректированы, по крайней мере принципиально, просто путем выполнения обратного функционального преобразования принятого сигнала» (Шеннон) !.
1 Цитируется по сборнику «Теория передачи электрических сигналов при наличии помех».
Автор отступает далее от терминологии Шеннона. Шеннон говорит об «искажении» (distortion) всякий раз, когда получаемый сигнал является однозначной функцией передаваемого.
Когда сигнал испытывает не всегда одинаковое изменение при передаче, то, согласно Шеннону, принятый сигнал Е считается функцией переданного сигнала 5 и другой переменной — шумов iV; т. е. ? = /(S, N).
Искажения можно подразделять на обратимые (когда разные передаваемые сигналы производят разные получаемые и, следова* тельно, существует обратная функция) и необратимые. Судя по дальнейшему контексту (см. упр. 9/20/1 — 9/20/3), автор называет обратимое искажение просто «искажением», а необратимое искажение «порчей». — Прим. ред.
270 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДАЧА //21
Упр. 1. Искажением или порчей является изменение, благодаря которому вертикальный предмет оказывается на» сетчатке перевернутым?
Упр. 2. Напряжение, приложенное к мышце, возбуждает устойчивый поток импульсов, частота которых не пропорциональна на* пряжению. Является ли отклонение от пропорциональности искажением или порчей?
Упр. 3. (Продолжение.) Если нерв, несущий импульсы, подвергнуть достаточно сильному воздействию паров алкоголя, то он перестанет проводить импульсы для любых напряжений. Является это искажением или порчей?
9/21. Ненадежность. Насколько мне известно, для основных случаев пока еще не выработано подходящей меры степени порчи сообщения от шумов. Однако Шеннон ввел соответствующую меру для беспрерывно передающего канала.
Прежде всего делается допущение, что как первоначальные, так и принимаемые сигналы образуют цепи Маркова того типа, который определен в § 9/4. Сведения, содержащиеся в сообщениях, можно поэтому представить в форме, показывающей частоты (или вероятности) появления всех возможных комбинаций вектора: (посылаемый символ, принимаемый символ). Так, используя при-хмер Шеннона, предположим, что посылаются нули и единицы и что вероятности (в данном случае относительные частоты) приема символов таковы:
Посылаемый символ..... 0 0 1 1
Принимаемый символ .... 0 1 0 1 Вероятность......... 0,495 0,005 0,005 0,495
Из каждой тысячи посылаемых символов десять приходят в неверной форме — ошибка в один процент.
На первый взгляд этот «один процент неточности» может показаться естественной мерой количества потерянной информации, но такое толкование приводит к бессмыслице. Так, если бы при этой же передаче линия была бы фактически прервана и получатель для получения сообщения просто бросал бы монету, то примерно половина символов оказалась бы правильной, хотя на самом деле не передавалось бы никакой информации. Шеннон убедительно показал, что естественной мерой является ненадежность, вычисляемая следующим обра* зом.
9/21
ШУМЫ
271
Найдем сначала энтропию для всех возможных классов:
—0,495 log 0,495 — 0,005 log 0,005— —0,005 log 0,005 — 0,495 log 0,495.
Назовем ее Ни Она равна 1,081 бита на символ. Затем соберем принимаемые сигналы и их вероятности; это дает таблицу:
Принимаемый символ.......0 1
