Введение в кибернетику - Эшби У.Р.
Скачать (прямая ссылка):
I а Ь с а
а 0 0 0,3 0,3
Ь 0,6 0,6 0 0
с 0,4 0,4 0 0
й 0 0 0,7 0,7
Типичной последовательностью будет
.. .ЬЬЬсаЬсаЬЬсййасйаЬсасс1с1с1с1с1с1аЬЬ... .
Равновесные вероятности будут соответственно равны 6/35, 9/35, 6/35, 14/35. Легко определить, что энтропия
266 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДА ЧА_9/18
I X b с
X 0,70 0 1
b 0,18 0,6 0
с 0,12 0,4 0
[с ->Х должно равняться 1, поскольку с всегда переходит либо в а, либо в й\ переходы от а и от я? должны быть взвешены (равновесными) вероятностями пребывания системы в данный момент в а или в д\. Новые состояния имеют следующие равновесные вероятности: состояние X — вероятность 20/35; состояние Ь — вероятность 9/35,; состояние с — вероятность 6/35; отсюда находим энтропии: Нх = 1,173; Нь= 0,971; #с = 0. Итак, энтропия нового ряда будет равна 0,92 — такое же значение, как и раньше!
Это обстоятельство недвусмысленно показывает, что при слиянии состояний А! и а в одно состояние X не теряется никакой информации. Это значит, следовательно, что должен существовать способ восстановления первоначального четырехбуквенного сообщения из трехбуквенного, т. е. способ определения, какие состояния X раньше были состояниями я, а какие — состояниями й. Более внимательное исследование показывает, что такое восстановление действительно может быть сделано и тем самым полностью подтверждает это достаточно удивительное предсказание.
равна 0,92 бита на букву. Теперь предположим, что различие между а и d утрачивается; другими словами, кодируем нашу последовательность посредством преобразования
I a b с d I X b с X'
Вы скажете, что какая-то информация должна быть потеряна? Посмотрим! Отныне у нас имеется только три состояния: X, Ь, с, где X означает «либо а, либо d». Так, приведенное выше сообщение будет теперь начинаться отрезком ...bbbcXbcXbbcXXXc.... Новые переходные вероятности будут равны
9/19
ШУМЫ
267
Упр. Как декодировать в первоначальную форму следующее сообщение:
ЬЬЬсХЬсХЬЬсХХХсХХЬсХсХХХХХХХЬЬ?
ШУМЫ
9/19. Может случиться, что весь вход некоторого преобразователя разделен на две или более составляющие и что мы хотим рассматривать эти составляющие в отдельности. Так обстояло дело в упр. 8/17/3, где два сообщения посылались по одному и тому же преобразователю и на выходе восстанавливались отдельно. Иногда, однако, эти два входа не могут быть оба полностью восстановлены из выхода. Если мы интересуемся только одной из входных составляющих как источником разнообразия, рассматривая другую просто как неизбежную помеху, то эта ситуация обычно описывается как случай «сообщения, испорченного шумом».
Следует отметить, что шум по существу неотличим от любой другой формы разнообразия. Установить разли-' чие между сообщением и шумом можно только в том случае, когда имеется некоторый получатель, решающий, какая информация имеет для него значение. Так, предположим, что по проводу одновременно передается разговор и какие-то эффекты, обусловленные нерегулярной эмиссией катода. Для того, кто хочет услышать разговор, изменения на катоде являются «шумом»; но для инженера, старающегося точно измерить то, что происходит на катоде, «шумом» является разговор. Таким образом, «шум» определяется только относительно данного получателя, который должен сказать, какую информацию он намерен игнорировать.
Этот момент стоит подчеркнуть. Поскольку одним из обычнейших источников «неинтересного» разнообразия в электронных системах является тепловое (броуновское) движение молекул и электронов, в связи с этим инженеры по электронике склонны обозначать словом «шум» без дополнительных ограничений именно этот источник. В пределах своей специальности они будут, вероятно, продолжать употреблять это слово в том же смысле, но работники других наук не обязаны следовать в этом за
268 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДАЧА Р/19
ними. Особенно в биологии «шум» редко будет обозначать именно этот источник; чаще источником «шума» будет некоторая другая макроскопическая система, от которой изучаемая система не может быть полностью изолирована.
Понятие шума было бы не слишком полезным, если бы упомянутые два (или более) сообщения могли полностью и одновременно восстанавливаться посредством декодирования выхода. Оно требуется главным образом там, где два сообщения (одно желательное, другое нежелательное) взаимодействуют, до некоторой степени разрушая друг друга, что делает полное восстановление кодирования невозможным.
Чтобы увидеть, как это происходит, вернемся назад, к основным процессам. Необратимость должна означать, что разнообразие не сохраняется (§ 8/6) и что различные элементы на входе представлены одним и тем же элементом на выходе. Рассмотрим случай, когда входом является вектор с двумя составляющими; пусть возмож-йые значения первой составляющей суть Л, В или С, и пусть возможные значения второй составляющей суть Е, ? или О. Предположим, что выходом является переменная, могущая принимать значения 1,2,...,9, и что производилось следующее кодирование:
| АЕ АЕ Ав ВЕ ВЕ Вв СЕ СЕ СО Ф642291 375*
