Случайность и хаос - Рюэль Д.
Скачать (прямая ссылка):
находимся в безопасности. Количество сообщений, содержащих около десяти
тысяч букв и написанных с помощью четырехбуквенного алфавита, слишком
велико, чтобы его можно было проанализировать: таких сообщений гораздо
больше, чем песчинок на всех пляжах Галактики, а фактически, гораздо
больше, чем атомов во всей известной вселенной. Короче говоря, никто не
может надеяться, что правильно угадает сообщение, состоящее из десяти
тысяч букв.
Длина сообщения указывает на содержащееся в нем количество информации и
сообщает насколько сложно угадать сообщение. Попытаемся получить более
точное определение количества информации, содержащейся в сообщении. Длина
сообщения, безусловно, важна, но алфавит также играет свою роль: четыре
буквы (ДТ, G, С) можно заменить двумя символами 0,1 за счет передачи
одной буквы парой символов: А = 00, Т = 01, G = 10, С = 11. Переведенное
сообщение имеет в два раза больше символов, чем оригинальное, но содержит
то же самое количество информации. Или можно было бы закодировать пары
последовательных букв (А, Т, G, С) с помощью шестнадцати букв алфавита a,
ft, с,... ,р, сделав сообщение вполовину короче, однако оно по-прежнему
содержало бы то же самое количество информации.
Если ваше сообщение записано на английском языке, вы можете сжать его,
пропуская гласные, и сообщение, как правило, остается понятным. Это
означает, что письменный английский
Информация
125
язык избыточен: мы пишем гораздо больше того, что необходимо для
понимания написанного. Однако, чтобы определить количество информации,
содержащейся в сообщении, нужно знать, записано ли оно на английском,
французском или каком-то другом языке. В более общем случае необходимо
знать, каковы разрешенные сообщения определенной длины. Если у вас есть
список разрешенных сообщений, вы можете их пронумеровать и точно
определить каждое, давая его номер. Такое кодирование возможных сообщений
с помощью числа не обладает избыточностью, и, следовательно, длина
кодирующих чисел является хорошей мерой количества информации,
содержащейся в сообщениях. Таким образом, разумно записать следующее
определение:
количество информации = количество разрядов числа разрешенных сообщений.
Это определение относится скорее к классу разрешенных сообщений, нежели к
одному сообщению (возможна и другая точка зрения, которую мы обсудим в
следующей главе). Некоторая корректировка определения необходима, когда
разные сообщения имеют разную вероятность, однако в данном случае это не
должно нас заботить2.
Ссылаясь на то, что мы уже говорили об энтропии, мы также могли бы
записать
количество информации = К log (количество разрешенных посланий).
Количество информации обыкновенно выражается в двоичных разрядах или
битах. Это означает, что вы переводите сообщение в алфавит, содержащий
две "буквы": 0 и 1, а затем измеряете его длину (или берете К = 1/ log 2
в вышеприведенной формуле).
В статье, опубликованной в 1948 году3, американский ученый Клод Шеннон в
одиночку создал теорию информации. Данная теория касается очень важной
практической проблемы: эффективной передачей информации. Допустим, что у
вас есть источник, создающий непрерывный поток информации (политик,
выступающий с речью, или теща, болтающая по телефону, - информация не
обязательно должна иметь смысл). Вы можете рассматривать поток информации
как последовательность сообщений некоторой данной длины, записанных на
русском языке и производимых с определенной скоростью. Ваша работа, как
специалиста, состоит в том,
126
Глава 21
чтобы передать эти сообщения по определенной линии связи. Эта линия может
быть старомодным телеграфным кабелем или лазерным лучом, направленным на
какую-то отдаленную космическую станцию. Эта линия обладает определенной
пропускной способностью - максимальным количеством двоичных разрядов (или
битов), которые она может передавать в секунду. Если ваш источник
информации в секунду производит количество битов, превышающее пропускную
способность вашей линии, вы не сможете передать сообщение (по крайней
мере, с той скоростью, с какой оно создается). По-другому вы можете это
сделать, но у вас может возникнуть проблема с тем, чтобы избавиться от
некоторой избыточности исходного сообщения, закодировав его должным
образом. (Это называется сжатием данных; сообщение можно сжать, если оно
является избыточным, но информация не сжимается.)
Другой проблемой, которая вполне может возникнуть, являются помехи на
линии. Эту проблему можно решить, целесообразно увеличивая избыточность
сообщения. Вот что вы делаете. При кодировании сообщения вы вводите
лишние биты информации, которые позволят вам проверить, когда помехи
изменили символ, и еще некоторые биты, которые позволят вам сделать
поправки. Другим словами, вы используете код исправления ошибок. Если
пропускная способность вашей линии достаточно высока, а помехи достаточно
низки, вы сможете с ними справиться, используя коды исправления ошибок.
