Сигнал о некоторых понятиях кибернетики - Полетаев И.А.
Скачать (прямая ссылка):
Пересчитав подобным образом все возможные трехминутные телефонные разговоры при полосе частот 4000 герц и разбиении амплитуды квантованием на 32 значения, мы получим число Ю20шю (единицу с двумя миллионами нулей). Разумеется, среди пересчитанных таким образом разговоров подавляющая часть окажется вопиющей бессмыслицей или просто набором звуков.
Для телеграммы из 10 слов по 5 букв каждое количество всех возможных (в том числе и бессмысленных) телеграмм равно Л^ = 3250^1075. Для передачи одного сообщения, состоящего в выборе одного из двух символов, число возможных сообщений равно 2.
Итак, зная алфавит и длительность передачи, можно подсчитать число возможных сообщений, из которых производится выбор при каждой передаче. Мы подошли к определению информационной емкости системы, передающей или запасающей информацию. В 1928 г. Хартли предложил оценивать информационную емкость системы логарифмом числа возможных состояний системы. Так, если система может находиться в N возможных состояниях и все ее состояния взаимно независимы, то ее емкость равна
С\ = logJV. (4.1)
Две такие системы вместе будут, очевидно, иметь N2 состояний (каждому состоянию первой соответствует N возможных состояний второй). Следовательно, емкость двух систем составит
С2 = log N2 = 2 log N = 2С{, (4.2)
т. е. она будет вдвое больше, чем емкость одной системы. Очевидно, что емкость трех систем в таком определении будет втрое больше, а емкость k систем — в k раз больше; другими словами, емкость аддитивна.
С помощью меры, предложенной Хартли, работа системы, состоящая в прохождении тактов, может быть описана таким образом, что емкость будет возрастать линейно
73
с увеличением числа тактов, т. е. пропорционально времени работы. Эти линейные соотношения делают удобными расчеты и оправдывают применение логарифмической меры емкости. Поскольку в качестве систем, запасающих информацию, применяются реле или другие устройства, имеющие только два устойчивых состояния, основание логарифма удобно взять равным двум. Тогда присоединение к схеме дополнительного реле увеличит емкость схемы на единицу.
Чтобы подойти к определению понятия количества информации, необходимо представить себе, как заполняется информационная емкость канала и какая часть ее действительно используется при передаче. Мы уже видели, что часть пересчитанных нами разговоров и телеграмм бессмысленны, т. е. никогда не встретятся в реальной передаче. Стало быть, при использовании канала некоторые состояния или сообщения никогда не встречаются, другие встречаются редко, третьи—часто. По-видимому, для передачи только «разумных», т. е. реально встречающихся сообщений, в принципе можно было бы обойтись каналом с меньшей емкостью.
Представим себя в роли адресата, находящегося на приемном конце канала связи. Мы получаем различные сообщения, которые исполняем или запоминаем. Интуитивно ясно, что не все серии сообщений встречают с нашей стороны одинаковое субъективное отношение. Случается, что сообщения оказываются «интересными», «новыми», «неожиданными». Случается и так, что мы не получаем «ничего нового», «все без перемен» «все и так было ясно заранее», и т. д. Если все получаемые сообщения одинаковы или заранее известны или если из предыдущих можно однозначно вывести последующие, то, естественно, мы не узнаем ничего нового, т. е. будем получать количество информации, равное нулю.
Помните, как один из героев Жюля Верна—журналист Гедеон Спиллет—передавал по телефону главу из библии только для того, чтобы не дать возможности конкурирующим репортерам воспользоваться линией. Вся острота ситуации заключается в том, что Спиллет использует линию нелепым образом, т. е. передает общеизвестный текст.
Сообщения «интересны», мы узнаем из них новости и получаем информацию только тогда, когда они «неожиданны» или, лучше сказать, случайны. Этот термин объективен и точен и, кроме того, позволяет перейти от ин-
74
туитивного и психологического определения ситуации «новизны» или «неожиданности» к объективному статистическому описанию явлений, из которого полностью исключается какая бы то ни была произвольность оценок.
Разумеется, случайность, которая входит, таким образом, в выбор сообщения из множества возможных, имеет источником случайный характер описываемого события. В поисках меры количества информации мы должны обратиться к методам теории вероятностей.
Всякое сообщение, передаваемое по каналу или фиксируемое в запоминающем устройстве, соответствует некоторому определенному состоянию внешнего явления, о котором передаются сообщения. Внешнее явление или событие представляет собой источник сообщения или источник информации. Те или иные состояния внешнего явления наступают часто или редко в зависимости от характера тех законов природы, по которым это явление протекает. Поскольку течение описываемого явления в будущем неизвестно (иначе о нем не было бы смысла передавать сообщения), можно говорить только о частотах или о вероятностях наступления тех или иных состояний. В связи с этим различные сообщения, каждое из которых соответствует определенному состоянию описываемого явления, также приобретают определенные вероятности.
