Сигнал о некоторых понятиях кибернетики - Полетаев И.А.
Скачать (прямая ссылка):
Выбор сообщения при передаче производится иа входе канала связи источником сообщений, т. е. случайным процессом, обладающим соответствующими статистическими характеристиками. Следует, таким образом, говорить об «энтропии источника сообщений». Реальным источником сообщений для канала связи может быть и репортер, передающий сообщения в газету, и клиенты, подающие телеграммы, и измерительные приборы автоматической метеостанции: барометр, гигрометр, термометр и другие, выдающие результаты измерения для передачи по радио, и т. д. Важно, что в любом случае существует множество возможных сообщений и определенные частоты или вероятности отдельных сообщений. Делом нашего произвола будет выбор того, что считать «сообщением»: целую телеграмму, слово, букву или, наконец, точку, тире и паузу телеграфной азбуки Морзе.
Энтропию источника сообщений можно измерять или на символ, т. е. на один выбор, или в единицу времени. Энтропия на символ, умноженная на число символов, выдаваемых в единицу времени, равна энтропии в единицу времени.
78
ёмкость русского алфавита, включая знаки препинания и пропуски, при 32 возможных символах равна
32
— V'32*°&32~ l°g 32 = 5 единиц/символ. (4.8) 1
Если источник выдает текст на русском языке, то его энтропия на букву в два—три раза меньше емкости алфавита, т. е. составляет около 2 единиц на букву, поскольку в реальном «осмысленном» тексте символы не равновероятны (например, мягкий знак встречается реже, чем буква «а»).
Энтропия телеграммы из 10 слов (50 знаков) равна приблизительно 100 единицам. Страница книги содержит около 5000 единиц, книга в 200 страниц—около 1 000 000 единиц, библиотека в 100 000 томов—1011 единиц.
Реальные события, о которых передаются сообщения, не всегда могут описываться простой конечной схемой. Различные стороны события могут потребовать введения нескольких конечных схем («погода» описывается температурой, давлением, влажностью, облачностью и т. д.)* Таким образом, встает задача об определении количества информации сложного события.
Пусть мы имеем два взаимно-независимых события А и В и для каждого из них задана конечная схема, т. е. множества возможных исходов или состояний Л, и Bk и их вероятности. Совместное появление состояний Лг и Bk представляет собой сложное событие и будет иметь определенную вероятность
P{A.Bk) = P{A^P{Bk).
Совокупность таких сложных событий образует новую конечную схему, более обширную, чем первоначальные. Выбору из этой новой схемы соответствует новое количество информации сложного события Я (Л, В).
Для независимых событий энтропия схемы сложного события равна сумме энтропий простых событий
Я (Л, В) = Н(А) + Н(В). (4.9)
Для любого числа независимых событий Л, В, С...
Я(Л, В, С...) = Я(Л) + Я(Д) + Я(С) + ... (4Л0) Для независимых событий энтропия аддитивна.
79
Код
На пути от источника информации к адресату сигнал может проходить несколько различных участков канала, каждый в отличном от других физическом алфавите. Так, при передаче по радио сигнал представляет собой то звуковые колебания, то колебания электрического тока, то колебания электромагнитного поля и т. д. На границах участков сигнал испытывает преобразование из одного физического алфавита в другой, причем содержание (информация), т. е. соответствие первоначальной форме сообщения или описываемому событию, сохраняется.
Преобразуя сигнал из одного алфавита в другой, мы сопоставляем символы первого алфавита с символами второго. Такое сопоставление алфавитов называется кодированием «сигнала, а правило, по которому оно производится,— кодом*. В частности, всякое измерение представляет собой кодирование измеряемой величины в «выходном алфавите» измерительного прибора. Выходным алфавитом чаще всего служит механическое смещение стрелки — индикатора, поскольку оно лучше всего воспринимается человеком.
При кодировании дело, однако, не сводится только к тому, чтобы заменить одну физическую величину другой. При кодировании может измениться множество символов и распределение вероятностей. При кодировании мы можем сопоставить один символ первого алфавита с комбинацией или группой символов второго, и .наоборот, или же сопоставить группу с группой. Так, при кодировании буквенного текста азбукой Морзе буква русского алфавита сопоставляется с двумя—семью (считая пропуски) символами телеграфного алфавита. Таким образом могут быть сопоставлены различные по информационной емкости алфавиты. Поскольку при кодировании меняется множество символов и распределение вероятностей, постольку меняется, вообще говоря, и энтропия на символ сообщения. Отсюда следует, что, выбирая один из возможных кодов, мы можем найти такой код, который имеет наибольшую энтропию на символ, или, иначе, наименьшее число символов на данное количество информации. Этот код будет «наибо-
* Часто называют «кодовой группой» или просто «кодом» группу символов — слово в некотором алфавите. Говорят, например, что «устройство памяти хранит 1024 кода». Мы будем применять слово «код» только в смысле правила кодирования, но не в смысле слова в алфавите.
