Сигнал о некоторых понятиях кибернетики - Полетаев И.А.
Скачать (прямая ссылка):
Расположим все возможные сообщения At в некотором порядке и припишем каждому из них вероятность Рр равную вероятности появления этого сообщения в реальной передаче. Мы будем иметь конечную схему, состоящую из полной системы попарно несовместимых событий (сообщений) Л., заданных вместе с их вероятностями.
Конечная схема может быть записана так:
При каждой передаче производится выбор одного из элементов Л. схемы в соответствии с распределением вероятностей. Для каждой передачи какое-то сообщение будет
75
Мера количества информации
обязательно выбрано, поэтому сумма всех вероятностей должна быть равна единице
п
(4.4)
1-1
Некоторые из Pt могут быть равны нулю.
Всякая конечная схема представляет неко орую неопределенность выбора ее элементов, которая снимается после того, как выбор произведен. Степень этой неопределенности различна в различных схемах. Неопределенность, по-видимому, возрастает, если возрастает число элементов схемы при равномерном распределении вероятностей. При одинаковом числе элементов схемы неопределенность возрастает по мере приближения распределения вероятностей к равно-
деленность исчезает вовсе, если одна из вероятностей становится равной единице.
Мера неопределенности выбора в данной конечной схеме и является мерой количества информации на один выбор, так как выбор снимает неопределенность. Мера неопределенности выбора или количества информации на один выбор должна быть функцией всех вероятностей Pif изменяться непрерывно при непрерывном изменении Pt и(
кроме того, принимать максимальное значение в том случае, когда все вероятности равны друг другу.
К. Шзннон, которому принадлежит заслуга постановки этого вопроса, показал, что этим и некоторым дополнительным требованиям удовлетворяет функция
где к — постоянная, определяющая единицу измерения.
Вид этой функции совпадает с выражением для энтропии в статистической физике, причем это совпадение существенно, а не только формально. Поэтому величина Н носит название энтропии совокупности вероятностей Р. .
мерному. Так, по-вндимому, схема шую неопределенность, чем схема
ббль-
Неопре-
п
Н = - k 2 P. log Р.
(4.5)
76
В тех случаях, когда будет возникать опасность путаницы, мы будем называть соответствующие величины физической и информационной энтропиями.
В качестве единицы измерения количества информации или энтропии принимается единичный выбор из двух равновероятных возможностей. Для этого случая Я= 1; логарифм, как и в случае меры Хартли, берется при основании 2. Этим определяется постоянная k—\.
н(т’ г)=-(41“«т+т1°г:т)=1- <4-6>
Аналогично мере Хартли энтропия возрастает пропорционально числу последовательных выборов. Для однократного выбора из двух возможностей с неравными вероятностями р п q (p+q=l) энтропия принимает различные значения в пределах между нулем и единицей (рис. 4.1). Когда р стремится к нулю или единице, т. е. когда выбор оказывается заранее предопределенным, энтропия равна нулю в полном соответствии с нашими интуитивными представлениями. Максимум энтропии соответствует наибольшей неопределенности выбора, т. е. равным вероятностям. В этом случае энтропия равна информационной емкости множества возможных сообщений. Для любого множества выравнивание вероятностей ведет к увеличению энтропии. Энтропия одиночного выбора из множества N сообщений или символов, приведенная в формуле (4.5), представляет собой энтропию на символ -передаваемого сообщения. Иногда эту величину называют также «содержательностью одиночного сообщения».
Интересно отметить, что Хартли, предложив меру емкости системы для запасания информации при равновероятном использовании элементов, остановился перед дальнейшими трудностями. Он считал, что характер реального вы-
77
Н
Рис. 4.1. Зависимость энтропии от вероятности в случае выбора из двух возможностей с вероятностями р и 1 — р.
бора сообщен-ия т множества представляет собой проблему психологическую, а не математическую и не инженерную* Заслугой Шэннона является то, что он вместо психологических использовал статистические данные. В результате статистической постановки задачи мера Хартли
С — log N — — log — log Р (4.7)
заменена энтропией
п
я==Ер-'(~IogPi)’ i-i
которая является не чем иным, как математическим ожиданием (или средним по вероятности) отрицательного логарифма вероятности, т. е. меры Хартли.
Следует отметить, что величина энтропии относится не к единичному сообщению, которое фактически выбрано, а к единичному выбору из данного множества с заданным распределением вероятностей. Следовательно, энтропия характеризует не то, что в данный момент передано, а то, что могло бы быть передано. Иногда называют энтропию «мерой свободы выбора» или «мерой априорного незнания».
