Динамика иерархических систем: эволюционное представление - Николис Дж.
Скачать (прямая ссылка):
надеемся) чрезвычайно редко, тогда как событие, о котором говорится в М\,
случается почти каждый день.
Однако подобная гипотеза неверна. Возьмем следующее сообщение: "завтра 20
октября". Событие, о котором говорится в нем, происходит редко (раз в
году). Или возьмем даже такое сообщение: "завтра 20 октября 1982 г.". Это
сообщение уникально, так как в нем говорится о событии, которое никогда
не происходило в прошлом и никогда не произойдет в будущем. Тем не менее
никто не извлекает из такого сообщения никакой информации. Почему? Да
просто потому, что это сообщение, хотя оно и единственное в своем роде,
вполне предсказуемо (возможно, на основе исключительной регулярности
ньютоновской механики на коротких временных масштабах) практически с
достоверностью.
Нелинейная динамика и статистическая физика
63
Итак, мы приходим к выводу о том, что ключевым понятием, позволяющим
отличать малоинформативные сообщения от сообщений с большим
информационным содержанием, является не редкость события, а его
неожиданность. Это означает, что сообщения о событиях, имеющих малую
априорную вероятность, несут много информации в тех случаях, когда такие
события происходят. Следовательно, мы можем записать следующее
соотношение между информацией / и вероятностью события Р (М):
'=f Ы*г) - (2Л8)
где f - пока неизвестная функция. Чтобы продолжить наш детективный поиск
функции /, наложим на / только одно (очевидное) ограничение, а именно
потребуем выполнения аддитивного правила: общая информация, поступившая
от двух некогерентных источников 1, 2, должна быть равна сумме отдельных
вкладов, т. е. / = I\ + /2. Действуя в том же духе, попытаемся придать
функции f простейшую аналитическую форму, а именно положим Л = \/Р{М\);
/2 = 1 /Р(М2). Тогда
Р (Mb М2) Р (М,) ~ Р (М2)
Но это невозможно, так как в силу статистической независимости источников
1 и 2 Р (М\, М2) = Р (М\) Р (М2). Следовательно, функция 1 /Р не
подходит. Нам необходима специальная функция f, обладающая свойством
f ( Р (Ми М2)) = Кр (Mt) Р (М2Т) = Кя (.Mi) ) + ^ (я(М2)) •
(2.3.9)
Такой функцией является логарифм (ниже при выводе выражения для
физической энтропии системы мы докажем, что логарифм- единственная такая
функция). Следовательно,
I = \og-j-,
или
/ = - log Р', (2.3.10)
величина / всегда неотрицательна, так как O^P^l. Выбирая в качестве
функции f логарифм с основанием 2, мы одновременно фиксируем единицу
информации - бит.
Один бит - это количество информации, необходимой для различения двух
равновероятных альтернатив. Например, информация, извлекаемая из исхода
бросания симметричной мо-
64
Глава 2
неты ("орел или решка"), равна
I = log22 = 1 бит.
Предположим далее, что имеется некоторая система, ведущая себя, с точки
зрения наблюдателя, как источник информации с репертуаром из Л возможных
дискретных стационарных состояний.
Единственно, что известно наблюдателю о системе помимо числа Л возможных
стационарных состояний, - это набор
априорных вероятностей Л, Р2 РА, с которыми система
(под воздействием начальных и граничных условий) может перейти в каждое
из этих состояний.
Возникает вопрос: какова неопределенность предсказаний наблюдателя (и,
следовательно, какова информация, получаемая после наблюдения)
относительно того, в каком состоянии система находится в данный момент?
Ответ известен и равен среднему значению функции log 1/Л. Таким образом,
л
(/)=- ЕЛ1оё2Л бит. (2.3.11)
i=1
Эта величина называется информационной энтропией системы.
Следующий вопрос: при каких условиях информационная энтропия системы
достигает максимума? Требуется найти мак-
л
симум выражения (2.3.11) при ограничении ?Л=1. Пусть
1 = 1
а - неопределенный множитель Лагранжа. Максимизируем
л
F = - ? (Л log2 Л - aPt) (2.3.12)
1 = 1
по каждому Pi. Запишем условие экстремума:
-§p- = -(\og2P{+ 1 -а) = 0; (2.3.13)
следовательно, log2P = a- 1 при всех i. Это означает, что все Pi равны.
Из условия нормировки получаем, что Л=1/Л. Максимум энтропии достигается,
когда все состояния (априори) равновероятны, и ее максимальное значение
равно
л
S = 5макс = - 2 (х log х) = 1оё2Л, (2.3.14) г=1
т. е. просто логарифму числа состояний.
Перейдем теперь к физической энтропии системы. Предположим, что имеется
система (например, физическое тело), состоящая из N взаимодействующих
компонент, которые принадлежат к Л различных категорий, разделенных по
какому-
Нелинейная динамика и статистическая физика
65
нибудь классификационному критерию (например, в соответствии с дискретным
распределением скоростей). Пусть Ni - на-
л
селенность г-го класса, г е {1, ..., Л}, X = N.
1 = 1
Число макроскопических образований, или комплексов, ответственных за одно
и то же макросостояние системы, как известно, равно
W = - • (2.3.15)
П>|
t = l
Если все комплексы равновероятны, то вероятность выбрать один из
комплексов, ответственных за данное макросостояние, равна Р - W~l.
Возникает вопрос: какова неопределенность (и информация, которую
