Научная литература
booksshare.net -> Добавить материал -> Кибернетика -> Эшби У.Р. -> "Введение в кибернетику" -> 85

Введение в кибернетику - Эшби У.Р.

Эшби У.Р. Введение в кибернетику. Под редакцией В. А. УСПЕНСКОГО — М.: Издательство иностранной литературы, 1959.
Скачать (прямая ссылка): Vvedenie_v_kibernetiku.djvu
Предыдущая << 1 .. 79 80 81 82 83 84 < 85 > 86 87 88 89 90 91 .. 144 >> Следующая

Упр. 1. Определите в уме энтропию матрицы переходных вероятностей
J А В с
А 0,2 0 0,3
В 0,7 1,0 0,3
С 0,1 0 0,4
[Указание: Здесь надо не вычислять, а обнаружить скрытую простоту. Что означает 1 на главной диагонали (упр. 9/5/1)? Каково, следовательно, окончательное равновесие системы? Имеют ли значение столбцы Л и С? И какова энтропия столбца В (упр. 9/11/6)?] Упр. 2. (Продолжение.) Объясните следующий парадокс: «Когда система находится в А, имеется разнообразие или неопределенность в ближайшем последующем состоянии; значит, энтропия не может быть равна нулю».
9/14. Некоторая путаница возникает иногда из-за того, что шеннонова мера «энтропии», взятая для множества вероятностей ри р2,.-, есть сумма членов pi log pi, умноженная на —1, тогда как «количество информации», определенное Винером в его «Кибернетике», есть та же самая сумма членов p\\ogpi, но без перемены знака (т. е. умноженная на +1). (Следует иметь в виду, что р log р всегда отрицательно, так что множитель «—1» превращает его в положительное число.)
Однако здесь не должно быть никакой путаницы, ибо основные идеи одинаковы. Оба автора рассматривают информацию как «то, что устраняет неопределенность»^
9/14
ЭНТРОПИЯ
255
и оба измеряют ее количеством неопределенности, которую она устраняет. Далее, оба занимаются в основном приростом или увеличением информации, имеющим место при получении сообщения, в то время как абсолютные количества, наличествующие до или после этого, представляют меньший* интерес.
Ясно, что когда вероятности распределены разбро-санно, как в диаграмме А на рис. 9/14/1, неопределен-

События
-т—I—г-
События
Рис. 9/14/1.
ность больше, чем когда они распределены компактно, как в диаграмме В. Получение сообщения, заставляющего получателя изменить от распределения А к распределению В свою оценку того, что должно произойти, содержит положительное количество информации.
Но выражение 2plogp (где знак 2 означает сумму), примененное к Л, дает более отрицательное число, чем в применении к В; оба значения суммы будут отрицательными, но первое будет больше по абсолютной величине. Так, распределение А может дать сумму, равную —20, а распределение В — сумму, равную —3. Согласимся в качестве количества информации, связанного с каждым распределением, т. е. с каждым множеством вероятностей, взять Splogp, умноженное на +1. Так как, вообще говоря, прирост (чего угодно) = окончательному количеству минус начальное количество, то прирост информации в этом случае будет равен
(_3)_(_20),
т. е. +17. Следовательно, мы получим положительное число, как и хотели. Таким образом, рассматриваемая с этой винеровской точки зрения величина Splogp
256 ГЛАВА 9. НЕПРЕКРАЩАЮЩАЯСЯ ПЕРЕДКА 9/14
должна умножаться на +1, т. е. оставаться неизмененной; тогда мы вычислим прирост.
Шеннон же в своей книге занимается особым случаем, в котором получаемое сообщение известно с определенностью. В этом случае все вероятности равны нулю, за исключением единственной, равной 1. Для такого множества сумма Ер log р равна нулю, так что окончательное количество равно нулю и прирост информации равен
О — (начальное количество).
Другими словами, информация в сообщении, которая равна приросту информации, есть сумма Eplogp, вычисленная для начального распределения и умноженная на — 1, что и дает шеннонову меру.
Таким образом, между двумя этими мерами существует не больше несоответствия, чем между двумя способами измерения того, «насколько точка Q расположена правее точки Р» (см. рис. 9/14/2). Можно считать,
W 1-1 0 +1 2 3 4 5
Г 1 1 1 1 1 1 ? и

8 • > 1 1 It 11 1
\>-7 -6 -5 -4 -3 -2 -1 0 +1 ?
Рис. 9/14/2.
что Р и С} здесь соответствуют двум степеням неопределенности, причем большей определенности отвечает точка справа, а сообщение перемещает получателя из Р в С}.
Расстояние между Р к С} может быть измерено двумя способами, которые, очевидно, эквивалентны. По способу Винера линейка прикладывается к Р к С} (как линейка № на рисунке), и тогда расстояние, на которое С лежит правее Р, равно разности
(отсчет для СО минус (отсчет для Р).
По способу Шеннона (линейка 5 на рисунке) нуль прикладывается к С}, я /тогда расстояние, на которое С} лежит правее Р, таково:
минус (отсчет для Р).
9/15
ЭНТРОЙНЯ
257
Ясно, что между этими двумя способами нет на самом деле никакого несоответствия.
9/15. Пропускная способность канала. Необходимо различать два способа подсчета «энтропии» по отношению к цепи Маркова, даже после того как выбрана единица измерения (основание логарифмов). Цифра, вычисленная в § 9/12 из переходных вероятностей, дает энтропию, или ожидаемое разнообразие, для одного следующего шага цепи. Так, если бросание правильной, нефальшивой монеты дало уже РРГГРГГГГ, то неопределенность следующего исхода равна 1 биту. Символ, который появится затем, также будет иметь неопределенность в 1 бит и т. д. Ввиду этого цепь в целом имеет неопределенность, или энтропию, в 1 бит на шаг.
Предыдущая << 1 .. 79 80 81 82 83 84 < 85 > 86 87 88 89 90 91 .. 144 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed