Структура оптического изображения. Дифракционная теория и влияние когерентности света - Марешаль А.
Скачать (прямая ссылка):
Рассмотрим теперь последовательность многих сообщений. Представим себе, что кто-то рассказывал о далеком путешествии и заявил:
«Я посетил Большой Каньон в сентябре». Здесь содержится два элемента:
— факт посещения Большого Каньона (сообщение а),
— время посещения (сообщение Ь). Гл. 10. Теория информации и оптическое изображение 205
Если теперь рассмотреть вероятность совокупности двух событий, то, очевидно, она равна произведению вероятности ра посещения Большого Каньона (учитывающей интерес к таким посещениям, вкусы путешественника и т. д.) и вероятности посещения именно в сентябре, когда заранее известно, что речь идет о Большом Каньоне. На математическом языке это значит, что вероятность двух событийаиб равна произведению вероятностир(а) события а на вероятность ра(Ь) события b при условии, что событие а совершилось:
р(а,Ь) = р(а)ХраФ).
С другой стороны, естественно предположить, что количество информации, даваемое последовательностью сообщений, равно сумме информаций, приносимых каждым из сообщений. При . этих условиях приходим к оценке количества информации с помощью логарифма вероятности априори объявленного события. Эта вероятность всегда меньше единицы, и ее логарифм всегда отрицателен; определим количество информации через — Iogp. Двойное сообщение a, b принесет, следовательно, информацию
/(а, Ь) = — logр (а, Ь) = — logр(а) — logра(Ъ) =
=/(а)+ /(&), (10.1)
которая равна сумме информаций / (а) и Ia (Ь), содержащихся в каждом из двух последовательных событий. Остается правильно выбрать единицу: наиболее пригодной в качестве единицы принимается такая информация, которая соответствует появлению события, вероятность которого априори равна половине; тогда можем написать
/(а) =--1^- = —Iog2Pa, (10.2)
-log
обозначая через Iog2 (х) — логарифм х при основании 2. Эта двоичная единица в английской литературе обозначается словом bit (сокращение от binary unit); таким образом, объявление результата в игре «орел или решка» приносит единицу информации. 206 *
Часть III. Влияние аберраций
§ 3. Поток информации "
Рассмотрим теперь способ передачи информации (канал информации), используя для этого последовательные сигналы а, Ь, с и т. д., имеющие соответственно вероятности Pa, рь и т. д. Можно, например, полагать при передаче номера телефона, состоящего исключительно из цифр, что каждое последовательное сообщение дает нам возможность узнать одну новую цифру, вероятность которой равна 1/10; каждое сообщение приносит, следовательно, информацию, равную
- Iog2 ^ = Iog2 10= = -0Щ03- « 3,52 дв. ед.
Если теперь рассматривать неравновероятные сообщения, то можно оценить средний поток информации на сообщение. Возьмем в качестве примера объявление результатов последовательных проб в игре, где результаты сводятся просто к «выигрышу» или «проигрышу»: если р есть вероятность выигрыша и (1—р) —вероятность проигрыша, то объявление удачного случая приносит информацию —log р, а объявление неудачного случая приносит информацию —log(1—р). Если теперь рассмотреть последовательность из N сообщений, то общее количество информации будет близко к величине
— Np log р — iV (1 — р) log (1 — р),
поскольку получаем приблизительно Np случаев выигрыша и N(I — р) случаев проигрыша; в среднем для каждого сообщения получаем
P log р (1 р) log (1 р). (10.3)
Легко показать, что в наиболее общем случае, когда число возможностей значительно (больше 2), средний поток информации равен
—SPi1Ogpi., (10.4)
і
где Pi — вероятность события І.
1J Это понятие в литературе по теории информации связывают с понятием энтропии информации.—Прим. ред. Гл. 10. Теория информации и оптическое изображение 207
Интересно построить кривую, представляющую ПОТОК информации в простом случае, когда имеются две возможности с вероятностями р и 1—р: эта кривая должна проходить через максимум, когда р= 1/2, т. е. когда два дополняющих друг друга события равным образом вероятны. Очень ловкий игрок выигрывает почти всегда, и объявление его результатов будет состоять из ряда сообщений, в которых будут объявляться только выигрыши, вероятность которых почти равна единице, и эти сообщения будут давать очень мало информации; средний поток информации будет, следовательно, очень малым. Очевидно, то же самое получится и у неумелого игрока; наоборот, игра среднего игрока даст максимум потока информации, причем каждое сообщение приносит почти одно и то же количество информации.
§ 4. Понятие об избыточности кода
Можно применить сказанное выше к оценке (априори достаточно неопределенной) количества информации, содержащегося в письменном сообщении: письменное сообщение состоит из совокупности слов, составленных из букв. Число использованных букв будет ограничено, а частоту появления каждой из букв в сообщении можно уточнить; для этого достаточно сосчитать в достаточно длинном тексте, сколько раз использована каждая -буква. По результатам подсчета можно составить таблицу относительных частот, подобную табл. 10, которая дает вероятность употребления 32 знаков, применяемых во французском языке (Chavasse)-
