Вероятность: основные понятия, структура, методы. - Скороход A.B.
Скачать (прямая ссылка):
§ 1. Энтропия
Прежде чем ввести понятие количества информации, нам
понадобится некоторое более общее понятие — энтропия. В ма-
тематике мы рассматриваем информацию как нечто, уменьша-
ющее имеющуюся неопределенность. Чтобы измерить информа-
цию, нужно измерить, насколько уменьшилась неопределен-
ность благодаря полученной информации. Итак, нужно уметь
численно измерять неопределенность. Эта мера неопределенно-
сти некоторого объекта и есть энтропия.
1.1. Энтропия вероятностного эксперимента. Простейший
вид неопределенности — это неопределенность вероятностного
эксперимента с конечным числом исходов. Пусть Ей Е2, ■ •.
..., Ет — элементарные события эксперимента, р\, р2, ..., рг —
соответствующие вероятности. Обозначим эксперимент одной
буквой <§Г, его энтропию Н(&). По определению
г
Я(<Г) = 2>*1оё2^. (1)
Выбор в качестве меры неопределенности числа, стоящего справа
в (1), можно объяснить так. Пусть эксперимент произведен не-
зависимо «раз, Etk—событие, происшедшее в k-ом эксперименте.
Последовательности Et,, Ei„...,Ein будем называть «сообще-
ниями», я —длина сообщения. Вероятность указанного сообщения
равна
п п
П р»я», «т = 2 1{1)гту (2)
Общее число сообщений длины п, очевидно, равно 7"" = 2nlnr.
Однако среди этих сообщений будут и такие, вероятность кото-
рых пренебрежима, по сравнению с вероятностями других со-
общений. Пусть вероятности (2) упорядочены по величине, вы-
берем некоторое 6>0 и обозначим через N6(n) наименьшее
число сообщений, суммарная вероятность которых не меньше
1—6
Теорема 1. Для всех бб(0, 1)
lim ±log2N6(n) = H(%).
каково бы ни было б > 0.
Доказательство. Введем множества событий: 5^— тех»
для которых
-п (Н(<Г) + еК 1оё2Р ...Е,п) < -п (Н (<Г)-е), (3)
£„ — тех, для которых
1о&Р (Е ,,...£,„)>- л (# (#) - е). (4)
Тогда
Так как в силу закона больших чисел у1 ->■ р{ по вероятности, то
Р(5^)->1, Р(5„)->0. Пусть N1 — число элементов 5*, Л^ —чис-
ло элементов 5л. Тогда
Р (5„) 2п{н{Ж)-г) < N1 < Р (5*) 2л(я(^)+е),
^ Л^<Р(5„)2ге(я(ЙГ)-е)
(суммарная вероятность делится на минимальную вероятность при
оценке сверху и на максимальную при оценке снизу).
Для достаточно больших я (при Р (5„) > 1 — б)
(1 _ б) 2»м*>-°> < л^б (п) < №„+т,
1оё2 (1 - б) + я (Н {&) - е)< 1оё2Л/б (я) < я (Я (<Г) + 8).
Остается воспользоваться произвольностью е>0. □
Замечание 1. Пусть нужно «записать» каждое из N
«сообщений» с помощью двоичных знаков. Это означает, что
каждому сообщению ставится в соответствие последователь-
ность из нулей и единиц, так что различным сообщениям отве-
чают различные последовательности. Какова минимальная
длина используемых последовательностей из нулей и единиц?
Если 2т<Лг^2т+1, то очевидно эта длина совпадает с т+1 =
=—[log2 [•] — целая часть числа. Если теперь рассмат-
ривать последовательности исходных сообщений длины г, то
их число будет Л^г, а число необходимых двоичных знаков
равно —[1о§2 Лг_г]. Значит, при многократной записи этих со-
общений в среднем на одно такое сообщение нужно будет за-
тратить
— Ит — [ 1оё2 ЛГ'] = \ogiN.
/■-►со
Это число есть энтропия эксперимента ё'м с N равновероятными
исходами
Н = 2 1оё2Л/ = 1оё2ЛГ.
Теорема 1 показывает, что и для общих экспериментов эн-
тропия представляет собой среднее число двоичных знаков,
необходимых для записи одного сообщения, при неограничен-
ном и независимом повторении эксперимента.
1.2. Свойства энтропии. Из формулы (1) вытекает, что
#(<!?) >0. Максимальное значение энтропии эксперимента с г
исходами равно log2/', это энтропия эксперимента с равноверо-
ятными исходами. В этом легко убедиться, находя условный
экстремум правой части (1) по переменным рх,...,рг при усло-
вии />!+... +рг=1.
а) Энтропия составного эксперимента. Рас-
смотрим эксперимент «У, который состоит в последовательном
проведении экспериментов &\ и В2, будем обозначать В =
=<?чХ<^2. Будем называть 8 составным экспериментом. Пусть
А\,...,Ат — элементарные события эксперимента В и
В\,...,В1 — элементарные события в эксперименте 8% Тогда
элементарными событиями эксперимента ч будут
{Лг-Г|Вэ-, г=1,..., т; / = 1,...,/}.
Имеем
Н(&х X ЗУ = - 2 Р (А, Г) В,) 1оё2Р (А, П В}) =
= - 2 Р (А) Р {В; | А,) [1оё2Р (А) + 1оё2Р (Я, | А)] =
".У
= - 2р илр (в/1л<) 1о&р (ло -
- 2 Р (А) Р (В; | Л,) 10&2Р (Б, | А) =
