Вероятность: основные понятия, структура, методы. - Скороход A.B.

г./

= Я (<^1) + 2 р (А)Я(#2| А)>

где Я(<!?2/А)—энтропия эксперимента <§?2, если вероятность
каждого элементарного события совпадает с его условной веро-
ятностью при условии, что произошло событие А. Выражение

2Р(А)Я(£2|А) = Я(<Г2|<!ч) (5)

называется условной энтропией эксперимента <§Г2 относительно
эксперимента Ж\. Таким образом,

Я(<Г1Х^2)=Я(^1)+Я(<Г2/«Г1). (6)

Аналогично определяется составной эксперимент, состоящий в

Последовательном Проведении Экспериментов Ж\, <Э2,...,ё?п,

будем его обозначать <$\Х ■ ■ - Х<$п. Так как ^\Х...Х^п =
— (З'хХ ■.. Х&п-\) Х<§п, то из (6) получаем следующую об-
щую формулу:
Э1.

я(#,х... х#„)=я(3,1)+я(зуз,) + ...

+ Н(&п/&и...,&п-1). .(7)

Предположим, что эксперименты <§\ и <о2 независимы. Тог-
да Р(В^Аг) =Р(^), Я(<Г2|А) = Я(<Г2), следовательно
Я(^1Х<^2) =Я(^1)+^((Г2). Отсюда получаем:

32. Если <§?ь &2,---,&п — независимые эксперименты, то

н(&1х... ха,„)=я(а,1)+...+я(а,п). (8)

33. Каковы бы ни были «^1 и ^2

Н(&2/&1)^Н(&2), . (9)

Н(<Р211э\)=Н(&2) только тогда, когда ^ и <У2 независимы.
Действительно,

Я («Г21«,) = - 2 Р {Ад 2 р (BJ I л<) 1о§2р (Я/1 А) =

=22р(^)^(р(^1А)),

где гр(л:) = — х\^2~^- Функция ^(х) выпукла вверх на (0, 1),

поэтому при л:г6(0, 1)

2р(Л)ф(х;хф(|р(Л)^)

и равенство возможно лишь в случае Xi — xx для всех i. Поэтому

2Р (Ад Ч>(р (В, | Л))<я|)(2 р (А) р (Bj | A)) = l> (р (Bj)),

причем равенство возможно лишь в том случае, когда р (Bj | At)
совпадают при всех i, т. е. р (Bj \ At) = р (Bj). Остается заметить,

что 2^(р(Я;)) = Я№

I

34. Если 8\, &2, <%ъ — произвольные эксперименты с конеч-
ными числами исходов, то

Я(4?з/^1Х^2)^Я((Гз/<Г2). (10)

Доказательство аналогично выводу неравенства (9). Равенст-
во (10) достигается, если ef3 и e?i независимы при условии &2.

б) Энтропия стационарной последователь-
ности. Рассмотрим стационарную последовательность
n^l}, у которой величины |п принимают конечное число
различных значений. Обозначим через Вп эксперимент, заклю-
чающийся в измерении величины |„. Энтропией стационарной
последовательности {£п} называют величину

#({U) = Hm-!r-#(«iX...X3'n). OD

П->-оа "

35. Предел в правой части (11) существует.
Действительно,

Я (&, X • • • X &я) = Н (#,) + Я (<Г21 <Г,) + ...

я (#■„ I ff, х.-.х #■„_,).

Поэтому предел в правой части (11) совпадает с величиной
lim [Я ($х X .. . X 8п) - Я (<Г, X • • • X &п-\)\ =

= НтЯ(«Гп|«Г1Х ... Xffn_i), (12)

«-►со

если только последний существует. Но на основании Э4
Н(&п/&} X... X«"n-i) <Я(<Г„/<Г2Х ... Xffn-i) =
= (<Г„_,/«",X ... XSn-2)

(в последнем равенстве мы воспользовались стационарностью
последовательности {£»})• Поэтому под знаком предела в пра-
вой части (12) стоит невозрастающая неотрицательная после-
довательность.

36. Если стационарная последовательность {£„} является
марковской, то

Я ({£„})= — 2AJ0"lOg2/7«, О3)

где р{ = Р{|1 = а,}, р^ = Р{|2 = а)1/11 = а<Ь Ю — множество зна-
чений величины £„. Чтобы убедиться в этом, рассмотрим соот-
ветствующую последовательность экспериментов {ё'п}. Они
образуют цепь Маркова: вероятности в эксперименте &п при
заданных Вп-\ зависят только от &п-\'■ Р{1п = аъ.1&\X ...

• ■■Х8п-\} = Р{%п = ан1&п-\}. Поэтому ёи...,8п-2 и <оп услов-
но независимы при заданном Шп-\. Поэтому

я (&п! з\ х ... х &гЛ=я (<г„ | гг„_о=

= - 2 р Й л-1 = Р {!«= а и 11 п-1 = «/} Ьёг Р {£,, = а к \ \п-\ =

а это выражение совпадает с правой частью (13).

1.3. е-энтропия и энтропия непрерывной случайной величи-
ны. Рассмотрим случайную величину | с непрерывной функ-
цией распределения Р(х). Ее г-энтропией называется величина

-2Р{Ь<К(й + 1)в}1оц2Р{Ае< е <(£ + !) в}- (14)

к

Предположим, что существует плотность распределения 1(х)
величины |. Тогда выражение (14) представимо в виде

- $ / (х) 1оё2 / (х) их + 1о&2 { + о (1),

о(1)->0 при е->0 (мы предполагаем, что интеграл существует).
При е->0 это выражение стремится к +оо. Но для разных
случайных величин разности е-энтропий уже стремятся к ко-
нечной величине. Обозначим