Научная литература
booksshare.net -> Добавить материал -> Физика -> Агекян Т.А. -> "Теория вероятностей для астрономов и физиков" -> 33

Теория вероятностей для астрономов и физиков - Агекян Т.А.

Агекян Т.А. Теория вероятностей для астрономов и физиков — Наука, 1974. — 264 c.
Скачать (прямая ссылка): teoriyaveroyatnosteydlyaastronomov1974.djvu
Предыдущая << 1 .. 27 28 29 30 31 32 < 33 > 34 35 36 37 38 39 .. 71 >> Следующая


Для второй полной системы событий

Я (SB) = - Aiog -L - ^log -L _ 2 . A-Iog А=1,3392.

Таким образом, хотя в первой системе число событий меньше, мера неопределенности ее оказалась больше.

Выражение (2.139) для меры неопределенности полной системы событий по структуре совпадает с выражением для энтропии физических систем. Если объем физической системы мысленно разбит на элементарные объемы и вероятность состояния, в котором находится і-й элементарный объем, равна р (At), то выражение (2.139) определяет энтропию физической системы. Энтропия характеризует меру хаоса, меру неупорядоченности физической системы. В этом понятии можно усмотреть определенную аналогию с мерой неопределенности полной системы событий. Поэтому часто наряду с выражаением «мера неоопределенности» употребляю выражение «энтропия полной системы событий».

§ 33. Количество информации Пусть Л и M — две полные системы событий Ai, Ai, . . ., An

и

Blt -®а> • • •» Их меры неопределенности соответственно равны

п

H(J) = - 2 m) iogm), «-1 m

я (3d) = - 2 P(Bj)UgP(Bi).

3=1 Количество информации

119

Рассмотрим полную систему событий, составленную из попарных произведений событий систем J и 5В

A1Blt A1Bi.....AnBn. (2.146)

Ee энтропия равна

т п

Я (ЛЗВ) = - 2 2 P (AiBi) log P(AiBi). (2.147)

J-11=1

Используя теорему умножения вероятностей и 046-

т

видное равенство 2 ^ 14) = 1> напишем

J=I

m п

H(JSB)=- 2 2^)^14)^1^(4)^1^)1 =

Ji-I J-I n т

= - 2^(4)iogP(4) 2PmAi)-i=l j-1 n т

- 2 P(^i) 2 mi 4)log P(BiIAi) =

i=l J=I

n

= я (Л) 4- 2 p (4) H (331 Лі). (2.148) i=l

Я ($ | А і) будем называть условной энтропией системы при условии Ai. Положим

п

я (381 J) = 2 P (4) н I А), (2.149)

і—1

н назовем эту величину условной энтропией системы В относительно системы А. Равенство (2.149) показывает, что Я (39 I J) имеет смысл математического ожидания условной энтропии системы 33 при условии осуществления событий из системы J. Hs (2.148) вытекает, что

Я (JOB) = H(J) +H I J), (2.150)

В аналогично можно получить

Я (Jm = H(M) + Я (J I В). (2.151) (120

СЛУЧАЙНАЯ ВЕЛИЧИНА

ІГЛ. 2

Пусть полные системы событий .4 и В заданы. Определим условие для полной системы событий JB, при котором H (JB) максимально. Для этого, имея в виду справедливость равенств

т п

2 P (AiBj) = P (Ai)1 2 P (AiBi) = P (Bj),

J=I і=і

напишем (2.147) в форме

H(AB) =

11 P(IB)

= - 2 log Pii\pfB) + H (J) + H (SB). (2.152)

J=Ii=I і' І У

В выражении (2.152) переменными являются величины P (AlBj)l для которых должно удовлетворяться условие

т п

2 2 P (AiBi) = 1. (2.153)

J=I 1=1

Число этих переменных равно пт. Для того чтобы найти максимум H (JB), нужно составить функцию Лагранжа

m n P(AB) т П

L = - 2 bgPi^yL + A. 2 2 Р(^А).

J=I i=i v «' W J=I i=i

(2.154)

и приравнять нулю все ее частные производные по P(AiBj)f имея при этом в виду, что P (Ai) и P (Bj) фиксированы. Находим, что

P UUBi)

- loS P(Ai) P (Bi) - 1 + ь = 0, (2.155)

і = 1, 2,..., re, j = 1, 2,..., т.

Уравнений в (2.155) будет всего пт. Они показывают, что величина фигурирующей в них под знаком логарифма дроби не зависит от значков і и /'. Следовательно, максимум H (JB) достигается, когда выполняется условие

P(AtBj)=CP(Ai)P(B1). (2.156) КОЛИЧЕСТВО ИНФОРМАЦИИ

121

Просуммировав (2.156) по всем і и /, найдем, что с = 1. JT те к

P(AiBi) = P(At)P(Bi), (2.157)

т. е. H (AB) максимально, когда системы АиЗВ взаимно независимы. Б этом случае, как показывает (2.152),

Я (AB) = H (А) + Я (В) (2.158)

и, следовательно, согласно (2.150)

Я (В 1 A) =H (В). (2.159)

В общем же случае, когда не известно, являются ли системы А. и В взаимно независимыми, справедливо неравенство

Я (В I Л)< Я (В). (2.160)

Если полные системы событий A n В однозначно определяют друг друга, т. е. если условная вероятность события Bi при условии At равна 1, а все P (Bi | Ai) = 0 прн /' Ф і, то

m

ТІ (В I А) = - 2 P (Bj IAi) log P (Bi I Ai) = 0. (2.161) І j=i

На основании (2.149), в этом случае и

Я (В \А) = 0, (2.162)

и, следовательно,

Я (AB) = H (А). (2.163)

Таким образом, поскольку Я (В | А) отрицательным быть не может, в общем случае

0 < Я (В MX Я (В). (2.164)

Информацией называется изменение меры неопределенности (энтропии) системы событий. Если, например, стало известно, что произошло событие Ai, то количество информации для системы В равно

I (В, Ai) = H(B) - H (В МІ). (2.165)

Как показывает (2.165), информация считается положительной, если мера неопределенности системы уменьшилась. (122

СЛУЧАЙНАЯ ВЕЛИЧИНА

ІГЛ. 2

В общей случае, когда становится известным, что произошло событие A1, энтропия системы может и уменьшиться, и увеличиться, следовательно, количество информации при этом может быть и положительным, и отрицательным.

Математическое ожидание количества информации для системы 39, когда становится известным, что произошло какое-то событие системы А, равно
Предыдущая << 1 .. 27 28 29 30 31 32 < 33 > 34 35 36 37 38 39 .. 71 >> Следующая
Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed