Теория вероятностей для астрономов и физиков - Агекян Т.А.
Скачать (прямая ссылка):
Для второй полной системы событий
Я (SB) = - Aiog -L - ^log -L _ 2 . A-Iog А=1,3392.
Таким образом, хотя в первой системе число событий меньше, мера неопределенности ее оказалась больше.
Выражение (2.139) для меры неопределенности полной системы событий по структуре совпадает с выражением для энтропии физических систем. Если объем физической системы мысленно разбит на элементарные объемы и вероятность состояния, в котором находится і-й элементарный объем, равна р (At), то выражение (2.139) определяет энтропию физической системы. Энтропия характеризует меру хаоса, меру неупорядоченности физической системы. В этом понятии можно усмотреть определенную аналогию с мерой неопределенности полной системы событий. Поэтому часто наряду с выражаением «мера неоопределенности» употребляю выражение «энтропия полной системы событий».
§ 33. Количество информации Пусть Л и M — две полные системы событий Ai, Ai, . . ., An
и
Blt -®а> • • •» Их меры неопределенности соответственно равны
п
H(J) = - 2 m) iogm), «-1 m
я (3d) = - 2 P(Bj)UgP(Bi).
3=1 Количество информации
119
Рассмотрим полную систему событий, составленную из попарных произведений событий систем J и 5В
A1Blt A1Bi.....AnBn. (2.146)
Ee энтропия равна
т п
Я (ЛЗВ) = - 2 2 P (AiBi) log P(AiBi). (2.147)
J-11=1
Используя теорему умножения вероятностей и 046-
т
видное равенство 2 ^ 14) = 1> напишем
J=I
m п
H(JSB)=- 2 2^)^14)^1^(4)^1^)1 =
Ji-I J-I n т
= - 2^(4)iogP(4) 2PmAi)-i=l j-1 n т
- 2 P(^i) 2 mi 4)log P(BiIAi) =
i=l J=I
n
= я (Л) 4- 2 p (4) H (331 Лі). (2.148) i=l
Я ($ | А і) будем называть условной энтропией системы при условии Ai. Положим
п
я (381 J) = 2 P (4) н I А), (2.149)
і—1
н назовем эту величину условной энтропией системы В относительно системы А. Равенство (2.149) показывает, что Я (39 I J) имеет смысл математического ожидания условной энтропии системы 33 при условии осуществления событий из системы J. Hs (2.148) вытекает, что
Я (JOB) = H(J) +H I J), (2.150)
В аналогично можно получить
Я (Jm = H(M) + Я (J I В). (2.151) (120
СЛУЧАЙНАЯ ВЕЛИЧИНА
ІГЛ. 2
Пусть полные системы событий .4 и В заданы. Определим условие для полной системы событий JB, при котором H (JB) максимально. Для этого, имея в виду справедливость равенств
т п
2 P (AiBj) = P (Ai)1 2 P (AiBi) = P (Bj),
J=I і=і
напишем (2.147) в форме
H(AB) =
11 P(IB)
= - 2 log Pii\pfB) + H (J) + H (SB). (2.152)
J=Ii=I і' І У
В выражении (2.152) переменными являются величины P (AlBj)l для которых должно удовлетворяться условие
т п
2 2 P (AiBi) = 1. (2.153)
J=I 1=1
Число этих переменных равно пт. Для того чтобы найти максимум H (JB), нужно составить функцию Лагранжа
m n P(AB) т П
L = - 2 bgPi^yL + A. 2 2 Р(^А).
J=I i=i v «' W J=I i=i
(2.154)
и приравнять нулю все ее частные производные по P(AiBj)f имея при этом в виду, что P (Ai) и P (Bj) фиксированы. Находим, что
P UUBi)
- loS P(Ai) P (Bi) - 1 + ь = 0, (2.155)
і = 1, 2,..., re, j = 1, 2,..., т.
Уравнений в (2.155) будет всего пт. Они показывают, что величина фигурирующей в них под знаком логарифма дроби не зависит от значков і и /'. Следовательно, максимум H (JB) достигается, когда выполняется условие
P(AtBj)=CP(Ai)P(B1). (2.156) КОЛИЧЕСТВО ИНФОРМАЦИИ
121
Просуммировав (2.156) по всем і и /, найдем, что с = 1. JT те к
P(AiBi) = P(At)P(Bi), (2.157)
т. е. H (AB) максимально, когда системы АиЗВ взаимно независимы. Б этом случае, как показывает (2.152),
Я (AB) = H (А) + Я (В) (2.158)
и, следовательно, согласно (2.150)
Я (В 1 A) =H (В). (2.159)
В общем же случае, когда не известно, являются ли системы А. и В взаимно независимыми, справедливо неравенство
Я (В I Л)< Я (В). (2.160)
Если полные системы событий A n В однозначно определяют друг друга, т. е. если условная вероятность события Bi при условии At равна 1, а все P (Bi | Ai) = 0 прн /' Ф і, то
m
ТІ (В I А) = - 2 P (Bj IAi) log P (Bi I Ai) = 0. (2.161) І j=i
На основании (2.149), в этом случае и
Я (В \А) = 0, (2.162)
и, следовательно,
Я (AB) = H (А). (2.163)
Таким образом, поскольку Я (В | А) отрицательным быть не может, в общем случае
0 < Я (В MX Я (В). (2.164)
Информацией называется изменение меры неопределенности (энтропии) системы событий. Если, например, стало известно, что произошло событие Ai, то количество информации для системы В равно
I (В, Ai) = H(B) - H (В МІ). (2.165)
Как показывает (2.165), информация считается положительной, если мера неопределенности системы уменьшилась. (122
СЛУЧАЙНАЯ ВЕЛИЧИНА
ІГЛ. 2
В общей случае, когда становится известным, что произошло событие A1, энтропия системы может и уменьшиться, и увеличиться, следовательно, количество информации при этом может быть и положительным, и отрицательным.
Математическое ожидание количества информации для системы 39, когда становится известным, что произошло какое-то событие системы А, равно
