Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
приводит к необходимости использования некоторой вероятностной меры точно
так же, как оценка отклонения частоты Sjn от р оказывается возможной лишь
после привлечения вероятностной меры Р.
3. Рассмотрим полученную выше оценку
pjli"
I п
Рп (к) *?
4 па2
(П)
fft: I 4 -
для ответа на следующий, типичный для математической статистики вопрос:
каково наименьшее гарантированное число наблюдений п, при котором (для
любого 0<р< 1)
Р{
п
Р
1
(12)
где а -заданное (обычно малое) число?
Из (11) следует, что таким числом является наименьшее целое ft, для
которого
(13)
Если, например, а = 0,05 и е = 0,02, то число наблюдений, равное 12500,
гарантирует выполнение неравенства (12) независимо от значения
неизвестного параметра р.
Далее мы увидим (п. 5, § 6), что это число наблюдений сильно завышено;
это объясняется тем, что неравенство Чебышева дает
( S
слишком грубую оценку сверху вероятности Р
4. Обозначим
Sn (w)
4
с
(", е) = |со:
-Р
Из доказанного закона больших чисел следует, что для всякого е>0 при
достаточно больших п вероятность множества С (п, е) близка к единице. В
этом смысле траектории (реализации) со из С (л, е) естественно назвать
типичными (или (п, е)-типичными).
Поставим следующий вопрос: каково число типичных реализаций и вес р (со)
каждой типичной реализации?
С этой целью заметим сначала, что общее число точек N (Q) = = 2", и если
р - 0 или I, то множество типичных траекторий
§ 5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
03
С(п, е) состоит всего лишь из одной траектории (0, 0,..., Сф или (1,
1,..., 1). Но если р = 1/2, то интуитивно понятно, что "почти все"
траектории (за исключением траектории типа (0, 0, ...
0) или (1, 1,..., 1)).будут типичными и, следовательно, их число
должно быть близко к 2п.
Оказывается, что на поставленный вопрос можно дать исчерпывающий ответ
для произвольных 0 <; р <с 1; при этом выясняется, что как число типичных
реализаций, так и их веса р (со) определяются некоторой специальной
функцией от р, называемой энтропией.
Чтобы глубже раскрыть содержание со-
ответствующего результата, полезно рассмотреть несколько более общую
схему из п. 2 § 2, нежели схема Бернулли.
Пусть (pv р2,..., Рг) - некоторое конечное распределение вероятностей, т.
е. набор неотрицательных чисел, удовлетворяю- q щих условию р1-\-.,.-{-
рг=1. Энтропией
этого распределения называется величина Рис- 8- Функция
F 1 Н (р) = - р 1п р -
хл , .... -(1-p)xln(l-p).
Я = - О4)
С= 1
где 0-In 0 = 0. Ясно, что Н 5=0, причем Я = 0 тогда и только тогда, когда
все вероятности ркроме одной, равны нулю. Функция f{x) - - xlnx, OsCx^Sl,
выпукла кверху и, как хорошо известно из свойств выпуклых функций,
/ (ад) 4- ¦ • ¦ ~Ь / (хг) f ^ xi ~Ь • • • ~Ь xrj
Следовательно,
Я = - 2 Р> ]пР' < - г ¦ Pl+-;-+-r • In ( p'+y+Pr-) = In г.
г = l
Иначе говоря, энтропия достигает своего максимального значения при рх -
... = рг = 1/г (см. рис. 8 для функции Н = Я (р) в случае г - 2).
Если рассматривать распределение вероятностей (рл, р2, ..., рг) как
вероятности появления некоторых событий, скажем, Лх, Л2, ... ..., Аг, то
совершенно понятно, что "степень неопределенности" в свершении того или
иного события различна для различных распределений. Если, например, р1=1,
р2 = ... = рг = 0, то ясно, что такое распределение не обладает никакой
неопределенностью: с полной уверенностью можно сказать, что в результате
опыта произойдет событие Ах, Однако если р1 - ... = рг= 1/г, то такое
распределение обладает максимальной неопределенностью в том
64
ГЛ. I. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ
смысле, что невозможно отдать предпочтение в свершении тому или иному
событию.
Важно поэтому иметь количественную характеристику меры неопределенности
различных распределений вероятностей, что позволяло бы их сравнивать с
этой стороны. Такой удачной характеристикой меры неопределенности
оказалась энтропия, играющая существенную роль в статистической механике
и во многих важных задачах кодирования и теории связи.
Предположим теперь, что пространство исходов
вательности со, а (рх, рг) - некоторое распределение вероятностей.
Для е>0 и п= 1, 2, ... положим
и для достаточно больших п в силу закона больших чисел, примененного к
случайным величинам
больших п вероятность события С (п, е) близка к единице. Поэтому, как и в
случае г = 2, траектории, входящие в С(п, е), будем называть типичными.
Если все pi Д> 0, то для любого со ед П
Отсюда следует, что для типичных траекторий вероятность р (со) близка к
глН и - поскольку в силу закона больших чисел при больших п типичные
траектории "почти" исчерпывают П - число
П = {со: со = (а1( ..., ап), аг=1, ..., г} и р (<о) = р^(?0) ...pvrr(a),
где V,-(от) - число элементов i в последо-
Ясно, что
Г
Р (С (п, е)) 53 1 - 2 Р { - Pi Ss е},
С = i
вероятности
достаточно малы. Тем самым при
р (со) = ехр -л ^
Поэтому, если от -типичная траектория, то
Г ГГ
§ 5. СХЕМА БЕРНУЛЛИ. I. ЗАКОН БОЛЬШИХ ЧИСЕЛ
65
таких траекторий должно быть порядка епИ. Эти соображения приводят к
