Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
X
где знак неравенства поставлен потому, что отброшенное выражение в последней сумме является неотрицательным. Оценивая снизу х с помощью 6 в последней сумме, получаем
X > б 2 РХ (*) = <5 Рг (х > б), Рг (х > б) < дг/б.
ЛГ>в
При заданном б > 0 неравенство удовлетворяется с равенством, когда х — двоичная случайная величина, принимающая только значения 0 и б.
(б) Если подставить е2 вместо б в пункте (а), то получим
Рг [(у —у)2 > е2] .
еа
Но (у—у)2 > г2 равносильно | у—у | > е.
(в) Применяя индукцию в 2.3 (в), получаем, что дисперсия суммы независимых случайных величин равна сумме дисперсий отдельных случайных величин. Отсюда 2гп имеет дисперсию Nal,
/ “ \2" ._ ^ /VI - 42" N(lz
\Уы~Уы> — дга ^ ггь — Zi гп) — д,2 — N ¦
Подставляя это выражение вместо дисперсии yN в выражение пункта (б), получаем
2
Рг Ц Уы~Уы | > е] < - 0)
lim Pr [| yN — t/д, | > е] =0 при любом е > 0.
N -+СС
(г) Здесь yN равна умноженному на 1/Л/ числу наступлении события Е в N экспериментах, или, другими словами, yN является относительной частотой наступления Е в выборке. Поэтому (1) означает, что событие, состоящее в том, что относительная частота Е отличается от вероятности Е не более, чем на некоторое малое число е, имеет вероятность, которая стремится к нулю с ростом N. Пусть р является вероятностью события Е. ТогдаyN = р и ст| = р (1 — р). Наконец, так как событие Е может произойти i раз в N испытаниях различными способами, каждый из которых имеет вероятность р1 (1 — p)N~~l> то
Рг
576
N
2 zn
л=>1
p‘0~p)n ‘
Так как неравенство | yN — yN j > е равносильно | zn—pN \ > гЫ, то
L pN — eN J '
Рг[|%-%|>8]= S 1=0 N \ ¦
_ )р‘(1_р)"-!
'О
р'(1-р)"-‘+
N
+ 2
<=Р pN+eNl \ * /
2.5 (а) Для любой заданной принятой последовательности у имеем
Р (У I ai) р(аi)
P(ai|y) =
р (У I а2) Р(а2)^Р( у I ai)T.(ai)
У р («1 1 у) У P(fli|y)
ООО (1 --- 8)3 111 fi 3
(1 --- е)3-ф-е3 (1 ---s)3^63
001 1 ---8 110 е
010 1 ---8 101 8
100 1 ---е 011 8
(б) Обозначая через е событие, состоящее в том, что принято неправильное решение, для любого частного решения получаем
Р(е)^ЦР(е\у)Р(у).
У
Так как Р (у) не зависит от правила решения, то Р (е) достигает минимума, когда для каждого у выбирается такая буква источника, которая минимизирует Р (е | у), т. е. буква источника щ, которая максимизирует Р (at | у). Так как Р (а2 I У) = 1 — Р (а 11 у) и так как величины, стоящие слева в приведенной выше таблице, больше 1/2, а величины, стоящие справа, меньше чем V2, то данное правило минимизирует Р (е).
(в) Неправильное решение происходит тогда, когда 2 или 3 из трех принятых символов являются неправильными. Поэтому Р (е) = Зе2 (1 — е) + е3.
(г) Вероятность неправильного решения достигает минимума при выборе а1( если появляются п или меньше нулей, и при выборе а2 во всех остальных случаях. Так как вероятность того, что любой заданный символ принят неправильно, меньше чем 1/а, и так как неправильное решение происходит тогда, когда более половины символов приняты неправильно, то закон больших чисел (см. задачу 2.4) утверждает, что Р (е) -> 0 при п оо.
2.6. Пусть Y является ансамблем событий р (быстрая) и t (медлительная). Тогда
(а) IX.Y (блондинка; p) = log
у I х
(р | блондинка)
Ру(Р)
= log
1
ей) l+(Va) (V2) + (V«)0
-= 1 бит.
Подобно этому /х. у (брюнетка; р) = 0; /х. Y (шатенка; р) = — оо (не может быть шатенка).
Рг (брюнетка не опоздала все 3 раза)
(б) Iy.v v v (брюнетка; ррр) = —-------------------------------------- =
x,Y,Y,Yg рг (элемент X не опоздал все 3 раза)
19 Зак. 210
U + Vie
= —log ?/2.
577
