Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
*> Почти везде в математической литературе то, что мы называем здесь ансамблем, называется вероятностным пространством.
29
может интересовать последовательность букв источника, или вход и выход канала, или последовательность входов и выходов канала. Обозначим исходы эксперимента с парой исходов через х и у,
и пусть х принимает значения на множестве исходов аг..........ак, а у
выбирается на множестве исходов Ьи ..., bj. Множество {alt ..., а^} называется выборочным пространством X; множество {Ьх, bj} называется выборочным пространством Y, а множество пар {akbj}, 1
называется совместным выборочным пространством. Вероятностная мера на совместном выборочном пространстве задается совместной вероятностью PXy (ап, bj), определенной для 1 ^
< к < К, 1 < j < J. Совокупность совместных выборочного пространства и вероятностной меры для исходов х и у называется совместным ХК-ансамблем.
В ансамбле или совместном ансамбле событие определяется как подмножество элементов выборочного пространства. Для дискретного ансамбля вероятность события равна сумме вероятностей элементов выборочного пространства, содержащихся в этом событии. В рассматриваемом АТ-ансамбле событие, состоящее в том, что х принимает некоторое частное значение ah, соответствует подмножеству пар {ahbx\ афг; ...; ahbj). Таким образом, вероятность этого события равна
Р*К)= ^РХу{ак,Ъ1). (2.1.1)
/= 1
В более сокращенной записи то же равенство имеет вид
Р(х) = ^Р(х,у). (2.1.2)
у
Подобно этому вероятность данного исхода у равна
Р(у) = 2Р(х,у). (2.1.3)
X
Следует соблюдать определенную осторожность при обращении с обозначениями Р (х) и Р (у) в равенствах (2.1.2) и (2.1.3) . Символы хну играют двойную роль: они обозначают как тот исход, который рассматривается, так и переменную. В частности, если выборочные пространства х и у одни и те же, мы не можем подставить элементы выборочного пространства вместо х и у, не вызвав неопределенности.
Если Рх («ft) > 0, то условная вероятность того, что исходом у является bj при условии того, что исходом х является ак, определяется равенством
п /1 | ч Рху(аЬ'Ь})
Py\x(bj\ah)= У - . (2.1.4)
Рх(ак)
В сокращенной записи оно имеет вид
Р (у\х) ^ Р (х,у)/Р (X). (2.1.5)
Подобно этому
Р (х | у) = Р (х, у)/Р (у). (2.1.6)
30
События х = ak и у = bj по определению статистически независимые, если
Pxy (0fc> bj) = Р* (aft) Ру (bj). (2.1.7)
Если Рх («л) >0, то последнее равенство эквивалентно
Ру\хф}\ак) = Руф,), (2.1.8)
т. е. условие не меняет вероятность того, что у = bj. Ансамбли X и Y являются статистически независимыми, если условие (2.1.7) удовлетворяется для всех пар a^bj из совместного выборочного пространства.
Рассмотрим далее эксперимент со многими исходами, скажем ии и2, uN, каждый из которых выбирается из некоторого множества возможных исходов. Множество возможных исходов для ип называется выборочным пространством для Un, 1 п < N, а множество возможных исходов для последовательности ы1( ..., uN называется совместным выборочным пространством эксперимента. Для дискретных выборочных пространств вероятностная мера задается совместной вероятностью Ру, ... yN («ъ • ••> «n)> определенной для каждой последовательности исходов и.! ..., tijf в аргументе. Совокупность совместного выборочного пространства и совместного распределения вероятности называется совместным ансамблем Uu ..., UN.
Распределение вероятностей частных исходов и совокупностей исходов определяется с помощью Р (ци ..., uN) так же, как в случае двух исходов. Например,
Рип К) = 2- • -S- • -1>Р(и 1,- • • , Щ, • .,М. (2-1.9)
a, и. uN i п
где суммирование распространяется но всем возможным исходам для каждого исхода эксперимента, отличного от я-го. Точно так же
рипит(ип, мт) = 21-¦ -2- • (2.1.10)
и1 ui UN i^Ln i^m
Ансамбли Ux, U2, Un называются статистически независимыми,
если для всех иъ ..., uN
Puv.:uN{Ui, ¦¦¦,tiN) = ПРип (ы„). (2.1.11)
П= 1
В качестве примера использования этих обозначений рассмотрим последовательность N букв источника с двоичным алфавитом 0, 1. Выборочным пространством для каждого ип является множество {0, 1}. Совместным выборочным пространством эксперимента является множество всех 2N последовательностей из N двоичных цифр. Вероятностная мера задает вероятность каждой из этих последовательностей. В частном случае, когда буквы источника статистически независимы, эти вероятности имеют вид (2.1.11). Если N букв имеет одинаковое рас-
