Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Пусть
N п= 1
является суммой N дискретных независимых одинаково распределенных случай ных величин. Семиинвариантная производящая функция моментов каждой случайной величины гп определяется с помощью распределения вероятности Рг (гп) равенством
(х (s) = In g (s) = In 2 -Рг (г) ек*’- (5А.1)
Z
Предположим, что |л (s) существует на открытом интервале действительных значений s вокруг s = 0. Если выборочные значения для гп ограничены, то ясно,
*> Рг —распределение вероятностей случайной величины г. (Прим. ред.).
203
что это условие выполняется. Первые две производные fi(s) задаются равенствами
2 гРх (г) е“
ц'(5)=^----------------, (5А.2)
2 Pz (г) е«
Z
~ z2Pz (г) esz
П" (s) = ^------------ ~[Ц' (s)l2- (5А.З)
2 Pz (г) е«
2
Отметим, что (j/(0) и р/'(0) являются соответственно средним значением и дисперсией zn.
Пусть ^iu,(s) является семиинвариантиой производящей функцией моментов суммы w, т. е.
p-w (s) = In gw (s) = In 2 Pw (w) zsw- (5A.4)
w
Согласно (5.4.19) имеем
|J.H,(s)=jVj.i(s). (5A.5)
Для того чтобы оценить Pr (w > А), где Л > w, определим новую сумму случайных величин, называемых перекошенными случайными величинами, распределения вероятностей которых связаны с Pz, но для которых среднее значение суммы равно А. Затем мы применим к этой сумме перекошенных случайных величин центральную предельную теорему.4
Для любого заданного 5 и открытого интервала, в котором существует jj,(s), определим скошенные случайные величины гп, s, которые будут принимать те же самые значения, что и гП) но с распределением вероятностей
Р Ы psz
Qz,,(z)= —------------- =Pz(z)<^-^s). (5А.6)
2 Pz (г) e«
2
Из (5A.2) и (5A.3) видно, что |x'(s) и ^"(s) соответственно являются средним значением и дисперсией перекошенных случайных величин zn, s. Отсюда следует, что |x"(s) положительна (за исключением тривиальных случайных величин, которые принимают одно-единственное значение с вероятностью 1). Таким образом, |j/(s) является строго возрастающей функцией. Из (5А.2) можно увидеть, что
lim JLXг (5)
S —со
является наименьшим значением, принимаемым г, и
lim ц' (я)
S-* -{-со
является наибольшим значением.
Предположим теперь, что перекошенные случайные величины гп>8 являются статистически независимыми, и определим перекошенную сумму ws следующим образом:
N
(5А.7)
п= 1
Среднее и дисперсия ws даются равенствами
ws = Nyi' (s); D (ws) = Nn" (s). 4 (5A.8)
204
Свяжем далее распределение вероятностей для которое будем обозначать через Qw, s> с распределением вероятностей Pw первоначальной суммы. Вероятность любой заданной последовательности значений перекошенных случайных величин определяется равенством
где суммирование производится по тем zls, ..., zN s, которые удовлетворяют условию s = ojs. Далее имеем
Заметим, что QWi s перекошено по отношению к Pw в том же самом смысле, как QZ: s перекошено по отношению к Pz.
Если нужно найти Pr(w > А) для А > w, то выберем такое однозначно определяемое значение s, для которого
В силу того, что |a'(s) является возрастающей функцией, то s, удовлетворяющее (5А.10), должно быть больше, чем 0. Используя (5А.9), теперь получаем
Отметим, что суммирование в (5А.11) проводится, начиная со среднего значения ws, и что экспоненциально убывающий множитель по существу обрывает сумму для больших ws. Фактически, так как стандартное отклонение ws пропорционально \Г N и так как скорость экспоненциального убывания не зависит от N, то представляет интерес только QW) s в области, которая составляет малую долю стандартного отклонения при большом N. Здесь можно использовать центральную предельную теорему для оценки Qw,s в той форме, которая чувствительна к малым изменениям ws. Какую теорему следует применить, зависит от того, является zn, s решетчатой случайной величиной или нет. Решетчатая случайная величина является случайной величиной, у которой принимаемые значения могут быть выражены в виде а + ih, где а и h — заданные постоянные, a i является целым числом, которое изменяется с изменением выборочных значений случайной величины. Например, значения 0, 1 и 2 могут приниматься решетчатой случайной величиной; значения 1, 1 + п и 1 + 2л также могут приниматься решетчатой случайной величиной. Значения 0, 1 и я не могут приниматься решетчатой случайной величиной. Шаг h решетчатой случайной величины является наибольшим значением h, которое может быть использовано в приведенном выше определении. Если zn является решетчатой случайной величиной, то zn, s, w и wa, очевидно, также являются решетчатыми случайными величинами, имеющими тот же самый шаг. Если zn и, следовательно, гп> s не являются решетчатыми, то
