Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
ы? (9.7.28)
Предположим, что нужно представить и (/) у адресата с помощью функции у (0, и определим искажение на единицу времени между и (/) и и (t) на интервале (—772, Т/2) равенством
Г/2
dr МО; о(01 = -р j [и(0-о(01аЛ- (9-7.29)
-Г/2
Если у (/) разложено по тем же ортонормальным функциям, как и (t), т. е. v (t) = 2 t//0i (0, то
[И (0; 0(9]=^г2(ы{-0|)я. (9.7.30)
1 i
Для любой заданной вероятностной меры на последовательности ut и последовательности vt, для которой ut — независимые гауссовские случайные величины с нулевыми средними и с и] = Xi для каждого г, можно рассмотреть взаимную информацию в натах на единицу времени (1/Т) / (U; V) между и и v последовательностями и среднее искажение dr на единицу времени, задаваемое как среднее значение выражения (9.7.30) по и и v. Скорость как функция искажения для заданного источника и заданного интервала Т тогда определяется как
KT(d*) = inf _L/(lJ; у), (9.7.31)
где нижняя грань берется по вероятностным мерам, для которых и? — независимые гауссовские случайные величины с нулевыми средними и с и} = и для которых dT ^ d*.
Найдем сначала Rt (d*), затем возьмем предел
R{d*)= UmRT(d*) (9.7.32)
Т —> оо
и, наконец, покажем, что R (d*) допускает то же самое истолкование, как R (d*) для дискретных по времени источников без памяти.
Для того чтобы вычислить RT (d*), определим сначала
Ro, т (р, Р) = -J / (U; V) + рdT, (9.7.33)
где Р в (9.7.33) обозначает совместную вероятностную меру с данной статистикой источника, а / (U; V) и dT вычисляются по этой мере. Так
497
как Ui статистически независимы, то можно, используя те же рассуждения, как и в (9.6.2), получить
1 1
±-I(U; V)>A ^ HU,', Ух)
i — 1
(9.7.34)
с равенством, если каждая пара UiVt статистически независима от других пар. Аналогично из (9.7.30)
(9.7.35)
Следовательно,
Яо, г(р, (Ut; Vt) + p(ut-Vif] (9.7.36)
»= l
с равенством, если каждая пара статистически независима от других пар. Как было показано в (9.7.14), минимум каждого отдельного слагаемого этого типа имеет вид
min [I [иь\ Vi) + p(Ui — Vif]^
г (% ¦ p) = 11/2 In ^2p 6 P > 1 ^2Xi^'
* pb„ ; PC 1/(2Я,)-
(9.7.37)
Левая часть (9.7.36) минимизируется, когда каждый совместный ансамбль UiVi выбирается удовлетворяющим (9.7.37) и когда каждая пара не зависит от всех других пар. Имеем
inf R0, т (р, Р) = — 2 g (VР)>
р Т i
Rridr) = min
р>0
р)-р#]
(9.7.38)
(9.7.39)
Замечая, что g (kt, р) дифференцируема по р (даже на границе р = = 1/(2Х;)), можно положить производную по р правой части (9.7.39) равной нулю, получая, что для минимизирующего р,
d%= —
2р
.1 :Я,;> 1/(2р)
Подставновка (9.7.40) в (9.7.39) дает Rt (df)
¦ 2 **
i : 1/(2р)
т 2 т|п(2А)-
i : г., > 1/(2р>
(9.7.40)
(9.7.41)
Можно увидеть, что (9.7.40) и (9.7.41) являются параметрическими уравнениями, определяющими df и Rt (df) через р, где—р — наклон Rt (df). Для достаточно малых р, чтобы удовлетворить условию /*., ^ ^ 1/(2р) при всех i, имеем Rt (df) = 0 и dj- = (1/Т)БХг является
498
средней мощностью выхода источника, которую в дальнейшем будем обозначать через d*max.
Заметим теперь, что (9.7.40) и (9.7.41) представляются каждое в виде 1 IT, умноженной на сумму по i функций собственных значений. В (9.7.40) функция равна 1/(2р) при > 1/(2р) и равна Xt при
1/(2р). В (9.7.41) функция равна V2 In (2рЯг) при Xt > 1/(2р) и равна 0 при Xt 1/(2р). Лемма 8.5.3 применима к обеим этим функциям и для любого фиксированного р > 0 можно перейти к пределу при Т —у оо, получая параметрические уравнения
d* = lim dx — —Г df+[F(f)df, (9.7.42)
Г -+оо 2р J J
f:F(f)> 1/(2р) 1/(2р)
К (d*) = lim Кг (d*) = Г — ln[2pF(/)]d/, (9.7.43)
т-+оо J 2
f : T7 (f)> 1/(2p)
Рис. 9.7.5. Интерпретация интегралов для d* и R(d*) для источника, порождающего гауссовский стационарный случайный процесс.
где F (j) — J Му (т)е'2я^ dx — спектральная плотность источника. Рис. 9.7.5 иллюстрирует смысл этих интегралов. Заметим, что d* —¦ площадь заштрихованной области и что область интегрирования для R (d*) совпадает с областью частот под штриховкой накрест.
