Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
Теперь рассмотрим прохождение гауссовского случайного процесса с нулевым средним через линейный инвариантный во времени фильтр с импульсным откликом h(t) из L2. Получающийся случайный процесс y(t) — j h(t — x)z(x)dx также является гауссовским случайным процессом с нулевым средним, так как для любого множества моментов времени tu ..., tk случайные величины y(t^)...y{th) имеют нуле-
вые средние и являются совместно гауссовскими (для доказательства того, что y(t) имеет непрерывную автокорреляционную функцию, см. задачу 8.5).
(8.1.43)
(8.1.44)
и положим уп — \ип (т) 2 (т) dx. Для каждого п имеем: уп — гауссовская случайная величина с нулевым средним, уп—z(t) — ^un (т) [2 (т) —
Mm[yn — z{t)f = 0.
(8.1.46)
386
В частном случае, когда z(t) — белый гауссов шум, процесс y(t) — J h(t — r)z(r)dr весьма просто характеризуется. Используя те же самые рассуждения, как и при выводе (8.1.41), имеем
У Сч) У (т,) = ~ j h (i—xj h (t—т2) dt.
Следовательно, y(t) является стационарным процессом с автокорреляционной функцией
•#„(т) = -^- ^h(t)h(t + T)dt. (8.1.47)
Полагая т = 0, обозначая через H(f) преобразование Фурье h(t), и вспоминая, что f \H(f)\2df = J h2(t)dt [см. (8.1.23)], имеем
?Щ = -у- ||Я(/)№ (8.1.48)
Сравнивая это равенство с (8.1.34), можно заметить, что NJ2 имеет смысл спектральной плотности мощности белого гауссова шума. Из этого видно, что случайный процесс, называемый белым гауссовым шумом, является разумной моделью для шума, который имеет почти постоянную спектральную плотность в интересующей нас области частот. Предположение, что спектральная плотность постоянна на всех частотах, сильно упрощает вычисление для этой модели. Формально автокорреляционная функция белого гауссова шума является обратным преобразованием Фурье от NJ2 и равна б — импульсу со значением NJ2 в т = 0. Это означает, что если возникает желание истолковать z(t) как совокупность случайных величин параметра t, то приходится признать, что дисперсия z(t) при каждом t должна быть бесконечной. К тому же заключению можно прийти, основываясь на соотношениях (8.1.44) и (8.1.45) для z(t). Это явление способствует пониманию, почему мы сосредоточиваем внимание на линейных операциях J x(t)z(t)dt случайного процесса, а не на случайных величинах, зависящих от времени. На случайные величины z(t) параметра t часто сильно влияет спектральная плотность мощности той области частот, которая не представляет физического интереса, и поэтому часто имеется весьма малая связь между реализациями шума и выборочными функциями (во времени) случайного процесса, являющегося моделью шума.
Взаимная информация для каналов с непрерывным временем
Пусть x(t) из L2 является сигналом на входе, a y(t) — сигналом на выходе канала с непрерывным временем. Пусть q>i(0, Фг(0> • • • — полное множество действительных ортонормальных функций, определенных на интервале (0, Т). Тогда x(t) можно представить на интервале (0, Т) в виде
* (0 = 2 хп Фп (0> 0<f<7\ хп = § л; (t) фп (t) dt. (8.1.49)
Аналогично, если 0^), 0S(O, ...—другое полное множество орто* нормальных функций на интервале (О, Т), то y(t) можно представить с помощью случайных величин
yn = \yWnV)dt. (8.1.50)
Множество (0П(О) может совпадать с множеством (фп(0) и такой выбор часто оказывается удобным.
Положим \N и yN —последовательности xN = (хи ..., xN), yN —
— (Уг> Уы)- Канал может быть описан статистически через совместные условные плотности вероятности pN (yN \ xN), заданные для всех N. Для того чтобы избежать влияние x(t) при t < 0, примем, что
x(t) = 0 для t < 0. Для простоты примем также, что для всех N вход-
ной ансамбль может быть описан совместной плотностью вероятности qN(xN). Взаимная информация*) между x(t) и y(t) для 0 ^ t ^ Т, если она существует, определяется равенством**>
h[x (ty,y(t)] = \.imj(x»-y*), (8.1.51)
N —>со
где ***)
/ (Х*. ул^ = log-------Pn (yNj_ _ (8_ j _52)
I Яы (х") Pn (уМ I х")
Средняя взаимная информация между входом и выходом на интервале (0,7"), если она существует, определяется равенствами
IT[X(ty,Y(t)]= lim / (XN\ \N), (8.1.53)
jV —> CC
I (XN\ YN) --= J qN(xN)pN(yN \xN)I(xN-,yN)'dxN dyN. (8.1.54)
Заметим, что /(Xw'> \N) является неявной функцией T и qN(xN). Пропускная способность канала на единицу времени определяется равенством
С= lim Сг, (8.1.55)
Г —> оо
