Теория информации и надежная связь - Галлагер Р.
Скачать (прямая ссылка):
42
Fx(xi)=Pr [х < Xi\.
(2.4.1)
Для'каждого действительного числа хг функция Fх (*i) задает вероятность того, что случайная величина х будет меньше или равна хх. Вероятность того, что случайная величина принадлежит интервалу хг <с
< * < *2, задается равенством
Рг [хг < л; < х2] = Fx (x2) — Fx fo). (2.4.2)
Так как вероятность любого события должна быть неотрицательной, равенство (2.4.2) означает, что Fx (xi) является неубывающей функцией хг. Если исключить возможность бесконечных исходов, то Fx (хх) возрастает от 0 при хх = ¦— оо до 1 при = + оо.
Плотность вероятности X (если она существует) задается равенством
, Ч dFxAXl) ^х(^)—^(*1 —Л) /О Л Q\
px{xi)=—----------=lim---------------------= (2.4.3)
ах 1 д->о А
= limJP^-A<5-^?U-, (2.4.4)
д-о Д ’
Таким образом, рх (дгх) является плотностью вероятности, отнесенной к единице длины на оси х. Плотность вероятности является неотрицательной; она может быть больше чем единица, но ее интеграл от —оо до -foo должен быть равен единице. Как видно из равенства (2.4.4), если рх (л^) конечна, то вероятность того, что случайная величина х примет значение, в точности равное х1г равна нулю. Если случайная величина х принимает значение хх с ненулевой вероятностью, то часто удобно считать, что рх имеет импульсы величины Рг (л; = хг) в точке хх.
Рассмотрим теперь совместный ансамбль XY, который определяет пару х я у случайных величин, принимающих значения из выборочного пространства, образованного множеством действительных чисел. Вероятностная мера на совместном выборочном пространстве может быть задана с помощью совместной функции распределения вероятностей
Fxy (хи г/i) = Рг [х < х1у у < уг]. (2.4.5)
Она является неубывающей функцией двух переменных и для каждой пары значений хх и уг она задает вероятность того, что случайная величина х меньше или равна xlt а случайная величина у меньше или
равна Ух. Функции распределения X и Y задаются с помощью совместных функций распределения равенствами:
Fx (*i) = Fxy (xu оо), (2.4.6)
Fy (yx) ~= Fxy (°°, Ух). (2.4.7)
Совместная плотность вероятности X и Y (если она существует) задается равенством
д" F у у (Xi. У\)
Pxy (*ъ Ух) - ----^--------• (2.4.8)
дхj uiji
43
Функция Pxy является плотностью вероятности, отнесенной к единичной площади на плоскости ху, и вероятность того, что пара случайных
величин х, у принадлежит некоторой области на плоскости, задается
интегралом функции pXY по этой области.
Отдельные плотности вероятностей, определенные равенством (2.4.3), задаются также равенствами
оо
Рх(х 1>= § РХу(хХ’Ух)Лух, (2-4-9)
—оо оо
РКЫ= 5 PXY(X1’ yi)dxi- (2.4.10)
—оо
Если рх (^i) не равна нулю, то условная плотность распределения У при заданном X задается равенством
/ 1 \ Pxy (xi' Ух) ,п , ...
Py | х (Ух I Хх) — • (2.4.11)
Рх (хх>
Она является плотностью вероятности, отнесенной к единице длины случайной величины у при значении уъ при условии,что случайная величина х принимает значение хг. Точно так же
Р vy (xi, Ух)
(2.4.12)
Как и для дискретных ансамблей, мы часто будем опускать подстрочные символы у плотностей вероятности, если не будет возникать двусмысленности. Когда это будет делаться, нужно иметь в виду, что, если, например, р (х) является плотностью вероятности случайной величины х, то она не обязательно является той же самой функцией, что и р (у) — плотность вероятности случайной величины у.
Для совместных ансамблей,определяющих более чем две случайные величины, совместная функция распределения и различные совместные, отдельные и условные плотности вероятности определяются аналогичным образом.
Определим теперь взаимную информацию для непрерывного совместного ансамбля. Пусть совместный ансамбль XY имеет выборочные пространства X и Y, состоящие из множества действительных чисел, и совместную плотность вероятности рху (х1г Ух). Взаимная информация между случайной величиной х, принимающей значение Хх, и случайной величиной у, принимающей значение уг, определяется как