Вероятность - Ширяев А.Н.
Скачать (прямая ссылка):
VI).
2. Две случайные величины \ и т) из L2 будем называть ортогональными
(|_]_г|), если их скалярное произведение (Н, т]) = = М?г| = 0. Согласно §
8 величины g и л назывались некоррелированными, если cov (?, г|) = 0, т.
е. если
М?л = М? • Мл-
Отсюда следует, что для случайных величин с нулевыми средними значениями
понятия их ортогональности и некоррелированности .совпадают.
Система Мs L2 будет называться системой ортогональных случайных величин,
если g J_ л для любых ?, л е М (?т^л).
280 ГЛ II МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Если к тому же для всех ЕеМ их норма ||?Ц = 1, то М называется
ортонормированной системой случайных величин.
3. Пусть М - {г|ь цп} - ортонормированная система и ? -
какая-то случайная величина из L2. В классе линейных оценок
П
вида 2 аЛ найдем наилучшую (в среднеквадратическом смысле)
г=1
оценку случайной величины ? (ср. с п. 2 § 8).
Простой подсчет показывает, что
М
Им.
= 1 ё - 2 я"'Л;
1=1
П п ^
t= 1 /
i= 1
j^cii (?, r,i) + f 2 a-i^h 2 ap\i J =
г- l ' j= i i= i /
- il ? !i2 - 2 ai (fe> Tli) + 2 ~
/= 1
i= 1
I ?:,2-.?!(?, ¦%) I2+ 21 "<-(?, л.) I2
i=l
i=l
ia-2l(5. I2-
f=l
(3)
где мы воспользовались тем, что
а! - 2аг (?, т],-) = j - (?, т]") a - 1 (?, тр) |2.
Отсюда ясно, что инфинум JVI
2
по всем деистви-
" rii), i = l, ..., п.
тельным alf ..., ап достигается при щ = (?
Таким образом, оптимальной (в среднеквадратическом смысле) линейной
оценкой ? по тц, ..., vin является сценка
i = 2 d> тMi-
i=l
При этом Д = inf М
? - 2 dipt
= М j ? - ?|2 = ||? |2 - 2 | (?, т|/) |
(4)
(5)
i=i
(ср. с (1.4.17) и (8.13)).
§ 11. ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 28>
Из (3) вытекает также следующее неравенство Бесселя: если М - {%, т)2,
...} - некоторая ортонормированная система и eL2, то
ОО
Ц|(Ь л.-)12<Ш2; (6)
f=i
при этом равенство достигается тогда и только тогда, когда
00
1= 1. i. m. 2 (?" 'ЧО'Чг- (7)
i=i
Оценку ?, являющуюся оптимальной линейной оценкой, часто обозначают М^т^,
цп) и называют условным математическим ожиданием (§ относительно щ, цп) в
широком смысле.
Это название объясняется следующим. Если рассматривать всевозможные
оценки ф = ф(г)1, г\п) случайной величины §
по т]^, т)" (ф- борелевская функция), то оптимальной оценкой будет
оценка ф* = М (| | т],, цп), т. е. условное математическое ожидание %
относительно т)" (ср. с теоремой 1
§ 8). Поэтому оптимальную линейную оценку по аналогии обозначают M(^|r)j,
..., ri") и называют условным математическим ожиданием в широком смысле.
В этой связи отметим, что если %, ..., г)л образуют гауссовскую систему
(см. далее § 13), то м (11Г]1, ..., Г]л) и М (i I Tii, ..., Т)")
совпадают.
Остановимся на геометрическом смысле оценки 1 = М (| I т]1,...
..., Т]я).
Обозначим чецез X = X (г)1, ..., г\п) линейное многообразие, порожденное
ортонормированной системой случайных величин т),, ..., Т1" (т. е.
совокупность случайных величин вида
П
V apc\i, ai<=R).
Тогда из вышеизложенного вытекает, что ? допускает "ортогональное
разложение"
? = | + (5-|), (8),
где %^Х, а | - %\_Х в том смысле, что ? - | _1_ Я для любого Х^Х.
Естественно поэтому | назвать проекцией Ъ, на X ("ближайшим" к |
элементом из X), а ? -? - перпендикуляром к X.
4. Предположение ортонормированности случайных величин г|1, ..., г\п
позволило просто найти оптимальную линейную оценку (проекцию) | для | по
тц, ..., tj". Сложнее обстоит дело, если отказаться от предположения
ортонормированности. Однако случай произвольных величин %, ..., г\п в
определенном смысле может быть, как будет ниже показано, сведен к уже
282 ГЛ. II. МАТЕМАТИЧЕСКИЕ ОСНОВАНИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
рассмотренному случаю ортонормированных величин. Для простоты дальнейшего
изложения будем предполагать, что все рассматриваемые случайные величины
имеют нулевые средние.
Будем говорить, что случайные величины г|1, тр, линейно независимы, если
равенство
выполнено лишь тогда, когда все а,- равны нулю.
Рассмотрим матрицу ковариаций
R з= Мг)Г|*
вектора ^ - (Лн •••> т1ч)* Она является симметрической и неотрицательно
определенной и, как отмечалось в § 8, найдется ортогональная матрица 0,
приводящая -ее к диагональному виду
- матрица с неотрицательными элементами di, являющимися
характеристическими числами матрицы R, т. е. корнями к
характеристического уравнения det (R - кЕ) = 0.
Если величины ..., rj" линейно независимы, то детерминант Грама (т. е.
det iR) не равен нулю и, значит, все dj>0. Пусть
Тогда матрица ковариаций вектора р
Мрр* = = B-'^RtfB-1 = Е,
и, следовательно, вектор P = (Pi, Рп) состоит из некоррелированных
случайных величин. Ясно также, что
Таким образом, если %, ..., г\п линейно независимы, то найдется такая
ортонормированная система рх, ..., Р", что выполнены соотношения (9) и
(10). При этом
П
2<ТгТ1г = 0 (Р-п. н.)
где
и
Р =
(9)
т| = (^В)Р.
(10)
^1% т1п} = ^{Р1 РД.
§ 11 ГИЛЬБЕРТОВО ПРОСТРАНСТВО СЛУЧАЙНЫХ ВЕЛИЧИН 283
Изложенный способ получения ортонормированной системы Pj, ,р" в ряде
