Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
§ 37. Неравенство Фреше
195
Эти предварительные выводы можно уточнить с помощью одного неравенства, которое при заданном смещении указывает нижнюю границу дисперсии оценки. Это неравенство было найдено, независимо друг от друга, Фреше, Рао и Крамером1. В англо-американской литературе оно называется неравенством Крамера— Рао или, как недавно стали его называть, неравенством информации.
Если у и z — случайные величины, причем y-Yiz1 имеют конечные средние значения, то справедливо неравенство Шварца2:
(&уг)2^(&у2)(&*2). (2)
Доказательство справедливости (2) очень просто. Квадратичная форма
С,(Ку + pz)* =к*& у* + 2ЛМ С У* + М2 & *2 (3)
может принимать лишь неотрицательные значения, следовательно, ее дискриминант неположителен:
(&уг)2-(&У2)(&*2)^ 0. (4)
Отсюда непосредственно следует (2). Легко можно убедиться, что неравенство (2) тривиальным образом справедливо и в том случае, когда хотя бы один из множителей в правой части (2) обращается в бесконечность.
Пусть теперь хъ . . ., хп — результаты наблюдений и пусть их совместная плотность вероятности3
д(х | в) = д{хъ . . ., хп 11) (5)
зависит от единственного неизвестного параметра д. Обозначим
через Т = Т(х) оценку этого параметра. Требуется вывести нера-
венство для дисперсии (т\.
Если в некоторой части пространства (хъ . . ., хп) функция д(х [ fi) обратцается в нуль, то при вычислении средних значений эту часть можно исключить из области интегрирования. Таким образом, интегрирование будет производиться лишь в ток части
1 F г ё с h е t М., Rev. Intern, de Stat. (1943), 182 ; Rao С. R., Bull. Calcutta Math. Soc., 37, 81; Cramer H., Scandmavisk Aktuarie-tidskr., 2!*, 85, или Математические методы статистики, ИЛ, М., 1948, стр. 517. Далее, Wolfowitz J., Ann, of Math. Stat., 18, 215. О применениях см. Hodges and Lehmann, Proc. Second Berkeley Symposium on Math. Stat., Berkeley (1951), 13.
2 Это неравенство опубликовано русским математиком В. Я. Буня-ковским в 1859 г. — на 25 лет раньше соответствующей публикации немецкого математика Г. А. Шварца, поэтому в советской литературе принято (2) называть неравенством Буняковского. — Прим. перев.
3 С этого момента мы пренебрегаем различием между наблюдаемыми случайными величинами хх, . . ., х„ и независимыми переменными <х, . . ., ?„.
13*
196
Гл. VIII. Оценки неизвестных параметров
пространства, где <7(2; | 0) ф 0. Предположим, что эта часть не зависит от 0 и что функция д(х | 0) дифференцируема по 0. Если производную по 0 снова обозначим штрихом, то логарифмическая производная функции д будет равна
I «> = Шщ ¦
где
Цх | 0) = In д(х i 0).
Далее, имеют место равенства
0 4 b(i) = Si Т = Jt д(х | 0) dx (6)
и
1 = j" д(х j €) dx. (7)
Предположим теперь, что производные от правых частей
(6) и (7) можно вычислять дифференцированием под знаком интеграла. Выполняя это дифференцирование, получим
1 + Ъ'(ь) =\Tg'dx = [-f) = &,(Т L% (8)
0 = = = (9)
Если (9) умножить на Т и вычесть из (8), то найдем, что
1 + Ъ\Ь) = &[(Т - Т) L']. (10)
В правой части (10) находится математическое ожидание произведения случайных величин Т — Т и L'. Применяя к этому математическому ожиданию неравенство Шварца (2), получим
(1+ &')*'* <4 еда*. (П)
Если теперь предположить, что 8и(Ь')г ф 0 и обозначить &ц{Ь')г = 2(0), то из (11) следует, что
+ вд?. (12)
Это и есть неравенство Фреше (неравенство информации). Я еще раз сформулирую те предположения, при которых оно было выведено:
1. Часть пространства иксов, в которой д(х | 0) ф 0, не зависит от 0.
2. В формулах (6) и (7) допустимо дифференцирование под знаком интеграла.
§ 38. Достаточные оценки и наилучшие оценки
197
3. Знаменатель в (12) не равен нулю.
Знаменатель в (12) представляет собой интеграл
1(Р) = €* \.L'(X I ?)Р = J (1п Я)' Я' dx> (13)
который мы уже ранее, следуя Р. А. Фишеру, назвали «информацией». Другое выражение для 1(?) получается интегрированием (13) по частям1:
7(0) = -&?"(* |в). (14)
Если при всех б из некоторой окрестности истинного значения параметра 0о смещение оценки Т равно нулю, то числитель (12) при тех же значениях С будет равен единице и мы получаем
°*~щ- <15>
Правая часть (15) не зависит от оценки Т. Следовательно, существует нижняя граница для дисперсий несмещенных оценок и этой границей служит величина 1/7(0), обратная информации2.
