Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
(6)
1 Здесь имеются в виду лишь такие функции рг- (0), которые являются линейными в некоторой ограниченной области изменения параметров 0. Поэтому определяемое далее множество G не является линейным подпространством (хотя бы потому, что оно ограничено). Выводы этого параграфа нельзя признать строгими, одна ко он и правильно отра ж а ют действительную связь рассматриваемых методов. Обстоятельное и строгое изложение данного вопроса см., например, в книге Крамера Г., Математические методы статистики, ИЛ, М., 1948, гл. XXX, — Прим. перев.
§ 48. Наибольшее правдоподобие, минимум и наименьшие квадраты 235
Если {?!, tig,€г — решение системы (5), то вектор, направленный из точки X с координатами xtjn, в точку X' с координатами Pj(v), будет перпендикулярен ко всем векторам, касающимся множества G в точке X'.
В этой формулировке наше утверждение справедливо даже и тогда, когда G не является линейным подпространством пространства всех X Однако, по предположению, р((0) — линейные функции параметров С0, поэтому производные qia равны постоянным и мы можем положить
Д(в)=й(0) + 2(7,vV W
е
Изменением начала отсчета в пространстве параметров можно добиться, чтобы при = 0 соответствующие значения вероятностей Pi равнялись начальным приближениям в формуле (3), т. е. р,-(0) = р|0); это несколько упростит выкладки.
Если (7) подставим в (5), то получим г линейных уравнений с г неизвестными €1г. . . , ¦О/.
X1 h л ____ \' [*/ nVi 7/-I /о\
ЛаI) — 2* ' (0) " ' Vй)
0 i Pi
где
к, = 2^- <9)
‘ Pi
Коэффициенты hafl имеют тот же самый вид, что и суммы [даа~\, \_даЬ\,... в теории метода наименьших квадратов. Таким образом, задача отыскания минимума квадратичной формы $ совпадает с задачей теории метода наименьших квадратов, причем в данном случае веса ^-наблюденных частот равняются n/pf\
Попытаемся теперь выяснить, в какой степени выбор начального приближения pf\ . . . , р(]р влияет на точку X
В качестве координат точки X мы примем не xit а частоты Ьл = xjn, л расстояние определим формулой
(И)
Vi
Предположим, что точка X с координатами h( и гочка Р0 с координатами р{р находятся в окрестности «истинной течки» Р* с координатами pf, причем радиус этой окрестности является величиной порядка 1/1/я, и, кроме того, координаты р{ всех точек Р этой окрестности ограничены снизу некоторым положительным числом: Pj^ 6 > 0.
Если теперь Р0 заменить точкой S0 из тей же окрестности, то все разности соответствующих координат — s\0) будут величинами порядка е= 1/1!п. Так как точка X и линейное подпро-
236
Гл. IX. Оценка параметров по наблюденным частотам
странство G не зависят от выбора Р0, то от замены Р0 на S0 изменится лишь квадрат расстояния (10), причем r2(S0) отличается от г2(Р0) на величину порядка е. Направление перпендикуляра XX' также может измениться, однако угол между новым и старым направлениями является лишь величиной порядка е. Но, по предположению, длина старого перпендикуляра представляет собой величину порядка е, следовательно, координаты точки X' при замене Р0 на 80 изменятся на величину порядка е3 = 1/я, Вообще, если разности координат pf°>— sf> являются величинами порядка у), то при замене Р0 на 80 координаты точки X' изменятся на величину порядка ег]. Или, точнее, если для всех
* имеют место неравенства [$0) — s#01 I< Т?? то абсолютные величины разностей координат точек Х'(Р0) и Х'(80) будут меньше, чем се г], где с > 0 — постоянный числовой множитель.
Теоретическая оценка постоянной величины с не приносит значительной пользы. Такие оценки всегда оказываются слишком грубыми, так как они в большинстве случаев значительно превосходят те разности, которые встречаются на практике. Для практических целей достаточно установить, что точка X' лишь в очень незначительной степени зависит от выбора исходного приближения
Б. МЕТОД МИНИМУМА Хх
Если pf°) выбрать равными наблюденным частотам й; = xjn, то Хо перейдет в Отсюда следует, что минимум yj вычисляется точно так же, как и минимум '/1> а именно, по методу наименьших квадратов. При этом с вероятностью, сколь угодно близкой к единице, точка Рх минимума квадратичной формы находится от ранее введенной точки X’ на расстоянии порядка \/п.
В. МЕТОД НАИБОЛЬШЕГО ПРАВДОПОДОБИЯ
Если логарифмическая функция правдоподобия
L(x | й) = У Xj In р,(€)
дифференцируема и достигает максимума внутри области допустимых значений параметров С, то в точке максимума производные от L обращаются в нуль. Таким образом, координаты течки максимума должны удовлетворять уравнениям
