Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
Логарифмическая функция правдоподобия
Ь(к\р.) = к In Ф(/1) + (п — k) In [1 — Ф(р)]
п
230
Гл. IX. Оценка параметров по наблюденным частотам
Пусть снова наблюдаются три частоты:
А, =5 (*=1,2,3),
и пусть вероятности ръ рг, р3 трех взаимно исключающих исходов являются функциями одного параметра €.
Предположим, что между € и (р1( р2, р3) имеется непрерывное, взаимно однозначное соответствие, т. е. д и v° различны тогда и только тогда, когда различны соответствующие точки с координатами (р,,р2,рз) и (pi, pl.pl), причем если (р1, р2, р3) —> -» (Pi> Vl, V§, то д -> ?°.
Если не делать таких предположений, то по результатам наблюдений невозможно будет получить приближенное значение для €, так как в данном случае результаты наблюдений — частоты — сами являются лишь приближенными значениями для вероятностей pt.
Как и в § 46, функция правдоподобия задается формулой
g(x\i) =Pl'Pl'Pl'.
Если эту формулу умножить на не зависящий от 0 множитель1
/иП /у»—*1 пр—X* /у—Xj
/?• U/2 •‘'З 9
то получится функция
G(-I*) = (®n®f|?)", (1)
достигающая своего максимума в той же точке €, что и д(х | tf). Логарифм G равен
Цх | в) = a:a In ^ -г In ^ ~ х3 In ^ . (2)
Формула (2) определяет L(x j ?) при всех допустимых значениях параметра € и, в частности, при € = €*, где — неизвестное истинное значение €. Рассмотрим разности
z. = х; — пр, (pt > 0). (3)
Если t = €* и п достаточно велико, то, согласно результатам § 5, с вероятностью, сколь угодно близкой к единице, случайные величины х( будут отличаться от соответствующих математических ожиданий npi не более, чем на величину порядка ]/пр]. Иначе говоря, для всяких 6 > 0 и С > 0 найдется такое п0 =
= п0(д, С), что при любом п > п0 абсолютные величины | z, |
1 Если = 0, то условимся считать, что я*' = 1. — Прим. перев.
§ 47. Состоятельность оценок наибольшего правдоподобия 231
tie будут превосходить С Упр{ с вероятностью Р 1 —8. При этом
2 Z = ?! + z2 + z3 = 0. (4)
Если в (2) все пр( выразить через xt и zt, то, в силу (4), полу-
чим
Цх jfl) = -1^ = 2z + -zx] =
= 2 * ? + In (l - *-)] = У xcp [*-) . (5)
Эта формула, разумеется, справедлива не только для истин-
ного значения €*, но и для всех допустимых значений параметра
Кроме того, она справедлива для произвольного количества частот и произвольного количества параметров Vlt . . . ,
Функция
cp(t) = t + In (1 — t), входящая в (5), имеет максимум (р(0) = 0, так как ее производная
*'«> =1 - гЬ
обращается в нуль при t = 0, причем если t < 0, то cp’(t) > 0, если же t > 0, то cp'{t) <0, Следовательно, в (5) все слагаемые неположительны.
Если |<|<1, то <p{t) можно разложить в степенной ряд:
<p(t) = -If* —. . . (б)
В частности, если t = z/x, где г является величиной порядка 1fnp, то при 0 < р < 1 имеем
| t \ = ¦И- = =S lgl
II х пр + z пр—\z\ *
следовательно, t ¦— величина порядка \/Упр и, в силу (6), •— <p(i) ¦— величина порядка 1/пр. Но если г — величина порядка \пр, то
х = пр + г — величина порядка пр. Таким образом, все слагаемые (5) представляют собой величины порядка единицы. Иными словами, если 5 = ?*, то для всякого е > 0 найдутся такие щ = = п^е) и g = g(e), что при п > щ с вероятностью р 1 — е будет выполняться неравенство
Цх | А) —д. (7)
Напротив, если | г j велико сравнительно с Ух, то t = zjx велико сравнительно с 1 /Ух, и поэтому — <p(t) велико сравнительно с l/х. Таким образом, —L(x\S) будет бесконечно большой
232
Гл. IX. Оценка параметров по наблюденным частотам
величиной при п -»оо. Иначе говоря, если $ ф $*, то для всякого е> 0 и всякого д> 0 найдется такое п2~п2(е, д), что при п> п2 с вероятностью р 1 — е будет выполняться неравенство
Цх | в) < —д. (8)
Итак, мы установили, что для истинного значения параметра И* (и, значит, для соответствующих истинных значений вероятностей р*) с большой вероятностью будет выполняться неравенство (7). Пусть И — оценка наибольшего правдоподобия для $*, т. е. такое значение параметра €, при котором функция G(xjfl) (а значит, и Цх [ €)) достигает максимума, тогда G(x | €) э= G(a; [€*), и поэтому Цх | €) с большой вероятностью удовлетворяет неравенству (7), а соответствующие разности z = х — пр не превосходят величин порядка Ух. Таким образом, при п-*°а абсолютные величины | 2 | со сколь угодно близкой к единице вероятностью, являются величинами порядка
