Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
1 Эти исследования подытожены в работе Le Cam L., On aome
asymptotic properties of Maximum Likelihood Estimates, Univ. of Calif. Publ.
in Stat,, 1, No 11 (1953), 277.
l
x, если | x | n 4
1 _ _ _ — 2- x, если \x\<n 4
ГЛАВА I X
ОЦЕНКА ПАРАМЕТРОВ ПО НАБЛЮДЕННЫМ ЧАСТОТАМ
Постановка задачи в этой главе та же самая., что и в предыдущей, так как речь будет идти об оценке параметра С по результатам наблюдений. При этом будет предполагаться, что все наблюденные величины являются частотами х/п, где п — число опытов, ах — число тех случаев, в которых осуществлялось данное событие. Каждая частота h представляет собой случайную величину, подчиняющуюся биномиальному распределению (§ 5). Это биномиальное распределение зависит от двух параметров: от известного объема выборки п и от вероятности р, с которой данное событие может осуществиться в каждом отдельном испытании. Если наблюдаются несколько частот h(, то соответствующие вероятности pt или неизвестны, или являются функциями неизвестных параметров С. Задача заключается б отыскании оценск неизвестных параметров, а также з исследовании надежности этих оценок.
При этом будут предполагаться известными важнейшие результаты из гл, VII и VIII.
§ 46. Метод наибольшего правдоподобия
Для большей определенности мы предположим, что было произведено п независимых испытаний, в каждом из которых осуществлялся какой-либо один из трех взаимно исключающих друг друга случайных исходов. Пусть х± — число наступлений первого исхода, х2 — число наступлений второго исхода и х3 — число наступлений третьего исхода, тогда
Хх х2 Х-, = п.
Числам X; соответствуют частоты Л, = xjn, удовлетворяющие соотношению
Л lh + йг = 1.
Пусть р^р^.рз — вероятности осуществления в отдельном испытании каждого из трех указанных исходов. Для этих вероят-
§ 46. Метод наибольшего правдоподобия
225
ностей, очевидно, должно иметь место равенство
Pi+Pt+P3= 1.
Математическое ожидание А, равное, поэтому математическое ожидание xt равно npt. Вычислим математические ожидания х\ и xt хк (г ф к), которые нам понадобятся позднее.
Дисперсия xt равна npt(\ —pt), следовательно,
g xf = (g ж,.)2 + npt( 1 — р,) = nffi + npt — npf =
= n(n— \)pf + npt. (1)
To же самое справедливо и для х1 + хк (г ф к):
g(xt + хк)2 = п(п — 1) (pt + рку + »(р, + рк).
Если из обеих частей последнего равенства вычесть g af + g zj* и результаты разделить на 2, то получим
g = п(п — (г ф к). (2)
После этой подготовки мы перейдем к основной задаче. Пусть вероятности pi,p2,p3 являются функциями одного неизвестного параметра б. Требуется найти оценку для этого параметра.
Вероятность того, что при п независимых испытаниях первый исход осуществится хг раз. второй — х2 раз и третий — х3 раз, равна
Согласно методу наибольшего правдоподобия, в качестве оценки для неизвестного параметра следует выбрать таксе значение б, при котором указанная вероятность будет наибольшей. Так как факториальный множитель не зависит от б, то его можно отбросить и записать функцию правдоподобия так:
д(х | б) =PI'PI'PI‘.
Кроме того, задачу отыскания максимума функции д(х \$) можно заменить той же задачей для логарифма этой функции
Их | е) = хх In рх + х.г In рг -f х3 In р3. (3)
Если точка максимума находится внутри допустимого интервала
изменений б и если в этом интервале функции р^х)) дифференцируемы, то в точке максимума производная от L по б равна нулю. Таким образом, получается уравнение правдоподобия
L'(x \ €) = 0. (4)
Б. Л. ван дер Варден - 10G2
226 Гл. IX. Оценка параметров по наблюденным частотам
В простейших случаях уравнение правдоподобия удастся решить непосредственно. В остальных же случаях приходится применять метод последовательных приближений, изложенный в § 36.
Если требуется определить лишь какую-либо одну вероятность р, то, как мы видели в § 35, метод наибольшего правдоподобия сразу приводит к оценке
~ г х р = h — ,
1 п
которая является несмещенной и состоятельной. В § 39 (пример 28) было показано, что эта оценка является наилучшей.
Рассмотрим теперь два примера. В примере 32 метод наибольшего правдоподобия приводит к очень хорошей оценке. Пример же 33 показывает, что могут быть случаи, когда этот метод перестает действовать.
Пример 32. Рассмотрим один известный пример, который подробно обсуждается в гл. IX книги Fisher R. A., Statistical Methods for Research Workers, Edinburg—London, 8 ed., 1941.
