Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
2—= 0, (11)
Т pi
где qia = др;Ша. Так как сумма всех pt равна единице, то суммы соответствующих производных равны нулю:
24/. = 0. (12)
§ 48. Наибольшее правдоподобие, минимум /2 и наименьшие квадраты 237
Если (12) умножим на те и результат вычтем из (11), то получим
(%i 71 Pi) Qla _ q (13)
При этом pt в числителях и знаменателях являются линей-
ными функциями от С. Решение системы (13) представляет собой оценку наибольшего правдоподобия г), следовательно,
— = 0
Т prifi)
Решение системы уравнений (14) можно очень легко найти методом последовательных приближений. Для этого сначала заменим С в знаменателях каким-либо приближенным значением Соответствующая система уравнений
f й(в«»>)—-° (15)
представляет собой систему (5) метода минимума и, следова-
тельно, ее можно легко решить как систему нормальных уравнений метода наименьших квадратов. Если решение системы
(15) снова подставить в знаменатели (14), то тем же самым способом получим улучшенное приближение ?(2> и г. д.
Последовательность приближений сходится, и предел этой последовательности не зависит от выбора исходного приближения pj0> = pl(i(-°'>). Действительно, если и sj0) — два различных ис-
ходных приближения, отличающихся друг от друга лишь величинами порядка е = 1 /fn, то, согласно ранее доказанному, первые приближения р*1' и отличаются друг от друга лишь величинами порядка е2, вторые приближения — лишь величинами порядка е3 и т. д. Если теперь в качестве sf> выбрать решенне уравнений правдоподобия, то будут выполняться равенства sj°)=sW=sp>= .. и так как для любых $0) из е-окрестностей sj0) справедливы неравенства —5^[ = [ jfp—s^0)| <CEk+1, то псследовательнссти pf \ р^, pf\ . . . сходятся к решению sj0), независимо от выбора ^0) из е-окрестностей s}0).
При доказательстве предполагалось, что решение уравнений наибольшего правдоподобия существует. Это предположение выполняется в том случае, когда все xt строго положительны. Действительно, условия 2 Pi = 1> Pi ^ 0 определяют в пространстве всех (plt. . . , рт) некоторую замкнутую ограниченную область. Часть линейного подпространства G, принадлежащая этой области, также является замкнутой и ограниченной. Функция правдоподобия
0(*|0) = // [ft(0)f, (16)
238
Гл. IX. Оценка параметров по наблюденным частотам
по предположению, непрерывна, следовательно, в замкнутой области она имеет максимум. Этот максимум не может достигаться на границе области, так как функция д(х | д) гам равна нулю.
Кроме того, из приведенного выше доказательства следует, что если точка с координатами (х1г .. ., хт) находится достаточно близко от подпространства G, то решение уравнений правдоподобия единственно. Действительно, если бы р^ и 5^0) были двумя различными решениями уравнений правдоподобия, то выполнялись бы равенства $0) = рр = р(р = . . . и s,(0) = = ... .
Но первая последовательность, по доказанному, должна сходиться к sf\ что возможно лишь тогда, когда при всех г имеют место равенства pf> =
С небольшими изменениями это доказательство применимо и к случаю, когда pt являются нелинейными функциями параметров, если только множество точек с координатами р^-В), . . рт(Ь) является замкнутым, или если оно не замкнуто, но все его несобственные предельные точки расположены на границе области р{ 0, 2 Pi = 1- Если множество точек с координатами р^д), . . . , рт{$) не замкнуто и некоторые его несобственные предельные точки расположены внутри области р, 0, 2Pi=^> т0 в доказательстве могут возникнуть осложнения.
Для приложений особенно важно то, что последовательные приближения хорошо сходятся. А именно: разности pf'1 — sf> стремятся к нулю как степенная функция ek+1=n-(k+1)l2. Если нулевое приближение р<°> выбрано не слишком плохо, то спокойно можно довольствоваться перЕым приближением р^: все дальнейшие приближения будут отличаться от pW лишь величинами порядка е2 = 1/те. Так как неизбежные статистические отклонения $ от истинного значения €* являются величинами порядка е = = 1/Уи, то бессмысленно добиваться дальнейшего повышения точности.
Результаты, установленные для методов А, Б и В, позволяют сделать вывод: Оценки А и Б отличаются от оценки наибольшего правдоподобия В лишь величинами порядка 1/п.
Все эти соображения сохраняют силу и тогда, когда наблюдается не один, а несколько рядов частот, причем в каждом ряду
сумма частот равна единице, например:
Лх + ht = 1 или ^ + х2 = %,
Л3 + = 1 или х3 + xt = щ
и т. д. Выражения %2, хЬ ¦ ¦ ¦ останутся неизменными, с той только разницей, что каждую вероятность pt нужно будет умножить на соответствующий множитель nt, например:
