Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
Ух ~ Упр*.
Так как z = x— пр* с вероятностью, сколь угодно близкой к единице, являются величинами порядка Упр*, то разности z — z = = п(р — р*) с вероятностью, сколь угодно близкой к единице, будут величинами того же порядка, т. е.
При достаточно большом п разности р — р* с вероятностью сколь угодно близкой к единице, будут являться величинами порядка 1 /У и.
В силу непрерывности функции И = р2, р3), заключаем,
что € = €(;?!, р2, р3) сходится по вероятнссти к €* = С(р*, р*, р*) при п—>оо, чем и завершается доказательство состоятельности оценки наибольшего правдоподобия1.
Если Pt = Pi(\)) и д = р2, р3) являются дифференцируе-
мыми функциями, то имеет место следствие этой теоремы:
Разность д — ?>* с вероятностью, сколь угодно близкой к единице, является величиной порядка 1 /Уп.
1 В этой теореме предположение о непрерывном, взаимно однозначном соответствии между 0 и (plt рг, р3) является излишне сильным. Теорема останется справедливой, если потребовать лишь, чтобы параметр Ь являлся непрерывной функцией точки (рг, р2, рэ) и чтобы во всех п опытах значения вероятностей ру,рг,р3 были такими же, как и в первом опыте. При этом доказательство будет точно таким же, как у автора. Указанная теорема имеет большое практическое значение, так как позволяет оценивать любые непрерывные функции от неизвестных вероятностей р*. Асимптотические свойства таких оценок устанавливаются теоремой, указанной в сноске на стр. 229. — Прим. перев.
§ 48. Наибольшее правдоподобие, минимум хг и наименьшие квадраты 233
Если (6) подставим в (5), то получим очень полезное разложение функции L(x | 6) в ряд:
= (9)
1 „ (х— пр)2 1 ^ (х — пр)*
2 ^ х 3 " х2
В большинстве случаев оказывается достаточным приближение
10^-12^=^- 0°)
§ 48. Наибольшее правдоподобие, минимум х2 и наименьшие квадраты
Только что указанное приближение функции правдоподобия очень удобно для быстрого и экономного вычисления первого приближения для б. При этом вместо максимума функции Цх | б) нужно найти минимум квадратичной формы
= (1)
Форма д,2 лишь незначительно отличается от известного выражения х
= (2)
Для отыскания оценки параметра И можно воспользоваться условием х2 = minimum. Однако этот метод в большинстве случаев приводит к сложным вычислениям, так как для отыскания точки минимума приходится дифференцировать знаменатели npt.
Но если в знаменателях все р заменить некоторыми подходящими оценками р^, то дифференцирования знаменателей можно будет избежать, в этом случае будет идти речь о минимуме выражения
v2 _ "У пР)2 /о\
пр<°> • ' '
Вычисление этих различных оценок мы исследуем несколько подробнее и докажем, что они отличаются друг от друга величинами порядка 1/я. При этом мы рассмотрим лишь следующие три метода отыскания оценок:
A. Метод минимума Хп-
Б. Метод минимума xi-
B. Метод наибольшего правдоподобия.
Для упрощения выкладок мы, далее, будем предполагать, что pt являются линейными функциями параметров ?. Результаты
234
Гл. IX. Оценка параметров по наблюденным частотам
могут быть распространены на нелинейные дифференцируемые функции, так как в окрестности истинных значений параметров ? =С* эти функции можно приблизить линейными. Поэтому функции р;, встречающиеся в примерах этой главы, часто являются нелинейными, хотя теория излагается лишь для линейных функций1.
А. МЕТОД МИНИМУМА Хо
Квадратичная форма
¦хУ
пр'1
(4)
в пространстве (х1г. . . , х*ш) определяет эвклидову метрику: Хо~~ квадрат расстояния между точками Х(х,,. . . , хт) и Х'(х[,. . . ,а4). Если положим
х- = пр,(И), (г = 1-----т),
где р((8), как указано выше, — линейные функции параметров 01г. . . , дг, то множество всех точек X' с координатами (а?,..хт) будет представлять собой линейное подпространство G. Условие xl = minimum означает, что точка X' этого подпространства выбирается таким образом, чтобы расстояние между X' и наблюденной точкой X было наименьшим. Следовательно, из X нужно опустить перпендикуляр на линейное подпространство G; основание этого перпендикуляра является точкой X’ (рис. 24).
Тот же самый результат получается и с помощью вычислений. Если(3) продифференцировать по всем йа и производные приравнять нулю, то получим систему уравнений
№ L п
'I in
„(О)
Pi
где
Via
dpi
эС
(5)
