Спектральный анализ и его приложения Том 1 - Дженкинс Г.
Скачать (прямая ссылка):
оба дают шансы правдоподобия 1 : 10 против Я. Таким образом, шансы против того, что Я ^ 0,1 HA^ 1,4, не меньше чем 10:1. Поэтому область от Я = 0,1 до Я= 1,4 называют вероятной областью (credible region) с шансами, не меньшими чем 10:1, против любого значения не из этой области.
Оценивание биномиального параметра. Рассмотрим обсуждавшуюся в разд. 4.4.2 задачу оценивания биномиального параметра. Используя (4.4.2) или (4.4.4), получаем, что при г успехах в п испытаниях функция правдоподобия имеет вид
L{p) = Kpr(l - р)"-Г. (4.4.8)
4.4. Выводы, основанные на функции правдоподобия
151
На рис. 4.5 показаны функции правдоподобия для двух случаев г = 1, п = 8 и г = 3, п — 8, причем обе кривые пронормированы так, что их максимум равен единице. Продифференцировав (4.4.8), находим, что выборочная оценка максимального правдоподобия имеет
вид р = г In.
Для случая г = \ кривая правдоподобия похожа на кривую, изображенную на рис. 4.2, т. е. она резко возрастает до максимума при
P=P и затем медленно убывает для р, больших чем р. Вероятная область с шансами 10 : 1 простирается от 0,006 до 0,49, причем внутри нее в точке 0,125 находится выборочная оценка максимального правдоподобия.
Для случая г = 3 кривая правдоподобия вполне симметрична относительно выборочной оценки максимального правдоподобия
р = 0,375. Вероятная область с шансами 10: 1 простирается от 0,095 до 0,71.
4.4.4. Метод наименьших квадратов и оценивание с помощью правдоподобия
Оценивание с помощью наименьших квадратов эквивалентно оцениванию методом максимального правдоподобия при условии, что ошибки распределены по нормальному закону. Чтобы показать это, рассмотрим простую однопараметрическую модель
Y1 = Bx1 + Z1,
обсуждавшуюся в разд. 4.3. Если предположить, что ошибки Z1-' независимы, имеют нулевое среднее значение и дисперсию а2, то выборочная оценка наименьших квадратов получается при минимизации суммы квадратов
N
Если предположить, что ошибки независимы, имеют нулевое среднее значение и дисперсию о2, а также распределены по нормальному закону, то плотность вероятности для данных до того, как проведен эксперимент, имеет вид
Л2...Л>\> у2. •••> у^)=-(^^ехр{-^5 2(У/-^/)2}-
После того как данные собраны, логарифмическая функция правдоподобия равна
N
/(6) = -41п2тс-ЛЧПа- ^2-2 (Уі~6хі)2- (4.4.10)
152
Гл. 4. Введение в теорию статистических выводов
Таким образом, выборочная оценка 6, максимизирующая логарифмическую функцию правдоподобия (4.4.10), совпадает с выборочной оценкой, минимизирующей суммы квадратов (4.4.9). Следовательно, для нормально распределенных ошибок выборочные оценки наименьших квадратов и максимума правдоподобия совпадают.
Мы обосновали оценки наименьших квадратов в разд. 4.3.1, пользуясь критерием среднеквадратичной ошибки. Однако критерий среднеквадратичной ошибки нельзя использовать в теории правдоподобия, поскольку он включает усреднение по выборочному пространству. Следовательно, необходимо заново интерпретировать теорию наименьших квадратов с точки зрения метода правдоподобия.
Логарифмическую функцию правдоподобия (4.4.10) можно переписать в виде
/(6)=^/^-^-2^(9-^)2' (4-4-11)
где 6 = ^ХіУі/^х2 является выборочной оценкой и наименьших
квадратов, и максимума правдоподобия. Отсюда функция правдоподобия пропорциональна нормальной плотности вероятности со
средним значением 0 и дисперсией
-й- <4А|2)
Заметим, что выражение (4.4.12) в точности совпадает с выборочной дисперсией (4.3.8) оценки наименьших квадратов. Так как дисперсия (4.4.12) равна
— 1 з2
[dV (6)/062] ¦^x;
то отсюда следует, что количество информации Фишера E [дЧ/дд2]^
заменяется в методе правдоподобия на фактически имеющееся значение второй производной логарифмической функции правдоподобия в точке ее максимума.
Вероятные области. В разд. 4.4.3 было показано, что понятие шансов, получаемых из отношения правдоподобия, можно использовать для определения вероятных областей для параметра. При этом, если сравнивать любое значение параметра внутри этой области с любым другим значением, то шансы правдоподобия не превосходят заданного отношения. Однако если функция является нормальной, то вероятная область, основанная на шансах правдоподобия, эквивалентна области, которую можно получить, набирая определенную долю площади под функцией правдоподобия. На-
4.4. Выводы, основанные на функции правдоподобия
153
пример, 7,5:1 — вероятная нормальная область эквивалентна охвату 95% площади под функцией правдоподобия. 95%-ная вероятная область для параметра 6 в упомянутом выше примере имеет вид
в + 1,96
и она является также вероятной областью с шансами 7,5: 1. При построении интервала, исходя из площади, мы неявно считаем функцию правдоподобия распределением вероятностей. В байесовском подходе к выводам [10, 11, 2*] это делается явно.
Наименьшие квадраты в случае, когда независимые переменные содержат ошибки. При рассмотрении наименьших квадратов в разд. 4.3 предполагалось, что Xi не содержали ошибок. Однако во многих случаях невозможно осуществить какой-либо контроль над независимыми переменными (например, в рассматриваемых ниже задачах с временными рядами). В таких случаях Xi можно рассматривать как реализации случайных величин. Для однопара-метрического случая совместную выборочную плотность вероятности наблюдений, до того как они произведены, можно записать в виде
