Теория вероятностей и случайных процессов - Тутубалин В.Н.
ISBN 5-211-02264-5
Скачать (прямая ссылка):
р(х|, х2, ..., хп\ ах, а2, ат)—р(х, а).
(122
Замечание. Сложившаяся традиция обозначать наблюдения Х\. л'2. ..., хп приводит к тому, что и случайные величины и переменные интегрирования в выражении для плотности распределения в математической статистике обозначаются одинаково. Читатель должен учитывать возможность подобных загадок.
Пусть в опыте получены значения Х\, ..., хп и нужно оценить а=(а\, .... ат). Рассмотрим р(х; а) при данных хи ...,хп (полученных в опыте) как функцию от а. Такая функция называется функцией правдоподобия. Принцип Гаусса состоит в том, чтобы за оценку а взять такой набор значений параметров а= (аь .... а,п), который дает максимум функции правдоподобия.
Принцип максимума правдоподобия оказался удивительно удачным. С его помощью найдено большое количество оценок параметров в конкретных ситуациях. Доказан ряд его полезных свойств (правда, не в столь общей ситуации, в какой мы сформулировали этот принцип: в нашей формулировке нет,
например, никакой независимости наблюдений (хи .... хп) — может быть, это всего одно наблюдение, повторенное п раз; тогда, конечно, нет речи о хороших свойствах). Ограничимся тем. что применим этот принцип к линейной модели.
Итак, пусть X|=Oj-f 8,-, 8,~iV(0, 6), а = (а1, . . . , an)&L, L — известное подпространство. В силу независимости х,
П
р{х; л) - П Pixi\ ai) = f
= С exp | (a' a, jc-e)j
При известном x=(xv . . . , хп), очевидно, р(х; а) обращается в максимум при таком а, при котором (х — а, х — а) —*min. Иными словами, поскольку aeiL,
а = proj^x. (1)
Но л'=а-И, где . . . , 8„). Следовательно,
e=a+projL8. (2)
В общей форме применение метода максимума правдоподобия к линейной модели абсолютно просто: (1) дает решение задачи об оценках параметров, а (2) разницу между истинным значением а набора параметров и оценкой а: а—а = = projL6. Этот ответ был бы совершенно достаточным, если бы мы полностью знали распределение 6; однако мы его знаем лишь с точностью до параметра o2=D6,-. Нужно как-то
ехр
П
2,1
123
оценить параметр о2 и сделать определенные выводы о распределении вероятностей разности и—а. В полном объеме это было сделано в начале XX в. Гаусс довольствовался прибли>-женным решением.
3.3.3. Статистическое исследование решения.
Лемма. Пусть U — ортогональное преобразование. Распределение вектора b'=U6 совпадает с распределением вектора б (иными словами, распределение б сферически инвариг-антно).
Действительно, плотность распределения вектора б есть
== PjС*1» • • • * Хп) “
=0^Н-5}-Ш”ехрЬ-^ 4
Согласно формуле преобразования плотности распределения при замене переменных, плотность распределения о' получится, если взять ръ(х) в точке x = Uy~l (но (Uy~l, У)) и разделить ее на модуль соответствующего
якобиана (но он равен 1). Лемма доказана.
Следствие. Распределение projL6 зависит лишь от размерности dimL. Если L1±Lt, то projL 8 и projL б— независимые случайные величины.
Действительно, в силу леммы можно считать, что 6 записывается в таком ортонормированном базисе, что (для первой части следствия) первые dim L векторов этого базиса образуют базис в L\ либо (для второй части следствия), что первые dimLj+diml* векторов базиса образуют базис в Lt © Lv В первом случае projt 3=(б„ 6,,...
• • • I 8dim l) полностью определяется dim L. Во втором случае proj^ б = (8|, Oj, . . . , Odim ?t) И projit 0 = (°dim L,+l» • • •
. • . . fidim 1,,+dim rj суть векторы, составленные из независимых компонент; следовательно, независимые случайные величины. Следствие доказано.
Теперь дадим оценку о2. Рассмотрим так называемый вектор кажущихся ошибок наблюдений
х — а — х — projt х = б — projL 8 = projV б,
где L’ — ортогональное дополнение к L. (Название образовалось вот как: х—а—вектор ошибок наблюдений; а нам неизвестно, мы заменяем его на „кажущийся* вектор параметров в;^ тогда естественно сказать, что компоненты вектора х — а суть „кажущиеся* ошибки.) Рассмотрим квадрат длины вектора \\х — а||' = ||лс||* — ||а||2 (теорема Пи-124
фагора), причем ||х — a|l* = Hproji/ 6I|*. В силу следствия к лемме распределение вероятностей последней величины
к
совпадает с распределением 2 где * *“ —п —
1
—dim L. Но каждая величина 8, может быть представлена в виде 8, — 8?„ где ^. . . , ?„ — независимые нормальные N(О, 1) величины. Итак,
||х—а||* = в*2 ?? = °*Х*-t—1
где yl — случайная величина, имеющая распределение хи-квадрат с k степенями свободы.
Если k достаточно велико, то yjj (в силу закона боль-
ft
ших чисел) есть примерно к— ^ (Нетрудно подсчи-
/=i
