Спектральный анализ и его приложения Том 1 - Дженкинс Г.
Скачать (прямая ссылка):
Теория наименьших квадратов также развивалась в рамках метода выборочных распределений. Так, оценки наименьших квадратов обладают тем свойством, что они минимизируют среднеквадратичную ошибку, или, что эквивалентно, минимизируют ожидаемый объем доверительной области для параметров.
Метод правдоподобия, хотя он часто и дает ответы, аналогичные тем, которые получаются из метода выборочных распределений, имеет совершенно иную отправную точку. В то время как выборочное распределение описывает все возможные значения наблюдений при данных значениях параметров, функция правдоподобия описывает все возможные значения параметров при данных значениях наблюдений.
Метод правдоподобия дает возможность по-новому интерпретировать теорию наименьших квадратов. Например, функция правдоподобия является по существу поверхностью суммы квадратов S(Qi, 82, ..., Qh), если ошибки Z нормальны и независимы. Так как эта сумма является квадратичной формой от 9,, то функцию правдоподобия можно просто описать с помощью выборочных оценок
наименьших квадратов (Bi, O2, ..., Qh) и вторых производных 5. Эти производные можно интерпретировать как ковариации оценок в методе выборочных распределений или как меры рассеяния функции правдоподобия в методе правдоподобия. Наиболее важной стороной метода правдоподобия является построение-функции правдоподобия в таких переменных, для которых имеется примерно одинаковая информация относительно всех параметров. Тогда информация, заключенная в функции правдоподобия, по существу содержится в ее выборочной оценке среднего правдоподобия и в вероятной области.
Существуют как различия, так и общие стороны у этих методов. Метод правдоподобия совершенно справедливо фокусирует внимание на множестве доступных наблюдений, а не на других множествах наблюдений, которые могли бы получиться. В некоторых случаях метод правдоподобия приводит к более разумным ответам, чем метод выборочных распределений. В разд. 4.4.5 приводился , пример, где было показано, что сведения о распределении ошибок в независимых переменных не дают никакой информации для оценивания параметров в моделях наименьших квадратов. Другие примеры, когда метод выборочных распределений является
6*
164
Гл. 4. Введение в теорию статистических выводов
неудачным, получаются, если оценки, выбранные из-за того, что они хороши в среднем, явно абсурдны в применении к данной выборке. В таких случаях построение функции правдоподобия покажет, что данная конкретная выборка содержит мало информации. Как правило, функция правдоподобия никогда не обманывает.
ЛИТЕРАТУРА
1. Parzen E., Modern Probability Theory and its Applications, John Wiley, New York, 1960.
2. Fisher R. A., Phil. Trans., A222, 309 (1922).
3. Fisher R. A., Proc. Cambridge Phil. Soc , 22, 700 (1925).
4. Lehman E. L., Testing Statistical Hypotheses, John Wiley, New York, 1959. (Русский перевод: Л e м а к Э., Проверка статистических гипотез, M., изд-во «Наука», 1964.)
5.HaId A., Statistical Theory with Engineering Applications, John Wiley, New York, 1952. (Русский переїзд: Хальд А., Математическая статистика с техническими приложениями, M., ИЛ, 1956.)
6. В о x G. Е. P., Ann N. Y. Acad. Sei., 86, 3 (1960).
7. Barnard G. A., Jour. Roy. Stat. Soc, ВИ, 116 (1949).
8. Barnard G. А. и др., J. Roy. Stat. Soc, A125, 321 (1962).
9. Birnbaum A., J. Amer. Stat. Assoc., 57, 269 (1962).
10. Jeffreys H., Theory of Probability, 3rd ed., Clarendon Press, Oxford, 1961.
11. Savage L. J. и др., The Foundations of Statistical Inference, Methuen, London, 1962.
ПРИЛОЖЕНИЕ П4.1 ЛИНЕЙНАЯ ТЕОРИЯ НАИМЕНЬШИХ КВАДРАТОВ
Выборочные ошибки с минимальной среднеквадратичной ошибкой. В этом разделе содержатся доказательства некоторых общих результатов линейной теории наименьших квадратов. Частными случаями этих результатов являются результаты, упоминавшиеся в разд. 4.3.
Предполагается, что модель эксперимента имеет вид ^/ = Мп+Мі2+ • • • + 9*-? + ^ (/=1, 2, . . ., ДО, (П4.1.1) или в матричной форме
Y = X9 + Z, (П4.1.2)
где векторы-столбцы Y, 0 и Z получаются транспонированием из векторов-строк
V = (K1, K2, . . ., У„),
в; = (6,. S2.....вй),
Z' = (Z1, Z2, . . ., Zn)
соответственно, а
есть матрица наборов значений, принимаемых k выходными переменными Xi, х2, ..., Xu в N экспериментах. Предполагается, что ошибки Z имеют нулевое среднее значение и матрицу ковариации V, элементы которой равны V,j = Cov[Z,, Zj]. Кроме этого, о совместной плотности вероятности ошибок ничего не известно.
Если нам даны наблюденные в N экспериментах отклики у, то обобщенные выборочные оценки наименьших квадратов 8 определяются как те значения 0, которые минимизируют квадратичную форму
(у - Х8)'V-1 (У - ХЄ). (П4.1.3)
166
Приложение П4.1
Дифференцирование (П4.1.3) по в и приравнивание производных нулю дает следующие линейные уравнения для этих оценок:
(X'V~'X) Є =X'V-Jy. (П4.1.4)
Критерий (П4.1.3) может быть обоснован с двух точек зрения.
а) Используя (3.1.19) и (П4.1.2) и предполагая, что ошибки имеют многомерное нормальное распределение с матрицей ковариации V, получаем, что логарифмическая функция правдоподобия для параметров G равна с точностью до аддитивной константы выражению (П4.1.3). Следовательно, при дополнительном предположении о том, что ошибки имеют многомерное нормальное распределение, обобщенные выборочные оценки наименьших квадратов совпадают с выборочными оценками максимального правдоподобия.
