Статистический анализ: Подход с использованием ЭВМ - Афифи А.
Скачать (прямая ссылка):
4.1. Основы теории общей линейной модели
В этом разделе по сравнению с остальными большее внимание уделяется теоретическим аспектам. Читатель, которого интересует только техника дисперсионного анализа, может ограничиться чтением выводов и перейти к следующим разделам.
L) В оригинале nested (гнездованные). — Прим. перев.
224 Гл. 4. Дисперсионный анализ
Пусть мы располагаем п наблюдениями уъ г/„ — реализациями п случайных величин Уъ Уп. Предположим, что среднее значение каждой величины Кг линейно зависит от р неизвестных параметров 8^ 6р, так что
= + - • -+%хр[, 1=1.....п, (4.1.1)
где Хц, хР1 — известные постоянные. В этом случае каждое наблюдаемое значение у{ можно записать в виде суммы
У1 = ^хи + - ¦ ¦+%хр1+еь (4.1.2)
где еъ еп — ошибки. Общая линейная модель задается последними соотношениями при дополнительных предположениях:
?(е() = 0, V (<>,•) = а2,
, п • - -_и- (4-1.3)
соу(е;, еу) = 0, I, /=1, Я, 1ф].
Другими словами, ошибки считаются некоррелированными, имеющими нулевое среднее и одинаковую дисперсию а2.
Мы уже рассматривали эту модель (в других обозначениях) в разд. 3.2. при обсуждении множественной линейной регрессии. В самом деле, если положить хи = 1 и по-другому занумеровать константы и параметры, то соотношение (4.1.2) примет вид модели множественной линейной регрессии:
У, = во + Н-----г- V?* + е<> Я = Р — 1 •
В настоящем разделе мы хотим найти процедуры точечной оценки для параметров 61( 6р и описать методы получения доверительных интервалов и проверки гипотез относительно этих параметров. Точечные оценки можно получить без всяких дополнительных предположений, но для получения доверительных интервалов и для проверки гипотез нам придется предположить, что ошибки е% распределены нормально.
Пример 4.1.1. Для того чтобы из равенства^. 1.2 получить модель простой линейной регрессии (3.1.2), положим 62 = ро. 02 = Ръ хи = 1, х21 = х{. Тогда у1 = р0 + р!** + еи I = = 1, п.
Пример 4.1.2. Пусть есть две выборки: выборка гц. г^, из популяции с распределением N (ци а2) и выборка г2\, г2пг из популяции N (щ, а2). Положим ух = гп, уП1 = гЫг, г/„>+1 = = Чъ Уп = г2пг, где п = пг + п2. Тогда
+ * = 1. ¦ • -. «1.
^ 1 М'2 + е;> 1' = «!+ 1, • • ., «,
4.1. Основы теории общей линейной модели
225
где е1 распределено по закону N (О, сг2). Последним равенствам можно придать вид (4.1.2), т. е.
У1 = МЛ/ + 1**«2/ + е<> 1=1,...,«.
где
_| 1, I = 1, . • ., «1, _ ( 0, 1 = 1,.. ., п1;
^¦~\0, 1 = ^+1.....п И *"~11, 1 = п1 + 1.....п.
Это однофакторная модель дисперсионного анализа с к =2 подпуляциями, называемая еще задачей о двух выборках (разд. 2.3.2).
Может показаться, что мы усложняем простую ситуацию. Но в дальнейшем будут видны преимущества формулировки таких задач в терминах общей линейной модели.
4.1.1. Точечные оценки
Обычно оценки параметров 9^ 9Р получаются методом наименьших квадратов (МНК-оценки). Оценки наименьших квадратов определяются как значения 61, 9Р параметров 9^ 9р, минимизирующие сумму квадратов
п
5 = Ц (у,¦- еЛ,------%хр!у (4.1.4)
(=1
по всем наборам 9Ъ 9Р. Значения 9Х, 9Р линейно зависят от наблюдений. Сама точка минимума может либо определяться однозначно (как в случае множественной линейной регрессии), либо таких точек оказывается бесконечно много. Подобная неоднозначность может возникнуть в ситуации дисперсионного анализа. Для получения единственного решения обычно налагают дополнительные условия на параметры и их оценки. Мы тоже при
; необходимости будем вводить подобные условия.
' В этом разделе будем считать, что либо сразу, либо после наложения нужных условий получен единственный набор МНК-оце-нок 9\, 9Р. Тогда оценка наименьших квадратов для любой линейной функции параметров является той же самой линейной функцией от МНК-оценок самих параметров. Значит,
2сД=ЕсД, (4.1.5)
/=1 1=1
где сг — известные постоянные, ? = 1, р. Поскольку 9г ли-
р
нейно зависит отуи уп, то и 2 сг9; линейно зависит от наблю-
1=1
дений у. Важность метода наименьших квадратов состоит в том,
8 А. Афифи. С Эйзен
226
Гл. 4. Дисперсионный анализ
что МНК-оценки являются несмещенными оценками, линейно зависящими от наблюдений. Это и есть содержание теоремы Гаусса — Маркова.
Теорема Гаусса — Маркова1). Для общей линейной модели
р р
(4.1.2) с условиями (4.1.3) МНК-оценка 2 СД- величины Есг9г
;=1 1=1
(здесь 0; — единственные МНК-оценки для 9Ь а с, — постоянные) является несмещенной и обладает наименьшей дисперсией среди
р
всех несмещенных оценок суммы с;9ь линейных по уъ уп.
1=1
Кроме оценок параметров 9!, 0Р, нам понадобится оценка для дисперсии ошибок о2. Обычно для этого используют оценку, называемую средним остаточным квадратом (или средним квадратом ошибки):
МБр, =52 = ЗБцЛь, (4-1-6
где остаточная сумма квадратов (сумма квадратов ошибок) 5БК имеет вид
55к= 2(0,------%хр1)\ (4.1.7)
1=1
а vR — остаточное число степеней свободы. Это величина, способ вычисления которой мы будем указывать во всех рассматриваемых случаях (см. замечание 4.1.1.2), выбирается так, чтобы оценка в2 оказалась несмещенной. Величины 5БК, vR и МБК фигурируют в таблицах АЫОУА, таких, как табл. 2.4.1, 3.1.1 и 3.2.1 соответственно для задач однофакторного дисперсионного анализа, простой линейной регрессии или множественной линейной регрессии. Заметим, что остаточная сумма квадратов ББр, показывает, насколько хорошо построенная модель согласуется с данными: чем меньше ББр, тем лучше согласие.
