Спектральный анализ и его приложения Том 1 - Дженкинс Г.
Скачать (прямая ссылка):
б) Предположим, что в (П4.1.4) выборочные оценки Э заменены на соответствующие оценки в. Тогда обобщенный принцип наименьших квадратов утверждает, что оценки 0 таковы, что средний квадрат разности двух линейных комбинаций
L = X1O1 + ^+ . . . +ХА = Х'0
и
Z = X1O1+х2в2+... + \ЛвЛ = їе
принимает свое минимальное значение. Следовательно, произвольная линейная функция от параметров оценивается с минимальной среднеквадратичной ошибкой.
Доказательство обобщенного принципа наименьших квадратов.
Чтобы доказать, что оценки наименьших квадратов, получаемые из (П4.1.4), минимизируют среднеквадратичную ошибку между l и
l, рассмотрим оценку l линейной комбинации l, являющуюся линейной функцией общего вида от случайных величин К,-, т. е.
Z = Z0 +Z1K1+Z2K2 + .. . + lNVN = lQ + V\.
Из (П4.1.2) получаем ?[Y] = X9, так как E[Z] = O и, следовательно,
E [I]=I0+ YXd.
Далее, так как К, имеют ту же самую матрицу ковариации, что и Zi, то
Var [Z] = TVl.
Отсюда среднеквадратичная ошибка оценки l равна
Var [Z] + [е [ZJ - l)2 = 1'Vl + (Z0 + ГХЄ - Х'9)2.
Линейная теория наименьших квадратов
167
Если теперь линейная комбинация L = V 6 может принимать неограниченные значения, то и среднеквадратичная ошибка будет неограниченно возрастать всегда, за исключением только случая, когда 1'X = а/. Отсюда для достижения минимума среднеквадратичной ошибки надо положить /о = 0 и минимизировать квадратичную форму 1'Vl при следующем ограничении на 1:
1'X = X'. (П4Л.5)
Это эквивалентно нахождению безусловного минимума квадратичной формы
I'Vl -(1'X- X') ц,
где ц' = (p,i, Р2, ..., ^h) — вектор множителей Лагранжа. Приравнивание нулю производных по Г дает
Vl = Xn. (П4.1.6)
Решая (П4.1.5) и (П4.1.6) относительно ц' и Г, получаем
H'^X'V-'X)"1
и '
Г = X' (X'V-1X)"1 X'V"1.
Отсюда оценка линейной комбинации L с минимальной среднеквадратичной ошибкой имеет вид
Z = Гу = X' (X'V-1X)-1 (X'V-]Y). Но из (П4.1.4) получаем, что это выражение в точности совпадаете
2=х'в,
где 0 — оценка, соответствующая выборочной оценке (П4.1.4). Приведенное выше доказательство является обобщением доказательства, приведенного Барнардом [1] для случая некоррелированных: ошибок Zi. Если ошибки некоррелированы и имеют одинаковую дисперсию о2, то V = o2I, где I — единичная матрица. Равенство (П4.1.4) переходит при этом в
(Х'Х)в=Х'у. (П4.1.7)
Пример. Чтобы проиллюстрировать применение формулы (П4.1.7), рассмотрим простой двухпараметрический вариант модели (П4.1.1):
V1 = Q1 + V2X1^Z1, i=\, 2, N1
168
Приложение П4.1
и предположим, что ошибки Zi некоррелированы и имеют нулевое среднее значение и дисперсию о2. Тогда (П4.1.7) сводится к
т. е.
где суммирование всюду производится от i— 1 до i = N.
Отсюда выборочные оценки наименьших квадратов имеют вид
2 _ SX2Sy- S*У ?X Ъ _ N^jXy - ? * ]? у
Для ортогональной параметризации разд. 4.3.4, а именно для Y ^ ^ + Ql(X1-X)-T-Z1,
матричное уравнение (П4.1.7) сводится к
Ov о Y?*W 2у
ч0 ^(х-ху)\ь;) \2 у (*-*),
Отсюда выборочные оценки наименьших квадратов равны ?* 7, 1V „ fl* — S У х) ? (у - у) - *)
Матрица ковариаций оценок. Чтобы оценить точность выборочных оценок параметров, нужно вычислить матрицу ковариаций соответствующих оценок. Диагональные элементы этой матрицы дают дисперсии каждой из оценок, а недиагональные элементы дают ковариаций каждой пары оценок.
Мы имеем
8 = (x'v-1X)-1 XV-1Y и, воспользовавшись (ПЗ. 1.2), получаем
E [в] = (XV-1X)-1 XW1E [Y],
Линейная теория наименьших квадратов
169
Отсюда матрица ковариаций оценок равна
с=е[(Ъ-е[Ъ])(Ъ-е\Ъ])'] =
= е [(x'v-1x)-1 x'v"1 (y-e [y])(y - e[y\)' v-1x(xv-1x')"1] =
= (x^-1x)-1. (П4.1.8)
Если v = O2I, то (П4.1.8) сводится к
С = (Х'Х)-'а2. (П4.1.9)
Для приводившегося выше примера с двухпараметрической моделью имеем
(N IiX
(Х'Х)==Ь> 2V
так что
о2 ( IjX2 — Xs
c = (x^)-1o2 =-—-==- _
> N^(x-x)2 \-2iX N
Следовательно,
Var [в2]
Cov [еь O2] = -
2*
.2
N^(x-lcf ' Для ортогональной параметризации
(N О \
(X'X)==l0 Ъ(х-х)2)'
так что
Л_(H(x-xf О
N^(x-x)2 \ О N
Следовательно,
v-[§;] -4.
Cov [в;, O2*] = 0.
Ранее было показано, что оценки наименьших квадратов минимизируют среднеквадратичную ошибку (т. е. дисперсию, так как оценки несмещенные) линейной функции Х'О параметров 9,
170
Приложение П4.І
Так как
Var [х'в] =Х'СХ, (П4.1.10)
то отсюда следует, что оценки наименьших квадратов минимизируют определитель I С I матрицы ковариации оценок в.
Оценивание остаточной дисперсии. Эта задача в ее наиболее общей постановке включала бы оценивание всех элементов матрицы ковариации ошибок V. В этом разделе мы рассмотрим лишь частный случай V = O2I, так что оценивание V сводится к оцениванию о2, являющейся дисперсией каждой из Zi.
Пусть 5(0) обозначает квадратичную форму
S (0) = a2z'V-'z = а2 (у - XB)' V-1 (у - Х0), которая сводится для случая V = O2I к сумме квадратов S (6) = (у — XO)' (у — XG).
Подставив выборочные оценки 0 = 0, получим
