Спектральный анализ и его приложения Том 1 - Дженкинс Г.
Скачать (прямая ссылка):
S (в) = у'у - BXy - у'Х0 + в'ХХв.
но так как, согласно (П4.1.7), 0'Х'у = 0'Х'Хв , то
5 (в) =у'у-у'Х0
и, заменяя у'Х на 0 'Х'Х,получаем
S (в)= у'у -в' (X' X) 0. (П4.1.Ц)
Заменяя выборочные оценки в (П4.1.11) оценками и беря математическое ожидание, получаем [2, 3*]
E [S ( в)] = Na2 - ka2 = (N - k) а2,
так что
^=У'у-?_(?Х)? (П4.1.12)
является несмещенной оценкой а2. Для однопараметрического случая равенство (П4.1.12) сводится к
52=ж=т2 (уі-в,*,)2,
как и получалось в разд. 4.3.2. Для двухпараметрического случая равенство (П4.1.12) имеет вид
Линейная теория наименьших квадратов
171
jv
N-2
і = 1
2 (у і -9.- м,-)2
/jv n jv \
¦zt 2 У? - Л>в? - 2в"і Q2 2 *і - oi 2 Ь
\/=і «=1 і=і /
и для ортогонального двухпараметрического случая
jv
1
jV-2
/ = і
2 [у,-в;-ий-*)]2= 2 (у. - у)2 - (?2 2 и - *)2
j=i
С помощью рассуждений, аналогичных рассуждениям, использовавшимся в разд. 4.2.3, можно показать, что оценка, имеющая N + + 2 — k в знаменателе, дает наименьшую среднеквадратичную
ошибку, и, следовательно, она предпочтительней, чем (П4.1.12). Однако на практике чаще всего используют выборочную оценку (П4.1.12).
Доверительные области. Чтобы вывести доверительные области для 9, рассмотрим тождество
у _ Х0 = (у - Хв) - Х(в - в). о2 _(y_xe)'V-"(y-X8) =
Отсюда S(O)
= ^y - Хв)' V-1 (у - Xf]) + (в - в)' XV 1X (0 - в) --(у - Хв)' V-1X (в -в) - (в- в)'XV-1 (у - хв).
Из нормальных уравнений (П4.1.4) следует, что два последних члена тождественно равны нулю. Исчезновение этих членов со смешанными произведениями обусловлено тем, что векторы у — XG и X (в —G) ортогональны в jV-мерном выборочном пространстве. Отбрасывая эти исчезающие члены и заменяя у на Y и G на 0, получим
5(0) = 5(0) + (в- 0)'x'v_1X (в - ё)о2. (П4.1.13)
Предполагая, что ошибки Z{ распределены нормально, получаем отсюда, что S(Q) является квадратичной формой от N нормаль-
172
Приложение П4.1
них случайных величин и, следовательно, является случайной величиной x2N- Эта случайная величина, согласно (П4.1.13), разлагается на %2N_k и x2h. Отсюда случайная величина
(о-е)х'У~'х(о-в) N-k
S (в) к
распределена, как Fh.N-h- Следовательно, область, вероятность попадания в которую есть (1 —а), имеет вид
а2 (в - в)' XV-1X (в - в) < -J±TfkN_k (1 - a)S (в). (П4.1.14)
Заменяя в на 0 в (П4.1.14), получаем 100(1—а)%-ную доверительную область для параметров в. Область (П4.1.14) является эллипсоидом в й-мерном пространстве параметров 8, и ее объем, как нетрудно проверить, обратно пропорционален определителю I X'V-1X I. Но С = (X'V_1X)_1, и так как выборочные оценки наименьших квадратов минимизируют определитель |С|, то они, следовательно, минимизируют также и объем доверительного эллипсоида для параметров.
Подставляя V = Ia2 в (П4.1.14) и замечая, что из (П4.1.12) следует, что s2 = S ^Q) J(N — k) является выборочной оценкой о2, получаем 100(1 — а) %-ную доверительную область для 8
(в - в)'х'х(Є- в)</%52Д„_А(1 - а), (П4.1.15)
в случае когда V = Ia2.
Для одного параметра (П4.1.15) имеет вид
(9-9)4-^/,,^-,0-я). (П4.1.16)
что является другой записью доверительного интервала (4.3.11), так как ^-1(I — a/2) =/i,jv-i(1 — а). Для двухпараметрического примера неравенство (П4.1.15) принимает вид
<2^Д„_2(1_а).
Это сводится к неравенству
N ¦ IV
N (б, - 6,)2 + 2 (S1 - 6,) (б2 - O2) J X1 + (б2 - ?2)2 J х] <
Линейная теория наименьших квадратов
173
которое представляет собой уравнение эллипса на плоскости (Gi, G2).
Для ортогональной двухпараметрической модели (П4.1.15) сводится к
N
N (B1' - Sl)2 + (е: _ ?*)22 (X1 - х)2 < 2s2/2, „_2(1 - «),
; = i
что также является уравнением эллипса на плоскости (G*, G*), но в этом случае оси эллипса параллельны осям координат.
Вывод доверительных областей непосредственно по контурам, образуемым линиями уровня суммы квадратов. В нелинейных задачах невозможно вывести явные выражения для выборочных оценок наименьших квадратов и матрицы X'V_1X. Примеры таких задач приводятся в разд. 5.4.4. В этом случае разложение (П4.1.13) можно записать в виде
S(Q) = S (9)+S[Q-в).
Используя те же рассуждения, что и при выводе (П4.1.14), получаем, что случайная величина
S(O)-sje) N-k
S (в) k
распределена, как Fk,N-h- Следовательно, область
5(8) < 5 (в)
1 + -f^zrfk.N-k^-0-)
(П4.1.17)
является 100(1—а)%-ной доверительной областью для параметров. Если имеются контуры функции S(Q). то 100(1—а)%-ный контур соответствует константе (уровню), полученной умножением
остаточной суммы квадратов S(в] на константу в квадратных скобках в (П4.1.17).
Дисперсия прогноза. Если для предсказания отклика в будущем эксперименте используется модель (П4.1.1), то значение прогнозируемой величины будет иметь вид
у = ?,*, + ^2X2 + ... +Hhxk + z =
= в'х +9 = Ох,
так как 2 = 0. Дисперсия соответствующей оценки равна
Var [P] = Var [в'х]+ Var [z]=x'Cx + a2, (П4.1.18)
174
Приложение П4.І
где мы использовали (ПЗ.1.4). Если V = O2I, то (П4.1.18) сводится к Var [P) = [х'Сх'хГ1 X + і] а2. (П4.1.19)
Отсюда 100(1—а)%-ный доверительный интервал, основанный на предсказываемом значении у и выборочной оценке s2 дисперсии о2,
