Спектральный анализ и его приложения Том 1 - Дженкинс Г.
Скачать (прямая ссылка):
наименьших квадратов.
На рис. 4.3 и в табл. 4.1 приведены данные {хі, Уі), полученные в действительном эксперименте.
Для этого примера сумма квадратов (4.3.3) имеет вид
N
5(6):
(УI - б*;)2
(4.3.6)
4.3. Оценивание с помощью наименьших квадратов
137
Таблица 4.1
Данные «скорость—время» для оценивания ускорения
X1, сек 1 2 3 4 5 6 7 8 9
Уі, м сек 35 58 94 121 147 175 212 247 264
Остатки у і — dxi 5,0 -1^ 4,1 1,2 -2,8 -4,7 2,3 7,3 -5,6
Дифференцируя эту сумму по 6 и приравнивая нулю производную, получаем единственное нормальное уравнение
Л'
2*/(У/-9-*/) = °-
Следовательно, выборочная оценка наименьших квадратов имеет вид
N
S=^-• (4.3.7)
I = X
Для данных, помещенных в табл. 4.1, имеем 21-^1 = 8538, ^Цх2.=. = 285 и, следовательно,
-Щ- = 29,96 Mjсек2
Подобранная линия у = Qx показана на рис. 4.3. Она называется линией регрессии у на х. Теперь ее можно использовать для предсказания значения скорости у в заданный момент времени х в лю бых последующих экспериментах при тех же условиях.
4.3.2. Доверительные интервалы для одного параметра
Среднее значение и дисперсия оценки наименьших квадратов.
Как отмечалось выше, существенно иметь меру точности оцениваемого параметра, например в виде доверительного интервала. Этот доверительный интервал можно использовать в свою очередь для построения доверительного интервала для прогноза, сделанного по подобранной модели.
В упоминавшемся выше примере доверительные интервалы для
0 можно вывести, рассматривая выборочные свойства оценки в,
138
Гл. 4. Введение в теорию статистических выводов
соответствующей выборочной оценке наименьших квадратов (4.3.7). Так как х{ являются фиксированными константами, то среднее
значение оценки в равно
N N
2 X1E[Y1] 2 A^
е[Щ = -^-—=9'
2 A
і = 1 і = 1
так что эта оценка несмещенная. Аналогично получаем из (3.2.18), что ее дисперсия равна
N
(4.3.8)
так как Var [F1] = Var [Zi] = о2. Следовательно, если бы о2 было известно, то (4.3.8) можно было бы использовать для построения доверительных интервалов для 8, поскольку из того, что Yi распределены нормально, следует, что G также распределена нормально. Кроме того, если даже Z; не являются нормально распределенными, тем не менее 0 будет иметь распределение, близкое к нормальному в силу центральной предельной теоремы, и, таким образом, этот анализ будет устойчивым по отношению к предположениям, сделанным о распределении Zi.
Оценивание остаточной дисперсии. В общем случае нам потребуется оценивать о2 по данным. Чтобы увидеть, как это можно сделать, рассмотрим
2Z] = 2(K1 - О*,)* = 2{К— в^?Ч-^(0-е)}2, (4.3.9)
где пределы суммирования временно опущены. Раскрытие скобок в (4.3.9) дает
2Z? = 2(K1 - Sx1J + 2(0-6) 2*. (K1 - Є*,) + (в - в)'2
и так как в является оценкой наименьших квадратов, средний член исчезает, что дает
2(К,--6х;)2 = 2(^- в*,)2 + (в-9)22*?. (4.3.10)
Беря математическое ожидание от обеих частей (4.3.10), получяем
W=E [2 (К, - Qx1)2} + Var [в] 2-х2,
4.3. Оценивание с помощью наименьших квадратов
139
и отсюда, используя (4.3.8), получаем
г N и
E 2 (^j- O^)2 =(N- 1)о2.
Таким образом, случайная величина
(К,--OxJ
является несмещенной оценкой о2. Поскольку (N— I)S2 является квадратичной форімой от нормальных случайных величин и E[(N— I)S2]= (N—1)о2, отсюда следует, что эта величина распределена как o2x2Y_j.
Результат (4.3.10) является частным случаем теоремы (3.3.16) о разбиении X2- Таким образом, из-за того, что случайные величины Yt распределены как N (Qxi, а2), левая часть (4.3.10) распределена как о2х2. Кроме того, случайная величина (в — 6) распределена как N(0, O2I^1X2.) и, следовательно, случайная величина
{в — Q)2^1X2 распределена как о2%2. Можно показать также, что
две случайные величины в правой части (4.3.10), имеющие х2-рас-пределение, независимы. Следовательно, случайную величину в левой части (4.3.10), имеющую х2-распределение с N степенями свободы, можно разбить на две независимые случайные величины, имеющие х2-Распределение с N—1 и с одной степенями свободы соответственно.
Доверительные интервалы для 6. Так как в — 9 не зависит от S, то отсюда следует, что случайная величина
S
имеет .'-распределение с v = N—1 степенями свободы. Отсюда 100(1 —а)%-ный доверительный интервал для 0 имеет вид
ks*? (в-0)
(4.3.11)
где 6 дается равенством (4.3.7), и
является выборочной оценкой дисперсии. Заметим, что
(4.3.12)
140
Г л. 4. Введение в теорию статистических выводов
и, следовательно, поскольку 0 известно, для вычисления остаточной суммы квадратов и выборочной оценки дисперсии остается сосчитать лишь 2 у1..
Для данных, приведенных в табл. 4.1, ^y2 = 255 949. Следовательно,
s2 = -L { 255 949 - (29,96)2(258) J =21,06, так что 95%-ный доверительный интервал для 0 равен 29,96 ± (2,30^УУ'06- = (29,33; 30,58).
Полезно также проверить индивидуальные разности от подобранного уравнения регрессии, чтобы посмотреть, не является ли какое-нибудь наблюдение аномальным или же разности укладываются в рассматриваемую схему. Для нашего примера индивидуальные
