Математическая статистика - Варден Б.Л.
Скачать (прямая ссылка):
g; = UjU (г— 1.2,3). (13)
Этой прямой G принадлежит «истинная точка» Р, координаты
которой равны математическим ожиданиям результатов наблюдений: = Xj. Наблюденная точка X расположена где-то вблизи
от точки Р (рис. 19). Форма
Q = (xi —fi)2 + (х2 —?г)2 +
+ (*з-?з)2 (14)
представляет собой квадрат рас-
стояния между наблюденной точкой X и прямой G. Отыскание минимума Q равносильно отысканию на прямой G такой точки Р, которая менее
всего удалена от X. Следовательно, „ ...
~ ¦’Рис. 19. Метод наименьших
Р является основанием перпендику- квадратов,
л яра, опущенного из X на прямую G.
Формулы для вычисления координат основания перпендикуляра станут проще, ссли мы предварительно произведем ортогональное преобразование координат. В качестве одной из новых осей выберем прямую G, а две другие оси расположим перпендикулярно G. В новых координатах параметрическими уравнениями G будут являться:
т?! = аи, rj2 = Q, rj3 =¦ 0 (а2 = а? + а\ + af). (15)
В общем случае (г параметров и п величин xt) подпространство G задается параметрическими уравнениями
it atu -f b,v + . . . . (16)
Ортогональное преобразование можно записать в виде равенств
*< = 2е'кУх- (17)
Для того чтобы г новых координатных направлений лежали в подпространстве G, нужно, чтобы первые г столбцов матрицы (eik) являлись линейными комбинациями векторов (а;), (Ьг), .... Выберем в качестве первого столбца вектор (Aat), в качестве второго столбца — линейную комбинацию векторов (/ыа; + vbj) и т. д., а затем определим коэффициенты А, у, v, . . . из условия ортогональности.
166
Гл. VII. Метод наименьших квадратов
Если вычислить математические ожидания правых и левых частей (17), то получим равенства
Ь I ^ ^ikHk ’
где r)lt . . ., г]г представляют собой линейные комбинации и, v, . . ., а г]г+1, . . ., г]п все равны нулю, как это было в (15) для г = 1 и п = 3.
При ортогональном преобразовании форма Q остается инвариантной, поэтому в случае п = 3 имеем
Я = (У1 — T7i)2 + (У2 — т?г)2 + (Уз — Т7з)2. или, согласно (15),
Я = {Ух — T7i)2 + у\ + у1 (18)
Эта форма достигает минимума Q при = ylt следовательно, Vi = Ук 172 = т7з = О
и
Я = у\ + у\- О9)
Равенство (18) является выражением «теоремы Пифагора»:
(РХ)2 = (РР)2 + (ХР)2. (20)
Левая часть равенства (20) представляет собой форму Q, первое слагаемое справа равно (уг — г^)2, а второе слагаемое —
~Я = у\ + у1
В случае г параметров и п наблюденных величин получаем следующие обобщения формул (18) и (19):
Я = (У1 — T7i)2 + • • • + (Уг — т7г)2 + 2/м 1 + • • • + Уп> (21) Я = y2rti + ¦ ¦ ¦ + У1 (22)
И в этом общем случае Q можно также истолковать как квадрат расстояния ХР, но уже в п-мерном пространстве.
Случай неравноточных наблюдений подстановками
X- = X• СГ-
сводится к случаю, который только что был рассмотрен и проиллюстрирован геометрически.
Г. ТЕОРЕМА ГАУССА
Гаусс дал второе обоснование метода наименьших квадратов, опирающееся на следующую теорему:
Среди всех несмещенных оценок параметра f^, являющихся линейными функциями наблюдений х0 наименьшей дисперсией обладает оценка С.
§ 31. Средние значения и дисперсии оценок 6
167
Очень короткое доказательство этой теоремы Гаусса указано в работе Plackett R. L., Biometrika, 36 (1949), 458. Здесь будет воспроизведено доказательство, основанное на ортогональном преобразовании (17). Мы ограничимся случаем г = 1, п = 3, а обобщение для произвольных тип предоставим читателю.
Пусть Т — некоторая оценка параметра 01( являющаяся линейной функцией от xlt х2, х3, а значит, и линейной функцией от уъ уг, у3:
Т = с0 + Схух -\- с2уг + с3у3. (23)
Когда мы говорим, что оценка Т является несмещенной, то подразумеваем, что математическое ожидание Т является функцией от тождественно равной Математические ожидания у% и у3 равны нулю, а математическое ожидание ух равно г^, следовательно,
& Т = с0 + = с0 + схаи. (24)
По условию теоремы это выражение тождественно по и должно равняться
*>! = «? + и, (25)
поэтому
с0 = €° и с1 = У. (26)