Численное решение задач метода наименьших квадратов - Лоуcон Ч.
Скачать (прямая ссылка):
множителем л1'2 отличается от минимального числа обусловленности, которое можно получить масштабированием столбцов.
Уменьшение числа обусловленности имеет то преимущество, что оценки возмущений типа (9.10) будут давать менее пессимистические результаты. Может оказаться также, что будет установлено значение псевдоранга к =л, в то время как для исходной задачи было к<п, что связано с ненужными осложнениями при вычислении решения.
Матрицу преобразования Я можно выбрать так, чтобы А (или ее подматрица) имела какую-либо особенно удобную форму, например треугольную или диагональную. Так, если вычислено сингулярное разложение А, А = = US V т, то левое умножение [А.Ь] на UT и правое умножение А наЯ = V преобразуют А к диагональной матрице S. Однако эти умножения обычно не выполняют в явном виде; они реализуются параллельно с вычислением сингулярного разложения (см. гл. 18). Систематический анализ сингулярного разложения будет дан в § 6.
143
Здесь мы обсудим прием, состоящий в замене задачи Ах s* Ъ задачей
(25.25)
ииьл
где F — IX п-матрица, d — /-мерный вектор.
Предположим, что для нас предпочтительней решение х, близкое к известному вектору f .Это предпочтение можно выразить,полагая в (25.25) F = 1„ и d = ?. В частности, d = ? = 0 означает, что предпочтение отдается х с малой нормой.
Интенсивность предпочтения можно указать, вводя в определение F и d масштабирующий множитель (назовем его о) :
F=o-,/„, d = o-ll
Число о можно рассматривать как оценку величины неопределенности в ?. Таким образом, приписывание о малого значения заставляет решение быть ближе к ?.
Развитием этой идеи является использование различных- чисел 07, i -= 1,.... и, где Oj — оценка величины неопределенности в /-й компоненте ?. В этом случае полагают^ = ?,/0/, i = 1,..., и, а в качестве F берут диагональную матрицу с диагональными элементами fu = oj1 .
Наконец, если имеется достаточная априорная статистическая информация относительно ожидаемого значения ? решения х, чтобы можно было построить симметричную положительно определенную л X и -матрицу кова-рнации К для х - ?, то разумно положить
F = 1Г\ (25.26)
где L - нижний треугольный множитель Холесского для матрицы К (см. (19.12)-(19.14)),т.е.
K = LLT. - (25.27)
Кроме того, полагают
d = F?. .... (25.28)
Отметим, что если система Fw -d совместна, то случай ёФО простым переносом можно свести к случаю d = 0. В самом деле, пусть к> — решение системы Fw = d. Сделаем в (25.25) замену переменных х' = w + х. Она приводит к преобразованной задаче
КИП- ' ^
Если предполагается находить решение с минимальной длиной, то важно произвести эту замену переменных, так как предпочтение малым значениям I х D согласуется с условиями Fx эг 0.
Рассмотрим теперь вопрос об относительном взвешивании двух систем условий Ах и Fx^db (25.25). С формальной статистической точки зрения можно сказать, что подходящее относительное взвешивание будет
144
утшш&тЕил щшшш нищ м вит
где (GTG)~l — априорная ковариационная матрица неопределенности в заданном векторе b, a (FTF)~l - априорная ковариационная матрица неопределенности в априорно ожидаемом значении ? решения х. На практике, однако, априорные ковариационные матрицы, особенно (FrF)~', могут быть известны лишь весьма приближенно. Поэтому желательно исследовать влияние изменений в относительных весах на решение и вектор невяэкн.
С этой целью введем в задачу (2530) неотрицательный скалярный весовой параметр X и рассмотрим новую задачу:
(25.31)
где ' '
A = GA, , I (25.32)
b=Gb, " - - (25.33)
d = Fl « (25.34)
Для читателей, привычных к другим способам мотивировки и формулирования задачи наименьших квадратов с априорными ковариационными матрицами, заметим, что (25.31) равносильно задаче отыскания вектора х, минимизирующего квадратичную функцию
Ux-bP +Х2 И Fx - с/ II2,
или, что одно и то же, i
(Ax-b)T(GTGXAx-b) + \2(x-S)T(FTF)(x-S).
Идея использовать относительный весовой параметр X в этом контексте была высказана в статье [117]. Усовершенствования и приложения этой техники указаны в [121,122,130,96-99]. После статьи Марквардта [121] и программы, представленной им в SHARE (организация по обмену вычислительной информацией), применение рассматриваемого подхода к линеаризации нелинейных задач наименьших квадратов часто называют методом Марквардта. Для исследования задачи (25.31) в зависимости от X иногда используют еще термин гребневая регрессия.
Чтобы проанализировать зависимость решения и невязки в задаче (25.31) от параметра X, произведем прежде всего замену переменных
x = S+F-ly, (25.35)
что приводит к преобразованной задаче: а " ' ?•
(25.36)
Л
где A=AF'1 и Ь = Ь-А1 !
Ю.Ч.Лоусон 145
ьзоватИпШЧ
(25.35), обсуждались в § 3. Их цель - перейти к новой переменной у масштабированной лучше, чем х, что позволяет получить более осмысленную оценку вектора решения. Л Запишем сингулярное разложение матрицы А:
2 -it Г5"*" \vT АтХп - итХт\ п I v л X п-
L °(/п-п)Х л J
(25.37)
}(т-п))
Напомним, что S = Diag is\,... ,s„ } . Если rank Л = к < п, то s, = 0 для /> А:. Выполним ортогональную замену переменных y=Vp
