Статистический анализ: Подход с использованием ЭВМ - Афифи А.
Скачать (прямая ссылка):
208
Гл. 3. Регрессионный и корреляционный анализы
эти две переменные У так же хорошо, как все шесть переменных из Ь.
Используем теперь правило остановки из замечания 3.3.2.1. В последней колонке таблицы приведены значения и (д) на каждом шаге. Минимум величины и (а) достигается на шаге 6, чему соответствует набор из переменных Х3 и Х4. Так как п = 200, то, согласно замечанию 3.3.2.2, следует считать набор (Х3, Х4) наиболее предпочтительным для предсказания У.
3.4. Нелинейная регрессия
В предыдущих разделах рассматривались модели регрессии, линейные по параметрам, вида
У1 = Ро + РЛ< + • • • + Рр*р< + е„ *=!,.. ., п. (3.4.1)
Как отмечалось в начале этой главы, во многих случаях линейная модель может служить по меньшей мере в качестве первого приближения к истинной модели. Кроме того, как это указывалось уже в примере 3.1.3, в некоторых случаях использование подходящих преобразований переменных может привести к линейной по~пТршё~трат&-модели. Однако имеется большое число ситуаций,
зависимость вьграЖается суммой экспоненциальных и/или тригонометрических функций. В этом случае линейная модель не будет уже удовлетворительной аппроксимацией, а простое преобразование переменных, приводящее к ней, отсутствует.
Любая модель, вид которой не совпадает с уравнением (3.4.1), называется моделью нелинейной регрессии и может быть представлена в виде
У1 = !(Хи, . ¦ ., хгЛ; 0Ь . . ., 9т) + е,, 1 = 1, . . ., п, (3.4.2)
где ? ( ) — нелинейная функция параметров 81, Эт, а е1 — некоррелированные ошибки. Приведем два примера нелинейной функции
!(хГ, вх, еа, е3) = е1 + е/з'«,
/(%, В., 02. 83) = е1 + е281п(д:1?-|-езС08%), ?=1, . . ., п.
Если истинная модель линейна, то МНК-оценки параметров будут оптимальными, поскольку они являются несмещенными оценками.с минимальной дшщеткией. Но если модель нелинейна, то методы получения наилучших оценок параметров отсутствуют. Однако существует метод максимального^ правдоподобия, который позволяет получать оценки 81, @?, Вт» обладающие такими
3.4. Нелинейная регрессия
209
ценными свойствами, как состоятельность и асимптотическая эффективность при достаточно общих условиях. Более того, если ошибки е1 суть независимые случайные величины с распределением N (0, а2), оценки максимального правдоподобия совпадают с МНК-оценками. Как и в предыдущем разделе, МНК-оценки суть значения Эх, Э2, Эт, которые минимизируют сумму квадратов отклонений
5 = 23 -Цхи, хр1; 0Х.....(3.4.3)
1=1
Для линейной модели МНК-оценки получаются из решения системы линейных уравнений. К сожалению, в случае нелинейной модели приходится решать систему нелинейных уравнений и соответствующее МНК-решение нельзя уже представить в явном виде. По этой причине приходится использовать различные итерационные методы для численного определения МНК-оценок.
3.4.1. Итерационные методы численного определения МНК-оценок
Во всех программах определения МНК-оценок ёъ Эт из ПСП вычисляется последовательность приближений В]'1, 0^', / = = 1, 2, к этим оценкам. В большинстве программ от пользователя требуется задать начальное приближение 010), 0т'. В некоторых программах процесс последовательного приближения останавливается, если различие в двух соседних приближениях становится пренебрежимым, т. е. если
< б (3.4.4)
для всех I = 1, т и для некоторого заранее выбранного малого числа б. В других программах остановка происходит при стабилизации остаточной суммы квадратов.
Технические детали, связанные с численным приближением МНК-оценок, в этой книге не рассматриваются, но их можно найти в работе Draper, Smith (1968) гл. 10, или в книге Ralston, Wili (1960). Наиболее часто используются методы линеаризации (Hartley (1961)), накопления (Rao (1965) с. 302), наискорейшего спуска (Davies (1954)) и Марквардта (Marquardt (1963)).
Помимо а) начальных значений параметров 0Х.....0т, пользователю обычно требуется еще задать Ь) верхние и нижние границы для значений параметров и с) подпрограммы для вычисления значений функций / ( ), ее первых, а иногда и вторых частных производных по 0;, 0^. Пользователю, мало знакомому с вы-
210
Гл. 3. Регрессионный и корреляционный анализы
числительной математикой и программированием, может потребоваться помощь специалиста.
На выходе обычно получаем: а) конечные (а иногда и промежуточные) оценки параметров, Ь) конечную (а иногда и промежуточные) сумму квадратов отклонений 5 как меру качества подгонки и с)^оценки асимптотических дисперсий V (0г) и ковари-аций соу (0;, 0/) для 0г и 07-, I Ф / = 1, т. Величина
я* = 8/(п — т) (3.4.5)
(иногда называемая среднеквадратичной ошибкой) служит оценкой дисперсии ошибки оа.
Указанные оценки асимптотических дисперсий можно использовать для приближенной проверки гипотез и аппроксимации 100 (1 —а) %-ных доверительных интервалов для параметров. Дополнительно в выходные данные могут быть включены предсказанные значения уи соответствующие стандартные отклонения рг и остатки у{ — у{ для ? = 1, п.
3.4.2. Приближенная проверка гипотез
