Теория вероятностей и случайных процессов - Тутубалин В.Н.
ISBN 5-211-02264-5
Скачать (прямая ссылка):
2.2. Регрессионный анализ. В математической модели речь идет о возможно точном определении значения случайной величины ti по наблюдаемым значениям случайных величин glt ?t,. . ., Для простоты обозначений предположим, что ожидания всех случайных величин равны нулю (т. е. вычтены). Вообще говоря, речь идет о разыскании такой функции / от величин jj„ Slt . . ., чтобы значение f(?„ . . ., In) было возможно ближе к ¦»). Различие между г) и Д?„ S*.. . ., 5„) обычно измеряется в смыс-
ле La — гильбертова пространства случайных величин S, таких, что в котором скалярное произведение за-
дается формулой (I, ,»)) = М1т) — J’I(to)Tj(u>)P(da») (заметим, что
и
в случае величин с комплексными значениями (I, •>)) = =M?tj). Иными словами, расстояние между -tj и f(Ex, I,,..., 1„) равно, по определению, M{tj —/(?„ S...........?„)}*.
Оказывается, что в общих терминах функция /(?tt ?2, ,
..., In) может быть найдена очень легко. Действительно, мы сейчас покажем, что следует положить
/(Si. Si. . . ., Sn) = Mi1...')l7). (1)
где обозначает условное математическое ожида-
ние относительно о-алгебры событий, порожденной событиями вида {Si SB1( S,eB2...........U (= Bn\, где Bu . . ., Bn-
одномерные борелевские множества. В самом деле, множество L случайных величин вида g(h..................?я), где
g(x .......хп) — измеримая по Борелю функция, есть,
очевидно, линейное подпространство пространства La. Нетрудно доказать и его замкнутость (настоящими подпрост-
14S
ранствамн гильбертова пространства являются замкнутые линейные пространства). Искомой функцией f(h...............gn)
является проекция случайной величины ¦*] на L. Покажем, что этой проекцией является tj.
Действительно, M5l.„5 является функцией от ?1........|П1
т. е. принадлежит L. Нужно лишь проверить, что разность i\ — ортогональна L. Однако для g(?i,..., ?„)е
Gi имеем
МКч-М*...^)^-----------, у> =
= ММ51.„5Я{(Т1 — Му...^)^!,. . .,?„)} =
— Mg(h, • . •, ?я)М5,...5п(г1 — M^...E)|rj) = 0,
что и требовалось доказать. (Сравните доказательство формулы D? — MD«? + DMa? в п. 1.3 предыдущего параграфа.)
Для вычисления (1) нужно знать совместную плотность распределения случайных величин tq, . . ., Опыт приложений показывает, что такое требование обычно неприемлемо. Поэтому на практике ограничиваются (обычно) линейными функциями /(?ь . . .,?„) = 2°i?i- Тогда речь идет о подпространстве L0 всевозможных линейных комбинаций Линейная комбинация Sai?« будет равна proj? •»), если разность ц — ортогональна всем
?i. Таким образом, для минимизации — 2а&)2 нужно
определить а„ . . ., ап из системы линейных уравнений
(•») — 2 If) = M(tj — 2 atli)li= °»
т. е. (так как Mgi“*. . . = Щп — Мц = 0)
2?cov(in lj)ai = cov{ri, ti), /— 1, 2,. . ., п. (2)
i
Соотношение
r)=Sa»|j+6, (3)
в котором а* найдены из системы уравнений (2), называется уравнением регрессии случайной величины т) на величины
gb •••* %п»
Коэффициент корреляции
г - Фь v а&) = М(у, v ail0 /У«&) И)
называется множественным коэффициентом корреляции между случайной величиной т) и случайными величинами ?ь §2.....
•••» ^л*
Так как случайные величины 2а,?; и 6 в (3) ортогональны, имеем:
149
М да,!/) =М (2a,g,)2= D (2а,1,); Dr] = D (2а,|,) + D6= М (т]2а,|,) + D6
(5)
Сопоставляя (4) и (5), получаем
D(2a,i,)=r2Dr), D6=(l—r2)Dti-
(6)
Соотношения (6) имеют следующий наглядный смысл. Мы собираемся «объяснить» случайную величину т) с помощью линейной комбинации 2а,?,-. Если множественный коэффициент корреляции равен г, то общий разброс значений tj, измеряемый дисперсией Drj, объясняется с помощью 2а,?* в доле г2; остается необъясненным разброс значений величины 6, измеряемый дисперсией Da=(l—г2)Dt|.
Например, при г=0,7 имеем г2«0,5; это означает, что 2а,с- и б — одинаковые по величине разброса случайные величины; иначе говоря, т) представляется в виде суммы двух равноправных некоррелированных слагаемых 2а& и 6: грубо говоря, мы объяснили значения случайной величины т) примерно наполовину.
Теперь кратко рассмотрим практическую сторону применения уравнения регрессии. Нужно иметь в виду какую-нибудь практическую задачу. Пусть, например, нам нужно найти зависимость между химическим составом и каким-нибудь свойством стали, скажем, прочностью при испытании на разрыв. Если химсостав характеризуется процентным содержанием элементов |ь ..., \п, а т) — интересующая нас прочность, то уравнение (допустим, линейное) регрессии Т1=2а,-?г+6 и есть искомая зависимость (особенно при близком к 1 значении г). Но вместо теоретических математических ожиданий Щ.:, Мт) и ковариаций мы должны воспользоваться их выборочными аналогами. Предположим, что имеется N плавок стали, для каждой из которых определены значения х\п ,..., ...,х{п , /'= 1, ..., N, независимых переменных (химсостава) и значения уЧ> прочности. За оценки математических ожиданий берутся средние выборочные значения, за оценку ковариаций — выражения вида
