Теория вероятностей и случайных процессов - Тутубалин В.Н.
ISBN 5-211-02264-5
Скачать (прямая ссылка):
Фактически вместо проектирования в Lh случайной величины т, на линейную оболочку Ц случайных величин
150
Si.. . .,ln происходит проектирование вектора (</(<> — у,...,
Ут — у) на линейную оболочку векторов — ......
4ю-Xi) в смысле обычного W-мерного евклидова про* странства. При N-*-oo оценки ковариаций сходятся к их теоретическим значениям, т. е. находим близкие к истинным значения коэффициентов линейной комбинации. Легко понять, что при конечном п отличие выборочных ковариаций от истинных составляет величину порядка IIVN. Однако для решения системы (2) нужна не сама матрица ковариаций, а обратная к ней. При большом чис-ле независимых переменных выборочная матрица ковариаций оказывается близкой к вырожденной (так как, например, при векторы (jcj1*,. . ., л,
будут обязательно линейно зависимыми» а следовательно, матрица выборочных ковариаций — вырожденной). Поэтому для успеха всей процедуры (называемой регрессионным анализом) нужно, чтобы число наблюдений N было гораздо больше числа независимых переменных п (к сожалению, нельзя сказать — во сколько раз, так как ответ на этот вопрос зависит от того, какова теоретическая матрица ковариаций, не говоря уже о приложимости самой модели независимых одинаково распределенных векторных величин).
Приходится, следовательно, считаться с нестабильностью результатов регрессионного анализа. Так, связи между химсоставом и свойствами стали получаются различными для различных металлургических заводов. Метод регрессионного анализа — это метод слабый (по незначительности глубины и неконкретности положенных в его основу теоретических предпосылок), но относительно простой и потому широко применяемый. Его применение для выяснения связей между переменными обычно дает хоть небольшой успех. Например, если он применяется для прогноза значений переменной т| по значениям ?i, ..., |п, то ошибка прогноза имеет среднеквадратичное значение VI—/^VDt) в сравнении с разбросом значе-ний т|. равным VDt). При единичном прогнозе множитель VI—г2 (равный, скажем, 0,7 прн г=0,7) маловажен, но при многих прогнозах дает определенный выигрыш.
2.3. Многомерное нормальное распределение. Корреляционная теория оказывается необходимой и достаточной в одном частном случае — когда рассматриваемые случайные величины имеют так называемое многомерное нормальное распределение.
Определение 1. Говорят, что вектор ?=(?ь %г,...,?„) имеет стандартное нормальное распределение (или нормальное распределение с параметрами (0, ?)), если его компо-
151
ненты независимы и имеют каждая одномерное нормальное распределение с параметрами (0, 1).
Таким образом, стандартная нормальная плотность имеет вид
Определение 2. Говорят, что вектор т] имеет многомерное нормальное распределение, если т) можно представить в виде т)=Л1 + а, где вектор ? имеет стандартное нормальное распределение (А — матрица, а — вектор).
Очевидно, что для стандартного нормального распределения М?=0, С{=? (Cs — матрица ковариаций). Следовательно, для произвольного нормального вектора г| имеем:
Найдем (в случае невырожденной матрицы А) плотность распределения вектора т). Имеем
Следовательно, р*(у) выражается через вектор средних а и матрицу ковариаций С„. Никаких понятий, кроме понятий корреляционной теории, не нужно.
Если матрица А вырождена (следовательно, вырождена и матрица С^АА'), то возьмем такой ортогональный базис в Rn, что в этом базисе матрица Сч диагональна. Часть ее диагональных элементов равна нулю, часть — отлична от нуля. Поэтому распределение случайного вектора т) сосредоточено в некоторой гиперплоскости; если случайный вектор tj записать в базисе, векторы которого лежат в этой гиперплоскости и в ортогональном дополнении, то в гиперплоскости получится невырожденное нормальное распределение (все собственные значения матрицы ковариаций отличны от нуля).
Пусть теперь даны два случайных вектора и т)2, такие, что их компоненты не коррелированы (т. е. имеют нулевые
X.
Р-±х) = Рь-.ф1, м хп) = /—!zr\ П е
\ К2* / i=I
(1>
Мт)=а, С„=АА'.
РтЦу) = Р;И-!(У - а)) |det Л-'| = (2«)-п/2|det А\~' X
X exp J—— a), A~\y-a))j= (2>
= (2«)~nl2(detС„Г1/2exp \-±- [C^\y-a), y-a
152
ковариации), а совместное распределение г|| и т)2 (в прямом произведении евклидовых пространств) является многомерным нормальным. Утверждение: векторы г)! и т)2 независимы. Действительно, пусть (для простоты обозначений) Mr|i = =Мт)2=0. В прямом произведении евклидовых пространств, где принимает значения вектор (rji, т)г). выберем такой базис, что в этом базисе компоненты вектора т), имеют невырожденное нормальное распределение в гиперплоскости Lx (а остальные компоненты равны нулю в силу Mt)i=0); аналогично компоненты вектора т)2 имеют невырожденное нормальное распределение в гиперплоскости L2 (остальные компоненты равны нулю). Тогда в прямом произведении LiXL2 вектор (т|ь Т1г), записанный в указанном базисе, будет иметь невырожденное нормальное распределение (с нулевыми ковариациями компонент, отвечающих т|| и т|2: в новом базисе эти компоненты суть линейные комбинации старых). Поэтому матрица ковариаций Сч вектора T)t и т)2 получит клеточный вид; квадратичная форма (С, у, у) разобьется в сумму квадратичных форм, а совместная плотность (по формуле (2)) — в произведение плотностей. Это и доказывает независимость.
