Временные ряды. Обработка данных и теория. - Бриллинджер Д.Р.
Скачать (прямая ссылка):
Теорема 9.2.1. Пусть г-компонентный случайный вектор X таков, что EX = \хх и E {(X—(Xx) (X — (Xx)1} = 2ХХ. Тогда все собственные числа матрицы (9.2.1) минимальны, если взять
В
(9.2.3)
C = [V3^-VJ = B' (9.2.4)
и
H = (Xx-CB^1 (9.2.5)
9.2. Анализ главных компонент векторных величин
365
где Vy есть \-й собственный вектор матрицы /=1, ...,г. Если соответствующие собственные значения матрицы %Хх °$0' значить буквами |ху., то при указанном выше выборе jx, В и С матраца (9.2.1) примет вид
S//W (9.2.6)
Теорема 9.2.1 является частным случаем теоремы, доказанной Okamoto и Kanazawa (1968); см. также Okamoto (1969). Тот факт, что указанные (1,? и С минимизируют след (9.2.1), установили Kramer, Mathews (1956), Rao (1964, 1965) и Dar-roch (1965).
Величина
Cy = VJX (9.2.7)
называется \-й главной компонентой вектора X, / = 1, /*. Отметим результат, относящийся к главным компонентам.
Следствие 9.2.1. При условиях теоремы 9.2.1
cov {V/X, \Щ = | ^ J^*' (9.2.8)
Таким образом, главные компоненты X оказываются такими линейными комбинациями составляющих вектора X, которые некоррелированны. Можно было бы охарактеризовать j-ю главную компоненту как линейную комбинацию ?у = остХ при аТа = 1, которая имеет максимальную дисперсию и некоррелированна с t,k9 k<j [Hotelling (1933); Anderson (1957, гл. 11), Rao (1964, 1965) и Morrison (1967, гл. 7)]; однако определение (9.2.7) больше подходит для дальнейших целей.
Покажем теперь, как проводятся оценки упомянутых выше параметров. Для удобства рассмотрения предположим, что Imx = O, тогда формула (9.2.5) дает для (х значение 0. Допустим, что известна выборка Xy, /=1, я, значений случайного
вектора X из теоремы 9.2.1. Введем гхя-матрицу
х = [Ъ... Xn]. (9.2.9)
В качестве оценки для ковариационной матрицы 2ХХ возьмем
S^ = V- (9.2.10)
Далее, в качестве оценки \ij выберем \ij — /-е из упорядоченных по возрастанию собственных чисел матрицы a Vy оценим соответствующим /*м собственным вектором Vy матрицы %хх. Тогда справедлива
Теорема 9.2.2. Пусть величины Xy, /=1, п, образуют выборку из распределения Nr(0, 2ХХ)- Предположим, что матрица 2ХХ имеет г различных собственных чисел [ху-, /=1, ...,г. Тогда величина {|Гу, Vy, / = 1, ..., г} асимптотически нормальна и при этом {(Xy, /=1, г) асимптотически независимы от {V7-, /=1, г}. Асимптотические выражения для моментов
этих величин даются формулами
EMy = IXyH-O(Zi-1), (9.2.11)
EV, = Vy+ 0-(/1-*), (9.2.12)
cw{jly, = в {/—Л} 2|iJ/n + 0(n-") (9.2.13)
и
vA} = б{/ - k} ь {S. і*. О», - -2 V,VJ} /л
_ [і _ б {/ - k\] - -? Vft VJM + O (9.2.14)
при j, &= 1, ..., г.
Эту теорему установил Girshick (1939). Anderson (1963) получил предельное распределение в случае, когда среди собственных значений матрицы Ъхх есть совпадающие. Из выражения (9.2.13) вытекает полезный результат:
Dlnjiy = 4 + °(n"2)- (9.2.15)
James (1964) нашел точное распределение (X1, ..., \хг при выполнении условий теоремы; оказалось, что это распределение зависит только от ^1, \ir. Он получил также асимптотические выражения функции правдоподобия для (ц, {Hn более подробные, чем в приведенной нами теореме; см. James (1964), Anderson (1965) и James (1966). Точное распределение векторов, дуальных V1, Wn приводит Dempster (1969, стр. 303).
Tumura (1965) нашел распределение, эквивалентное распределению величин V1, V7.. Chambers (1967) указал выражения для кумулянтов асимптотического распределения при условии существования у распределений конечных моментов. Эти кумулянты могут быть использованы для построения приближений к распределениям по методу Корниша —Фишера. Поскольку \ij будут близки к выборочным дисперсиям, может оказаться полезным приближение их распределений масштабированными х2-распреде-лениями, например, можно взять в качестве аппроксимации \ij распределение \ij%l/n. Madansky, Olkin (1969) приводят приближенные доверительные границы для набора ^1, \in см. также Mallows (1961). Разумеется, мы могли бы применить „процедуру складного ножа" Тьюки, чтобы определить прибли-
женно доверительные области для собственных чисел и собственных векторов 2ХХ, [Brillinger (1964с, 1966b)].
Sugiyama (1966) вывел распределение наибольшего собственного числа и соответствующего собственного вектора матрицы ^xx- Krishnaiah, Waikar (1970) получили совместное распределение нескольких собственных значений. Вычисления, относящиеся к данному случаю, рассматривает Golub (1969). В нормальном случае асимптотическое распределение для
CB = 2 V7VJ.
(9.2.16)
нашел Izenman (1972).
При изучении временных рядов нам понадобятся аналоги рассмотренных результатов, относящиеся к комплексным случайным величинам. Вначале сформулируем следующее утверждение.
Теорема 9.2.3. Пусть X—случайный вектор с г компонентами, у которого EX = (Xx, E {(X-(Xx)(X —(іх)т} = 2хх. Столбец |и, qxr-матрица В и rxq-матрица С минимизируют сразу все собственные значения матрицы
(9.2.17)
E {(X-(х—СВХ) (X-(X-СВХ)Т},
если взять
