Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рассмотрим частный случай матрицы функций - диагональная матрица:
K*(i) =
Континуум нейронов реализует в пространстве признаков континуум гиперплоскостей. Каждому значению параметра i соответствует нейрон, дискриминантная функция которого имеет вид:
L
д(у, t) = ? а,(г) у, + а0(г). (10.6)
В точках г-й гиперплоскости д(у, г) =0. Известно, что расстояние от некоторой точки у до гиперплоскости пропорционально д(у, г). Назовем К(г) = д(у, г) расстоянием от точки у до гиперплоскости, соответствующей параметру г. Условимся, что если у принадлежит первому классу, то для г-й гиперплоскости правильной ориентацией будет такая, при которой Щг) >0 .
Пусть на n-м шаге процедуры R(i) = R(n, i), где L
R(n, г) = ? a,(n, i) у, + a0(n, г). (10.7)
Здесь в скалярном виде:
ЭУ(а(г))
аг(п+1, г) = а^п, г) ~ К;*(п,г) (10.8)
Эа,(г)
a,(i)= a,(t, n).
Тогда
1=1
записывается в виде
ь
К(п+1, г) = 2 а;(п+1, г) у, + а0(п+1, г) (10.9)
R(n+1, г) = 2 [а,(п, г) - К*(п,г) д^Я~—
1 ааг(г)
ЭУ(а(г))
] У1 +
4,(1)= a,(n, X)
+ [а0(п, г) - K*{n,i)
Э а0(г)
С учетом (10.9) получаем
й(п+1, г) = R(n, г) -Х к*(п,г) у, ¦
]
aa(i)= aQ(п, i).
~ к *(п,*)
i=i ( Эа,(г) ЭУ(а(г))
Эа0(г)
a,(t)= а,(п, г)
(10.10)
а„(г)= аЛп, г) .
Так как для классификации точек пространства признаков используется сумма (в данном случае интеграл) выходных сигналов нейронов слоя, то на n+l-м шаге точка у будет классифицироваться заведомо правильно, если R(n+1, г) выбрать следующим образом:
-е0 Л(п, г), если R(n, г) <0,
R(n+1, i) = (10.11)
(R(n, г), если R(n, г) >0
(подразумевается, что у принадлежит первому классу). Здесь е0>0. Чтобы из (10.10) определить К,*(п,г), I = 0,1,..., L, необходимо взять (Ь+1)-ю точку и для каждой посчитать К(п+1, г) по формуле (10.11). Получим систему L+1 линейных уравнений относительно функции K*{i), I = 0,1,..., L. Перепишем (10.10) в векторном виде:
К(п+1, г) - R(n, г) =-К(п, г) Аух. (10.12)
Здесь К(п, г)=(К00(п, г)... KLL(n, г')) диагональ матрицы К*(г).
Г ЭУ(а(г)) .. ЭУ(а(г)) 'I
да0(г) Эа0(г)
II УпЭУ(а(.)) .. у ЭУ(а(г))
Й ЭаДг) “ Э..М
> aaL(t) vuSm
daL (г)
Из (10.12) следует
(10.13)
К*(п, г')=-(К(п+1, г) - R(n, г')) Аух .
Это окончательное выражение для параметрической матрицы функций на n-м шаге процедуры.
Для усреднения берем тп выборок по L+1 векторов в каждой и затем выбираем матрицу
'ре3 т
(10.14)
Диагональ матрицы Кт (г, п) вычисляется по формуле (10.13) для каждой выборки.
К трудностям данного метода следует отнести вопрос о выборе оптимального е0>0.
10.4. Выбор параметрической функции K*(i,j) на основе данных случайных выборок для процедуры обучения нейрона с континуумом признаков
Метод оценки расстояний, изложенный в предыдущем пункте для вычисления матрицы функций K*{i), применим для оценки параметрической матрицы для нейронов с континуумом признаков. Как было показано, рекуррентные процедуры обучения нейрона с континуумом признаков имеют вид:
a
«<>, ...................97
U
г, n+1) = a(i, п) - { KJi, j)
а0(п+1) = а0(п) - Кп
ЭУ
dJ
a(j)= “O', я)
(10.15)
da„
а0=
Расстояние от точки х(п, г) до гиперплоскости S(x(i)) = = J а(г) х(г) di + а0=0 равно
R
п+1
х(п, i) di + aQ(n) a(i)= a(i, п),
а(п+1, i) х(п, i) di + ап(п+1).
С учетом (10.15) и (10.16) получаем R +1(х(п, г)) = J а(п, г) х(п, г) di ~ Я К (i, j)
oa(j)
+ aJn)~K
IJ
ЭУ
didj + a(j')= a(j, n)
n Эа,
0
aoO> ao(n)
