Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
x = \ (1 +?)Zn(xg)+ \ (1 -?)Z1(r'g)=
Здесь
N
В частном случае
ij(y) = (1+у)2; i2(xfc)= (1 ~у?\
ll(-l-Xg) = (l-l-Xg?=Xg2-,
Z2(1-xg) = (l-l+xff)2 = xg2; x'=|(l+e)x+|(l-e)x9=x9.
Отсюда
что соответствует нейрону с минимизацией а2д, рассмотренному в п. 9.2. Из (9.10) следует известное выражение для оценки градиента R в случае двух классов образов и нейрона с двумя решениями в виде (9.6а).
В случае континуума классов образов
Отсюда как частный случай следует соответствующее вы-
Э1(у,е)
ражение (9.10) для двух классов образов. В (9.11) функция —— должна быть задана априори.
Для нейрона с Кр решениями (К классов образов) выходной сигнал описывается выражением:
•r/g=Z1(xg)= \j 1[(г-хд)г\-,
— • — УЛ
Ьх'дг_ Ш(у,Е) dF(g) __ " ----
da. dy dg 1
(9.11)
У =Fp(g)=l+ - 2^ [sign(g-afcpfcp+1)+l];
1
N
Здесь, как и ранее,
где 1(у,г) - (К х К)-матрица, элементы которой представляют собой первую разность соответствующей дискретной функции 1(хк,г). В частности, эта матрица может иметь следующий вид:
1... 1
fdZ(y,e)i _ 1 ду1
О
-1
-1
1
О
-1
-1 -1 -1...0
(9.13)
В формуле (9.12)
ду 1 у г
2 ^=i^Slgn =
к-1
-i Z lim —
Вх(
2 kp-iB*.n 1 +BHg~a^y Отсюда следует, что
ду
Slgn = Slgn Х* и окончательно 1
дхд dl(y ,е)
-д? = ^-= SlgnX-
9.8. Реализация критерия минимума средней функции риска в нейронных сетях с N* выходными каналами (слой нейронов)
Ниже рассмотрено построение замкнутых нейронных сетей с N* выходными каналами. Построение оптимальных моделей таких нейронных сетей и выбор для них функционалов вторичной оптимизации рассмотрены в гл.6 и 7. Здесь рассматривается случай одинаковой размерности сигналов е и хк, хотя в принципе эти сигналы могут иметь различную размерность.
При вычислении преобразований дискретной ошибки, когда выходной сигнал имеет по каждому каналу К0 градаций, измеренный вектор дискретной ошибки, имеющий вид:
(?11 - > Едг») — (У\, - I J/jv*) ~ (Ц| ••• . kN,) ~ (kjp, ... , /%«р) — (x\g' ••• I
умножается на скаляр (7.33) и далее вычисляется норма результирующего вектора. Отсюда
х'= ?
Iff
2 + .
-4- у-' 2
I (fej, ... , fejp, ... , fcjv*p)>
если
(j/i> - > Улг*) ^ip> - > ^лг'р)-
Рассмотрение общего случая градаций выходного сигнала нейронной сети по каждому каналу, имеющего вид:
1 ST1
у«*=1+2 ?ifsign(ff<*"e% v>)+1]’
N
9?= ^0aii'xi' l'*=1> - iV*>
не является принципиальным. Поэтому остановимся на случае К0=2:
уг,= sign д...
Можно показать, что
Эх'2 Э Э
Зд 3^7 №i.......en” У\ 2/jv*) ЭаТ, У»*-
Здесь Z(ex......ew., ух>..., yN.) —(2^x2^*) матрица. Градиент
вычисляется как соответствующая первая разность по yt, дискретной функции. В частности, эта матрица может иметь вид, аналогичный (9.13). Величина ду(./да.. определяется только своим знаком следующим образом:
Эу**
Slgn Ж.Г Slgn °°г •
Пусть система распознавания имеет континуум решений по каждому из N* каналов. Предполагается, что функции F идентичны для каждого выходного канала. Преобразованная дискретная ошибка, первый начальный момент распределения которой равен средней функции риска R, получается как сумма квадратов компонент вектора измеренной дискретной ошибки, преобразованной в соответствии с (7.34):
N*
x'g =Z1{ 2 [е(.-Р;,(х)]2Н[Р(х),4
г*=1
В данном случае N
Х1-к~Е(д?)=Р( X ati.xj
г=0
и окончательно
Это выражение служит основой для построения соответствующей нейронной сети, настраивающейся по замкнутому циклу.
9.9. Реализация критерия минимума средней
функции риска в многослойных нейронных сетях
Ниже для трех типов многослойных нейронных сетей представлены алгоритмы настройки по замкнутому циклу, реализующие критерий минимума средней функции риска. Обобщение результатов на другие критерии, рассмотренные выше для нейрона, не представляет принципиальных трудностей.
Для нейронной сети двух классов образов, имеющей один выходной канал (ЛГ*=1), при произвольной структуре разомкнутой системы справедливо соотношение (9.9а). Оценка градиента средней функции риска имеет в общем случае следующий вид:
