Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
М- =- 2 х (п) sign ? (п) .
da*
Достаточно очевидной является идентичность алгоритмов настройки по критериям минимума | сх1э | и а2д в случае mn=l.
В случае нейрона с континуумом решений
N
у(п) = F [g(n)] = F [ Z а(х/п) ] ,
1=0
N
х (п) = e(n) F [ X а х (п) ] .
9 j “0
В случае минимизации | а1д | и а2д соответственно
Рекуррентные алгоритмы, являющиеся основой для построения замкнутой нейронной сети, в рассматриваемых случаях будут иметь вид: ___________
a(n+l) = a(n)+K'sign [х (n) п]_ х(п) ;
dg
----------------- тп
а(п+1) = а(п)+2К,*х (п)
я dg
a(n+l) = a(n)+rsig„ [ -Щ- [j+g^ ];
--- т
a(n+l) = а(п)+К,* [ x(n) fg(n) "].
1 71 L 1+В2д2(п) J
9.3. Двухслойные нейронные сети
Рассмотрим построение нейронных сетей, настраивающихся по замкнутому циклу и представляющих собой двухслойную сеть из нейрона с полными связями. В данном случае
у(п) = F [д(п)] = F [ 2, а у(п) ]=F [ X a.F [д((п)](п) ]= j—0 * j=0
=Fi ?0а/
Здесь
ха(п) = Е(п) - д(п); хд(п) = е(п) ~у(п).
Основной задачей в данном случае является вывод выражений для оценок градиента функционала вторичной оптимизации через выходные и промежуточные сигналы нейронной сети. В табл. 9.1 приведены указанные выражения соответственно для настраиваемых коэффициентов нейрона первого и второго слоя.
Таблица 9.1
Функционал эо Э()
вторичной daj Та~
оптимизации
l«J> - тп . mn -sign[xe(n)]
1 *„(«)! -sign[xa(n)] у(п)
a2a’ -2xa(n) у(п)"‘п -2ajx0(n)d^) х((п)
х\(п)тп
l«J> -пп ТП^
-sign(x9(n)] х -sign[x9(n)] fljX
l*„(w)l х dF® yin)'4 dg dg, '
dg
1%1-
-2xg(n)^i у(п) -2aix(n)dF^Wxt(n)'‘n
1 9 dg dg,
В табл.9.2 и 9.3 приведены выражения для градиентов функционалов вторичной оптимизации для случаев F(g)=sign(g)
2
и F(g)= -д- arctg Вд.
Таблица 9.2
Функционал эн Э()
вторичной Эа da,j
оптимизации
К«И *«(«)!"" -sign[xfl(n)] y(n) -a;sign(xa(n)] sign x^n)
«2о> ~2xa(n) y{n)'"n mn
-2ajxa(n)signx[(n)
1 %l> 1 z„0i)l -sign[x9(n)] y(n) -sign[x9(n)]sign assign x;(n)
a 2g,x\(n) “2 xg(n)y(n) -2sign a-xg(n) sign x((n)
Таблица 9.3
Функционал
вторичной
оптимизации
эн
Э a.j
ад
dciij
l«lJ>
• тп----------тп
"в
-signfx (п)] у(п)
-sign[xa(n)] а.-м
Bxt(n) “
-2(П)
“2а-
-2а: (п) у(п) п
-2 а1х,(л)
Вх((п) п
1 +В2д2(п)
I «iBl-
I Zg(ri)| "
--------ГПП 2
-signUc (n)] -jfx
--------- "*ft И
-sign[ig(n)] ^ja.x
. By(n) [l+BWn)]
Bixi(n)
"S.
[1+вУ(л)1 H+BV/1»)]
I aj,
*2g(n)m"
-2x (n) -2. » П
By(n)m» B2x,.(n) xff(n)"‘n
1+B2g2(n) 71 J [l+BV(n)][l+BV.(n)]
Несколько слов о методах обучения двухслойной нейронной сети со слоем нелинейно-случайных связей. Структура подобной нейронной сети, которая Розенблаттом была названа трехслойным персептроном (первый слой - элементы ретины), описана в гл.2. Это своеобразная структура, в которой за счет резкого уменьшения числа входов нейронов первого слоя и за счет введения случайности связей этих нейронов с входным пространством нейронной сети возникает необходимость в увеличении числа нейронов первого слоя.
В данном случае
И1 Ni
у(п) = f[IaF [X a..x.(n)]] j=0 J ij=0 1 J
Случайные связи являются неизменными на этапе настройки. Настраиваться должны лишь коэффициенты связей. Алгоритм настройки коэффициентов нейрона первого слоя получается в следующем виде (например, для критерия минимума а2д):
ЭхупГ" _ MdF(g) dFtej) „ м
-35— 2<Wn)^- -j—
9.4. Многослойные нейронные сети из нейронов с континуумом решений
