Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
я,
dg
+ К;., (п)[1 а. (п) -а]; j=o 3
----------------------тп
X'(n+1) = k'(n)+!Cjn)[xg(n)^)\g=gW хк(п) + Щп)] +
я,
+ К",-,(п)[Еа (п)-а];
5=0
б) ain+l) = a (n)+K* (п)\-2а{п)х(п^^\ dFjgJ x(n) 3 1 “A L 1 9 щГ 9=э(») dq. 9rW
+
N
+X ln)l] +K;,(n)[I а., (n) -а] +Щп); ” i=0
A/n+1) = Х.(тг)+К- ^(п)[-2а/п)*д(л)^)|^^ x(n)+
w
+x.(n)l] +К*;Л(n)g a., (n) -a].
Ограничения типа неравенств а) - второй слой, б) -первый слой: ______________________m
а) а'(п+1) = 'л\п)+К a.a\n)[xg(n)^^\=m хк(п) + QK (те)] +
и-у
+ КГаХ(п) ч[а'(п)];
X(n+1) amax{o,A<n)+K'Xa.(n)[x (n)^??| (n) xk(n) + QA^n)] +
dg
+ К?.(п) q[a'(n)]}.
Здесь Q и q определяются так же, как в гл.8:
6)a.(n+l) = ain)+iC(n)[-2a.(n)x(n)^?^| х(п)
¦> аЛ 3 я ад 9=9(”) dg. 9гз,(п)
+<Эл/п)] +K‘a/-](n)q[aj(r:)];
‘П
+
А,/п+1) =тах{о Д {nJ+K” (п)[~2а(п)х х(7г) +
1 1 V) dg s=9<") dg. ere/*)
+QX/n)]+K'^n)q[a.(n)]}.
Представленные алгоритмы достаточно просто могут быть обобщены на произвольное число слоев и для случаев ограничений произвольного частного вида.
9.6. Реализация критериев первичной оптимизации в нейронах с двумя решениями
Рассмотрим критерий минимума средней функции риска. Выражение для преобразованной дискретной ошибки может быть представлено
х;=(е-як)[(-2А+С)(е-1)+(2ВЧ<:хе+1)]7 + \ (e+xk)fe.
Необходимая для построения замкнутой нейронной сети величина градиента в данном случае
^Е-1=2х'
Эа; > Эа.
или, иначе,
+ ^(e+y)Ze}2sign x,.{ * [(-2A+l)(e-l)+(2B+C)(e+l)]}.
Величины А, В, С здесь определяются выражениями
(7.13) и (7.14). В случае (7.14)
^ / 2 ^
-^-=-2x9signx,.{ g [(г1Ггп)(е-1)+(г21-г22)(е+1)]. (9.6а)
При использовании выражения (7.14а) для формирования преобразованной дискретной ошибки имеем:
х'д=(е+ y)[zn(e-l) + Z22(e+l)]i + (e-y)[zi2(e-l) + Z21(e+1)]. (9.7) После соответствующих преобразований получаем:
^.2=-jsign x.{(l-e)[(Z212-Z2n) xg+y(Zn-Zl2)2Z.J+
+(l+e) [(Z\rZ\2) x9+y(Z22-Z21)2Z22 ]}, (9 8)
что совпадает с полученным выше результатом при использовании ABC-преобразования при Zu=Z22=0. Оценку градиента второго момента распределения преобразованной дискретной ошибки можно получить, используя иное, нежели (9.7), выражение для xfg:
4х;=(1+у)[(1+е) Z22+(l-e)Z21] + (l-y) [(l+e)Z12+ (l-e)Zn].
В приведенных выше выражениях Zk k=\J 1к к для обес-— . л ^ ^
печения равенства R=xg
Критерий минимума R при условии р1г1—р2т2 определяется следующим образом. Оценка градиента R* (7.17) по настраиваемым коэффициентам выражается в виде (9.6), где коэффициенты А, В, С определяются выражением (7.18). Оценка градиента R* по X определяется в виде оценки первого момента распределения преобразованной дискретной ошибки, записываемой в соответствии с (7.19) и (7.20)
-^=(Е-у)[(-2А1+С1)(е-1)+(2В1+С1)(8+1)] ~ +~{г+у)С1г. (9.8а)
Выражения (9.6), (7.18), (7.20) и (9.8а) служат в данном случае основой для построения соответствующей замкнутой нейронной сети.
При использовании для формирования преобразованной дискретной ошибки нейронной сети преобразования Z, описанного выше, выражение для оценки градиента R* по а. определяется (9.8) и (7.21), а выражение для оценки градиента R* по X:
где Z'k к определяется (7.22).
Определим критерий минимума R при условии PjT^const. В данном случае оценка градиента R* (7.24) по настраиваемым коэффициентам выражается в виде (9.6), где коэффициенты А, В, С определяются выражением (7.25). Оценка градиента R* по X определяется в виде оценки первого момента распределения преобразованной дискретной ошибки, записываемой в виде (9.8а) с коэффициентами Av Bv Cv определяемыми (7.26). При использовании преобразования Zx выражения для оценок градиентов R* по а(. и к определяются соответственно (9.8), (7.27), (9.9) и (9.28).
9.7. Реализация критерия минимума средней функции риска в нейронах с континуумом и Кр решениями
Для нейрона с континуумом решений (два класса образов) в соответствии с (7.30) имеем:
После некоторых преобразований получаем необходимое выражение для оценки градиента средней функции риска через текущие сигналы в нейронной сети в следующем виде:
—ff= (e+y)[Z'n(e-l)+Z'l2(e+l)] j +(e-y)[Z/22(e-l)+Z'21(e+l)] j ,(9.9)
Hi 4 *
