Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
в режимах самообучения и произвольной квалификации учителя
-д-= -^Р[Х-Ъ(У)]= ~
а у' _э
В частности, при р(х, b)=|| х - b ||2
ЭР - or W MT 3b (У)
Ц'-ЧуЯ-зг-
Уравнение для неизвестных функций Ь(у) записывается в виде некоторого рекуррентного соотношения (тпп=1)
Ь(у,п) = Ъ(у,п-1) + К* [х - Ъ(у,п-1)] . (9.20)
Уравнения (9.19) и (9.20) служат основой для построения нейронных сетей, настраивающихся по замкнутому циклу, в режиме самообучения. В выражении (9.19) Эу/Эа определяется, как и ранее, в режиме обучения для нейронной сети с
ЭЬ (у)
любой структурой. В случае Кр решений — есть (KpxN)~ матрица, получаемая по результатам решения уравнения (9.20) в текущий момент времени
Более подробно построение замкнутых многослойных нейронных сетей с Кр решениями и N* выходными каналами в режиме самообучения рассмотрено в гл. 12.
Итак, алгоритм настройки многослойной нейронной сети в данном случае заключается в следующем:
1. При наличии некоторых начальных значений настраиваемых коэффициентов нейронной сети по текущему входному сигналу х(0) рассчитывается у(0).
2. Выбирается соответствующий у(0) столбец матрицы Ь(у,0), полученной как указывалось выше.
3. Производится настройка коэффициентов нейронной сети в соответствии с (9.19) и т.д., начиная с п.1.
Необходимо отметить, что значения Ь(у) на каждом шаге настройки можно определить расчетом по параметрам и структуре многослойной нейронной сети. При произвольной квалификации учителя:
z'9=Z(y,e)b+(l-b2)p [х - Ь(у)]. (9.20а)
Отсюда
дх'дтп_ду f Ы(у,г) Эр ЭЬ(у)^тп ,ппп^
—- 6 1 Э[х -ьМ] W > ’ (9'20б)
Ж,"' Т
ЭВД Э Ь(#)
Данные два выражения служат основой для построения замкнутой нейронной сети с произвольной структурой при
произвольной квалификации учителя. Необходимо отметить, что алгоритм настройки делится на две самостоятельные части, одна из которых, определяемая членом Эу/Эа, зависит от структуры разомкнутой нейронной сети и определяет потенциальное качество решения задачи распознавания.
Разработанные методы настройки многослойных нейронных сетей пригодны и для случая, когда нейронная сеть имеет несколько слоев нейронов с фиксированными коэффициентами.
Отметим, что процедура настройки многослойных нейронных сетей, связанная с выражением (8.1), обеспечивает лишь локальный экстремум функционала оптимизации, причем начальные значения настраиваемых параметров должны задаваться случайно в диапазоне их изменения, определяемом из физических соображений. Поэтому полностью алгоритм настройки многослойной сети должен содержать множество (объемом Г)0) этапов выброса случайных начальных условий для настройки, следующие за каждым выбросом этапы настройки в соответствии с (8.1) и этап усреднения результатов настройки по г|° (см.гл.8 и 12).
9.13. Вывод выражений для оценок производных второго порядка функционала вторичной оптимизации
Ниже для многослойных нейронных сетей различных типов найдены выражения для оценок производных второго порядка второго момента распределения дискретной ошибки, являющегося функционалом вторичной оптимизации. В случае нейронов с континуумом решений:
В случае многослойной нейронной сети с последовательными связями:
(9.21)
xxw* (n) +Й a . *xln) fl dFtCJ (n) +
bw-j ri=o vЛ-Н 3ahw.,+i.'*>v-i v=0 d9 Wv hw'j
Aw-V
"W-v
+.
irf Jv а
fa
x <»$ J__________
o' Л=п L J„WJ J u=n , w.v , .
XX,
?/»> *
ft a, , х„(
T|=0 V-n'V-r]-! ^
Nv-i+l’fyv-i >+1
doi"4 J v=o
yhw-i
v*l
dC(n)
^f\dFtgZvJn)\ dxZ,{n)}
v=o dC Эа.
Здесь
;+2
Э[Д ahW-r,.hW-r,-J
da,
hlV-i+l.hW-i
fl
при г >;+3;
Эх„ (n)
да,
fyv-i+l- Nv-i
da,
J=Ao<Ww-,H при i<j+3;
Г1* i+1
w-j+з i+2
Ё . Па,
*\ W“1
ду _ _ V
W*™ Vri ¦' ¦ О n-0
i+i
хП
v=0
d<C
да.
I- r]„w-i j , ,w-i ga
_w-i
hw-l
dC,
Ч,.,
Использование данных выражений для построения соответствующих алгоритмов в многослойных нейронных сетях достаточно сложной структуры затруднительно. Однако методология многослойных нейронных сетей определяет уменьшение необходимости учета производных второго порядка функционала вторичной оптимизации при усложнении структуры разомкнутой нейронной сети. Для двухслойной системы с перекрестными связями
