Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
da. . gdah h
nw-j+i'nw-j
Здесь
Эx'g(n) _ i г ! 1 dl2(y) dF(g) dg(n) l +
4.^ 2 E dy dV 3aW,V,
. J .T 1 1 dh (y) dF(fif) Эд(п) 1
3g(n)
где — определяется соотношением (9.4). Окончательно
8ov,2 ds aV„„v, d* v
В частности, в случае многослойной нейронной сети с полными связями между слоями имеем:
Эх'
SV,.A,; 2 <‘У
. HW-1 HW-)+3 j+1 Jr,/ W-v \i j+2
«Шй. X ? П »
d9 Vi=i Wf1 v-1 dgh^ g=gW V-j V-n'V-n-i
Для многослойных нейронных сетей из нейронов с двумя решениями:
x fl sign ah h . <915>
T)—0 hw-n> %-n-l
Рассмотрение многослойных нейронных сетей с континуумом классов образов и решений не представляет принципиальной трудности Поэтому рассмотрим нейронную сеть с К градациями по уровню сигналов е(п) и у(п), т.е. число классов образов и число решений нейронной сети равны К. Разомкнутая нейронная сеть при N*=1 описывается следующим выражением: i Кр-1
y=1+? JJsign(C- %, fcP+1)+1]'
где g™w определяется выражением (2.7) в случае сети из нейронов с континуумом решений. Выражение для градиента функционала оптимизации
дх'д2 _ Э „ Эу
Эа, , Эу i(E’У) Эа, „
nw-i+i’nw-I "iv-j+i’nw-j
Э
Матрица Z(e, у) здесь определяется так же, как в п. 9.7.
Далее, так как
Э У W-1
эт—^ 5,§пх^’
nWnW-l
то выражение для оценки градиента средней функции риска для сети из нейронов с двумя решениями будет иметь следующий вид:
Эх7 э „ _
¦К-—и------=-д— 1(е, у) sign х
(9.16)
i-1 Hw-o
х [ П 2 а. h *"»].
i=i ^w-n+l. VV'-r| hw-j J
Это выражение служит основой для построения соответствующей замкнутой нейронной сети.
Рассмотрим нейронную сеть с N* выходными каналами и двумя градациями выходного сигнала по амплитуде в каждом из каналов. Здесь
W
У?~ sign gt, = sign ghw; hw= 1......N*.
Отсюда следует, что при наличии ^‘хг^-матрицы
3y., Wv •" > елг*’ Ур "• > 3/jv^
алгоритм настройки подобной многослойной сети аналогичен изложенному в п. 9.7 для нейрона последнего слоя и в п. 9.8 для нейронов слоев кроме последнего.
9. ДО. Построение замкнутых нейронных сетей нестационарных образов
Ниже отмечаются основные принципиальные моменты, возникающие при построении настраивающихся по замкнутому циклу нейронных сетей нестационарных образов. Основная особенность по сравнению со случаем стационарных образов здесь возникает при построении алгоритма настройки коэффициентов нейронной сети. Рассмотрим одномерный вариант нейронной сети с минимизацией ct2a по замкнутому циклу.
В данном случае
--------ш, --------тп --------тп ----------тп
х2а(пАТ) =е2(пДТ) +х2(пДТ) +а20(пАТ) -
--------------_ -----------------m ----------------то
-2е(пАТ) х(пЛТ) +2а0(пАТ) е(пЛТ) -2а0(пАТ) х(пАТ) .
Усреднение здесь должно производиться по множеству реализаций нестационарного случайного процесса в момент времени пДТ. Однако на практике при настройке нейронной сети имеется лишь одна реализация нестационарного случайного процесса. При этом значение л^(пДТ) вместо усреднения по множеству получается усреднением по времени на интервале памяти m ’ с дополнительным заданием свойства приводимости процесса к стационарному и априорной информации о характере изменения параметров распределения нестационарного случайного сигнала, т.е. на интервале памяти. При этом наиболее удобным для реализации и достаточным для практических целей является представление нестационарного случайного процесса в нейронной сети на интервале памяти в виде аддитивной суммы стационарного сигнала и детерминированного сигнала с известным в общем функциональном виде характером изменения. Для того чтобы оценка градиента функционала вторичной оптимизации выражалась в алгебраической форме, необходимо предположить, что за интервал усреднения mn параметры нейронной сети (настраиваемый коэффициент а0) не изменяют своего значения. В данном случае
Алгоритм обучения в нестационарном случае определяется следующим соотношением:
о0[(“ +т)ЛТ] =а0[^ ДТ]+К*ха(пДТ)т".
Для построения замкнутой нейронной сети необходима информация о характере изменения (на интервале памяти блока настройки нейронной сети) параметров распределения сигнала ха(пДГ). Эта информация в рассмотренном случае может быть однозначно получена по информации о характере изменения на интервале памяти блока настройки нейронной сети параметров распределения входного сигнала и структуре нейронной сети. Если предположить, что совокупности образов распределены по нормальному закону с переменными во времени математическими ожиданиями, то при статистической независимости детерминированной и случайной составляющих на интервале памяти нейронной сети для случайного сигнала ха(пАТ) справедлива та же гипотеза изменения математического ожидания, что и для сигнала х(пДТ). Следовательно, в нейронной сети нестационарных образов данного типа фильтр в блоке настройки, предназначенный для оценки градиента функционала вторичной оптимизации, должен быть предназначен для оптимальной фильтрации нестационарного сигнала с гипотезой изменения первого момента распределения, эквивалентной соответствующей гипотезе для совокупностей нестационарных образов. Синтез подобных фильтров рассмотрен в [9.7]. При необходимости упреждения решения данный фильтр должен быть синтезирован как упреждающий. Исходя из физических соображений, необходимо отметить, что гипотезы о характере изменения на интервале памяти нейронной сети первых моментов распределений являются одинаковыми для совокупностей образов первого и второго классов. В случае раз-
