Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
w
ft (Я,. + 1) + Я [1+ X HJ =0, jx =1, ... , W;
? /Д (3.20)
w , w , w
? «i + ?t|, 1,5, H*,-Y = 0.J
Здесь X - множитель Лагранжа.
Решением (3.20) являются:
Н, =1, j =1.W;
2W-!
W
(3.21)
Здесь W - число слоев есть целая часть положительного
У
корня уравнения W2 + W - — =0.
Из (3.21) и следует исходное утверждение.
Пример 2. Рассмотрим синтез нейронной сети с учетом (3.19), где определяется выражением (3.5). Отметим, что при
перенесении нейрона из j-го слоя в j - j2 -слой уменьшение числа входов элемента для нейронной сети с полными перекрестными связями будет равно:
S-h
Ду-= X я., (3.22)
Ji-j-i п
а суммарное увеличение числа входов остальных элементов сети будет равно:
Ду+ - X Я,.. (3.23)
h=i п
Из (3.22), (3.23) следует, что при перенесении нейрона из J-го в j - j2 слой число входных каналов в многослойной нейронной сети будет уменьшаться, если
i~h
X Я. > X Я, или Я, . >Я,. jj'i-l Я } }2 !
Из (3.15), (3.16) следует, что условиям оптимальности (3.19 отвечают две структуры с суммарным числом нейронов в сетг HastlogaT], где квадратные скобки означают округление д< ближайшего целого в сторону увеличения:
Ях = A; H.=N, j =2____________W;
H.=7V; Hw =A, j*l........... M
Здесь
A - остаток от деления Я на N;
Я-А _ f О при Д=0,
W =-
+ 5 , где 5 =
N [ 1 при Д*0.
Обеим этим структурам отвечает одинаковое число дов, определяемое (3.17).
Пример 3. Рассмотрим оптимизацию структуры нейро сети, оптимальной по длине связей.
Припишем каждой связи, идущей из ;х-го в ;-й слой, н торый вес U. у Физическим смыслом такого веса наряду с ной в обычном понимании может быть, например, вели обратная помехозащищенности. Через I7Qj обозначим связей входного вектора с j-m слоем.
Тогда суммарная длина связей нейронов в j-м слое бу;
t в.
'И Ujj'
Суммарная длина связей в W-слойной сети будет, оче но, равна
W
VW= Ч.ЩЧ+ Х_ Hhuhp.
Аналогично (3.19) запишем:
(3
= тах тах ^MWl .
W[W] w HI....HW
V> Z, H; (Uaj N + Zj
j=l J 0) , ,
^ Hv I/, ,); J
i.=i h НУ’ >
(3
w
VV—W
Пт J
(3
В (3.25) и (3.26) как и ранее, определяется выраже
(3.5) или (3.7) в зависимости от вида оценки. Отметим, что 17^=1 0'j=0, 1, . . . , W-1; j=l, , W) выражение (
совпадает с (3.17), а (3.25) и (3.26) соответственно с (3.18) и (3.19).
Пример 4: Естественно теперь рассмотреть наиболее общие ограничения на структуру нейронной сети, включающие в себя как частные случаи все остальные вышеперечислен-лые ограничения. С этой целью назначим цену одного нейрона Р , цену одного входа Ра и цену единицы длины связи (Зи. Тогда на основании (3.17) и (3.24) суммарная стоимость запишется следующим образом:
w W | w 1 w
sw-f>„ х v 1<Д V- гД V)+
(3.27)
+ P.[S + 1н,ищ].
Jl-1
Аналогично (3.18) и (3.19) сформулируем задачи синтеза многослойной нейронной сети с ограничением по стоимости Sw в следующем виде:
^ MWl maX niax ^jurrm , |
w I (3.28)
s-sw> J
S* = min min Sw > }
w w I (3.29)
4х > 4*
TW(W]- T- J
В выражениях (3.28) и (3.29) Sw определяется выражением
(3.27), а выражениями (3.32) и (3.7) в зависимости от
вида оценки.
Отметим, что вариацией коэффициентов стоимости Рн Ра и Ри в выражениях (3.28) и (3.29) могут быть получены все рассмотренные выше формулировки задач синтеза структуры нейронной сети.
3.6. Оптимизация структуры многослойных нейронных сетей с Кр решениями
В данном случае многослойная нейронная сеть с полными перекрестными связями составлена из элементов, описываемых соотношением, приведенным в предыдущей главе. Каждый такой элемент реализует в своем пространстве признаков
совокупность параллельных разделяющих гиперплоско Очевидно, что максимальное число областей, выделяем исходном пространстве признаков эквивалентной разде щей поверхностью, в данном случае не превышает К н Н - число нейронов в сети. Эта оценка достигается для многослойных нейронных сетей с полными перекрес ми связями.
