Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Я
'F1opt= (^г+1)и=2н
* Я
есть точная верхняя оценка.
3. Для заранее заданного числа слоев W и суммар-
количества нейронов в сети найдем структуру, оптималь
по нижней оценке. С этой целью представим (3.8) в виде не
куррентной формулы:
W 1 W W
чVi'1+Ji н)+5(|1 н/>!- 1,5 "V <3-
W
Условный экстремум (3.12) при условии X я. =Я согла
i=l ’
методу множителей Лагранжа достигается в случае, если (г = 1, ... ,W) являются решениями системы
ЯДХ-1)+Я+1=0;
W >
2 Я. - Я=0. ] i=i * J
Отсюда Ях = Ях = ... Hw = — Я и при заранее заданно
W
н1
н2
^[W]_ 1+ н + 2 2W '
(3.
Из (3.13) следует, что монотонно возрастает при W и является точной при H=KW, где К-целое число. Отсюда 'Рц
н + н^
= 1+---------для Я-слойной сети с одним нейроном в слое.
ким образом, в одномерном случае (ЛГ—1) структуры, оптимальные по верхней и нижней оценкам, совпадают.
4. Для многомерного варианта сети, оптимального по верхней оценке, на основании (3.5), так же, как в одномерном случае, можем записать:
w
ЧХ, = шах max Пч' ;
W<H Hl,...HN W
S Я. = Я.
j=l i
(3.14)
Из (3.14), а также из (3.2) и (3.3) следует, что условиям оптимальности (3.14) отвечает целый класс структур, именно все структуры, для которых H^<N (i = 1, . . . ,W):
w
? н = Я. (3.15)
j=i 3
Для этих структур
W
t
4|/opt _ =2н (316)
Для структур, у которых H->N, ДЛЯ любого j=l,...W <2Н.
3.5. Оптимизация структуры по некоторым основным топологическим характеристикам
При технической реализации нейронной сети возникает естественное желание ограничить суммарное число входов в сети, вызванное тем, что число входов есть число технически трудно реализуемых блоков умножения. На этапе настройки выбранной структуры число входов равно размерности пространства настраиваемых коэффициентов, в котором производится поиск экстремума функционала качества нейронной сети. Поэтому уменьшение числа входов нейронов многослойной нейронной сети облегчает как реализацию, так и настройку.
Для нейронной сети с полными перекрестными связями суммарное количество входов нейронов в г-м слое равно
Yj.= (L.+IV) Я., г;. =1---W.
Отсюда следует выражение для суммарного количесд входов нейронов в W-слойной сети: ^
w w i w w 1
V-Д Y,-,?, I,?. Hi+N1Hr«?, »,+2Н‘- I,?, Н- <М
На основании (3.17) задача синтеза многослойной нейр« ной сети с полными перекрестными связями, оптимальной] верхней или нижней оценке количества областей при огра^ чении на суммарное число входов у в сети, формулируе^ следующим образом: j
*jv[w] = m*x Ущип;
(З-Ц
W W W
Y>N I Я, + -[Ё Я,]2 - -S Я2,..
' 3=1 } 213=1 JJ 2 ;=1 j
Индекс * означает экстремальное значение. С учетом (3.!
обратная задача, т.е. задача синтеза структуры многослойв нейронной сети с полными перекрестными связями, MHramaj ной по суммарному числу входов, при ограничении на кол чество областей 4х, реализуемых нейронной сетью, имеет cj дующий вид:
w w w ,
у =min min [jvX Я, + - Г 2 я,]2--^ Я2,]; w w ;=i J 2 Lj=i 2 j=i
f (3.1
V • J
В формулах (3.18) и (3.19) в зависимости от вида оде ки определяется выражением (3.5) или (3.7).
Обратная постановка задачи синтеза является практичеС менее пригодной, чем прямая, так как задание ограничен на количество входных каналов в нейронной сети физичес! более оправдано, чем несколько расплывчатое ограничен) на число областей.
Пример 1. Покажем, что структура многослойной нейро ной сети, оптимальная по верхней оценке количества обла тей с ограничением на число элементов, будет в одномерна случае оптимальна по верхней оценке с ограничением по суа марному числу входов. Согласно методу множителей Лагра жа и (3.18) при N=1 оптимальные Я1 и Hw являются решен! ями следующей системы уравнений: 1
