Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
стей. Здесь TWH. определяется рекуррентным выражением (3.1). Запишем теперь нерекуррентную формулу. Из (3.4), а также из того, что первый слой нейронной сети разбивает пространство признаков на областей, следует:
ч/ —
1=1
?
NHj
(3.5)
Для вывода нижней оценки количества областей потребуем от каждой из 'Pjvjj-ij гиперплоскостей, порождаемых h--M нейроном, выполнения условия более сильного, чем попадание в область, соответствующую вектору xfej._r Именно потребуем, чтобы некоторое количество гиперплоскостей из 'Pjvy-jj могло быть проведено через любую точку исходного пространства изменением только свободного члена в уравнении гиперплоскости. Отметим, что в этом случае эти гиперплоскости, несомненно, могут попасть в любую область. Для оценки их количества составим систему линейных уравнений относительно настраиваемых весов и порога элемента h.:
Mj-if
О 0 1 хг
0 1 1 хт
1 0 1 хт
1 1 1 хт
lh,2 *1 •*
hfl
О
9i
(3.6)
V
Здесь q.(i =1, .. . ,,PJVy_1j) - произвольно задаваемые числа. Отметим, что количество чисел qt, которые можно задать произвольно, не нарушая равенства (3.6), есть искомое число гиперплоскостей из числа xPjVy_1], которые могут быть проведены через любую точку исходного пространства. Из (3.5) следует, что это число есть (Ls_1+1), т.е. равно размерности вектора ah 2 плюс единица.
Отсюда следует рекуррентная формула для вычисления нижней оценки количества областей:
- (V ,+1) + (LJ ~ >+1)ЧЧ- ‘
Здесь 'Pjvy-j] ~(bJ._1+l) - число областей, в которых не проводятся новые гиперплоскости; (Lj_ 1+1)Ч'ш. - число новых областей, которое появляется после разбиения.
Окончательно
,рвд=^-1]+ (Vi+1ПиГ^
Выражение (3.7) есть окончательный результат вывод одномерном случае (3.7) имеет следующий вид:
3.4. Частная задача оптимизации
Можно сформулировать несколько задач оптимиза структуры многослойных нейронных сетей с перекрест: связями.
1. Задано число слоев и число нейронов многосло нейронной сети. Найти распределение нейронов по сл максимизирующее число областей образованных ку но-линейной разделяющей поверхностью, реализуемой ной многослойной нейронной сетью в исходном простран признаков.
2. Задано общее число нейронов сети. Найти число сл~ распределение нейронов по слоям, максимизирующее 'F.
3. Задано количество областей ?, которое должно реализовано сетью, и число слоев в ней. Найти струк минимизирующую количество элементов в сети.
4. Найти структуру (количество слоев и распредел нейронов по слоям) при заданном 'F, минимизирующую к чество нейронов в сети. Отметим, что оптимизация стру ры по числу областей представляет частный критерий о мальности нейронной сети.
Рассмотрим синтез структуры одномерного варианта для указанных задач оптимизации.
1. Для заданного числа слоев нейронной сети W и
нейронов во всей сети Я, равного ^ Я,, найдем распред
j=l J
ние элементов по слоям, максимизирующее *Р11Г Форм задача ставится в виде соотношений, записанных с уч
С
(3.5) и (3.1):
J=1
w
4/opt _ max TT/rr j.i\ irwi - Hi .Hw Щл .-ri;.
1[W] “ Hl,...HW
Метод множителей Лагранжа дает решение в виде систе-Мы уравнений
w
JI (Н;.+1)+Х = 0, г =1,.. .,W;
j=1
3>1
W
Решением системы (3.9) являются
(3.9)
1
Н1=—Н ( j=l__W);
Н
^="(w +1)
w-1
W
Из (3.10) и (3.5) следует, что при этом
u/opt__(М. _1_ 1^
1[W] - 'W ' ’
(3.10)
(3.11)
т.е. при заданном числе слоев имеющееся число нейронов надо распределять по слоям равномерно. В связи с (3.10) возникает вопрос о целочисленности Н. ( j =1, .. .,W). Если Я не делится на W нацело, то, как следует из (3.5) и (3.10), остаток элементов также следует распределить по слоям равномерно, причем не имеет значения как именно.
В этом смысле (3.11) есть верхняя оценка , которая становится точной верхней оценкой при H=KW, где К - целое число.
2. Для заранее незаданного числа слоев W и при ограничениях на количество нейронов Я в сети найдем оптимальную по верхней оценке структуру. Это можно записать следующим образом:
Ч'Г*- -ss '*№
W
X я =я.
i=1 *
Из очевидного неравенства с учетом (3.11)
( — + l)w< (-?—+ l) W+1 KW > ''W + l '
следует, что число областей с ростом числа слоев моното возрастает. Отсюда получается, что оптимальной в дан случае является Я-слойная сеть с одним элементом в ка-слое, для которой из (3.11) следует, что
