Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
смотренной выше, монотонно возрастает при увеличении ла слоев и числа элементов в каждом слое.
Поэтому в подобной нейронной сети задача оптимизации туры (минимизация числа нейронов и числа слоев) может б поставлена только либо в плане ликвидации избыточности ла нейронов, либо при наличии ограничений на число нейро Основное внимание ниже уделяется многослойным н ронным сетям с полными перекрестными связями, когда м жество признаков каждого j-го слоя состоит из признаков ходного пространства и выходных сигналов первого, вто и (j - 1)-го слоя. Для подобной нейронной сети задача опт зации структуры, в частности выбора числа слоев и чи нейронов в каждом слое при ограничении на общее число ронов в сети, является актуальной.
3.2. Одномерный вариант нейронной сети с перекрестными связями
Рассмотрим на простейшем примере одномерного вар та, когда N = 1 (один признак х), принцип действия перек тной связи. Структурная схема рассматриваемой нейронной представлена на рис. 3.1. Разделяющая поверхность, реали мая подобной нейронной сетью при отсутствии перекрес связи, представлена на рис. 3.2. В областях I, II, III аналоге выходной сигнал нейронной сети g при включенной перекр ной связи представляется следующим образом:
01 = ао + anx ~ai~ av
^II = а0 + anX ~ а1~ а2>
9III “ а0 а„Х _ а1 ~ а2‘
Рис. 3.1. Двухслойная нейронная Рис. 3.2. К принципу дей
сеть с перекрестной связью, одно- перекрестной связи в много< мерный вариант ных нейронных сетях
Каждую из областей I, II, III нейронная сеть делит на две подобласти, где д,> 0 и д<0. Из условия равенства нулю gv !7п’ слеДУют выражения для дополнительных порогов при включении обратной связи в пространстве X:
dj + а2 — а0 _ а2 ~ а1 ~ а0 ^ — а1 — а2 — а0
х1— а ’ х2 а ’> *3 а
1 n W п
Таким образом, рассматриваемая нейронная сеть (см. рис. 3.1) реализует максимально пять порогов, делящих ось х на шесть областей. В этом случае нейронная сеть эквивалентна (по критерию максимума количества областей, реализуемых кусочно-линейной разделяющей поверхностью в исходном пространстве признаков) многослойной нейронной сети с последовательными связями с пятью нейронами в первом слое, т.е. нейронная сеть с перекрестными связями реализуется значительно проще, чем нейронная сеть с последовательными связями.
В процессе анализа многослойной нейронной сети необходимо знать максимальное число областей, на которое пространство признаков размерности N может быть разбито Нг гиперплоскостями. Согласно результату, полученному в [3.1], максимальное количество областей xVNHl определяется по следующей рекуррентной формуле:
= + ^JV-l, Hi -1
или в нерекуррентном виде
^NHi CHi-l + 2 J=0 CHi-l'
Здесь имеется в виду, что Cts = 0 при t<s. Отметим, что из (3.1) следует:
^т=2т при H,<N (3.2)
^т1=2т при H^N. (3.3)
3.3. Вывод верхней и нижней оценки количества областей
Рассмотрим многомерный вариант (г = 1 нейронной сети,
стРУктура которой представлена на рис. 3.3. Обозначим количество областей, на которое разбивает исходное пространство признаков (j - 1)-слойная нейронная сеть через Ч/ЛГ[з _11,
Рис. 3.3. К решению задачи оптимизации структуры разомкнутой нейронной сети с полными последовательными связями
где через \j — 1] обозначено условно эквивалентное количество гиперплоскостей, реализуемых многослойной сетью с полными перекрестными связями и с (j — 1)-м слоем. Данная сеть
j-i
содержит Ь-_1=51 нейронов, где через обозначено ко-
1=1
личество нейронов в г'-м слое нейронной сети. Как следует из структурной схемы, входные каналы каждого h.-то нейрона j-то слоя (h. = I,... Н-) могут быть разделены на два множества. Первое множество составляют входные сигналы нейронной сети, второе - выходные сигналы нейронной сети с 1-го, 2-го,..., (j - 1)-го слоев. Тогда уравнение разделяющей поверхности, реализуемой одним h.-м нейроном в j-м слое, имеет следующий вид:
— а
hj
ahji Xk,j-1
Здесь акл - вектор настраиваемых весов входных сигналов нейронной сети нейрона h-\ ah.2 - вектор настраиваемых весов входных и промежуточных сигналов (j - 1)-слойной сети элемента h.\ о. °. - порог h,-нейрона; вектор выходных сиг-
налов нейрона(; - 1)-го слоя.
Отсюда следует, что по отношению к исходному пространству признаков каждый из нейронов в j-u слое реализует столько параллельных гиперплоскостей, сколько вариантов вектора порождает (j - 1)-слойная нейронная сеть. Предполагая, что существует метод настройки нейронной сети, при котором все гиперплоскости, порождаемые вектором xh-_1 в ji-м слое, попадают в область исходного пространства признаков, соответствующую ему, запишем рекуррентную формулу для вычисления верхней оценки количества областей в виде:
ш =ш ш
Tw-i] JVH,-’
(3.4)
Это следует из того, что каждая из vt/JVy_1j областей, выделяемая (j - 1)-слойной подсетью, разбивается на XVNH. обла-79 1
