Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
k Ч t !(т\
+
- + 1
1
1 с
+ ¦%!
+ \Kt)
1
_1_Ь.
о
Y~t,
+ !
+ !лг\
+ + 1
1
С xi
)
++ !
+ + !
--->
х\| II, -
к2
О
\ >
X xtD
/
Рис. 11.4. Пример зависимости коэффициентов нейронов второго и третьего слоя от распределения номеров классов по отсекам
так, чтобы они правильно производили разделение в пространстве выходов предыдущего слоя, то в процессе обучения многослойной нейронной сети эти коэффициенты могут оставаться фиксированными. На рис. 11.4 показана зависимость коэффициентов нейронов второго и третьего слоев от распределения номеров классов по отсекам при одинаковой конфигурации. Заведомо опущены случаи линейно разделимых классов и случаи, получающиеся из данных заменой «+» на «-». В случаях а - г логическая функция реализуется на одном нейроне второго слоя, в случае д - реализуется трехслойная нейронная сеть.
Рассмотрим вопрос фиксации коэффициентов более подробно. Пусть в пространстве признаков реализуется некоторая кусочно-линейная поверхность. Для формирования обучающей выборки для второго слоя нужно поставить в соответствие каждому отсеку номер класса.
Это делаем следующим образом. Сначала получаем соответствие между каждым элементом обучающей выборки и номером отсека, а затем из всех образов, попавших в один отсек, выбираем максимальное число образов с одинаковым номером класса. Этот номер будет соответствовать данному отсеку. Далее следует выбрать оптимальные коэффициенты нейронов второго слоя. Методы, применявшиеся для первого слоя, оказываются малопригодными, так как это ведет к избыточности структуры последующих слоев, что может препятствовать физической реализуемости многослойной нейронной сети. Поскольку в большинстве задач диагностики кусочно-линейная поверхность не очень сложна, то для типовых конфигураций отсеков можно экспериментально получить таблицы соответствия коэффициентов нейронов второго слоя данной конфигурации. Хотя эта задача является сложной и трудоемкой, ее решение позволило бы свести выбор начальных условий в многослойной нейронной сети к детерминированному выбору начальных условий для первого слоя и фиксации по таблицам коэффициентов последующих слоев. Ниже приводится оценка вероятности сохранения конфигурации в пространстве признаков.
Рассмотрим детерминированный выбор начальных условий для многослойной нейронной сети с тремя нейронами в первом слое, показанный на рис. 11.5. Значения логической функции У на отсеках, аргументами которой являются выходы нейронов первого слоя, при данной конфигурации даны в
табл. 11.2, где yt(i =1,2,3) - выходы нейронов первого слоя. Такая функция реализуется двумя нейронами второго слоя, например с коэффициентами
“2 = {1, 1, 1, -2};
Ф
1 ©
6 ©
5 ©
©
©
© 4
<2)
<ю
“1
а/ = {-1, -1, -1, 2}. Таблица 11.2
(11.6)
Рис. 11.5. Пример детерминированного выбора начальных условий для многослойной нейронной сети с тремя нейронами в первом слое
№ 1 2 3 4 5 6
У 1 -1 + 1 +1 + 1 -1 -1
У 2 +1 + 1 -1 -1 -1 -1
у 3 + 1 + 1 +1 -1 -1 + 1
У + 1 -1 +1 + 1 -1 + 1
В процессе дальнейшего обучения отсеки из табл. 11.2 могут исчезнуть, а также могут появиться новые, их число равно 2я* - т, где Ях- количество нейронов в первом слое; тп-число отсеков, полученных при выборе начальных условий. В нашем примере могут появиться отсеки (+1+1-1) и (-1+1-1). При фиксированных коэффициентах второго слоя (11.6) получаем, что оба новых отсека относятся к первому классу. Как видно из рис. 11.4 первый отсек увеличит ошибку распознавания, так как в него попадут элементы второго класса, а второй - нет. Увеличение ошибки классификации за счет фиксации коэффициентов слоев выше первого может произойти: во-первых, если новые отсеки (при наличии в них образов) будут отнесены к другому классу образов, во-вторых, если в старый отсек, который изменит при обучении составляющих его гиперплоскостей свою конфигурацию, попадет больше образов другого класса, чем было.
Рассмотрим отсек е' = {e'j, . . . , e‘fe}, г1.= ±1, г = 1, . . . ,т. Пусть номеру отсека е* соответствует первый класс (рассмотрим задачу 2 классов) и пусть в данный отсек при выборе начальных условий попали Si элементов второго класса, тогда вероятность ошибочной классификации, даваемой поверхностью, образующей данный отсек, есть где М. - число
образов в отсеке е‘. Очевидно, что дальнейшему обучению по замкнутому циклу будут подлежать те гиперплоскости, изменения положения которых будет уменьшать вероятность ошибки Si/Mi. Если р{ есть вероятность деформации отсека в процессе обучения, то можно определить ее как:
P, = P(VM.)- (П-7)
Предположим, что зависимость вероятности деформации отсека от вероятности S{/M{ линейна, т.е.:
