Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Окончательно
— = - 2 х ~ sign [ Аа( 2 [/s! г, +[/j]. (10.52)
0Т( <щг) 1-1
Литература
10.1. Галушкин А.И. Синтез многослойных систем распознавания образов. -М., Энергия, 1974.
10.2. Галушкин А.И. Континуальные модели многослойных систем распознавания образов. //Автоматика и вычислительная техника. - №2 -1977.
10.3. Галушкин А.И. Континуальные нейронные сети. //«Нейрокомпьютер» -№2 -1992, с.9-14.
Глава 11. Выбор начальных условий при настройке нейронных сетей. Типовые входные сигналы многослойных нейронных сетей
11.1. О методах выбора начальных условий
Однородная нейронная сеть, настраивающаяся на решение конкретной задачи, является динамической системой, поведение которой описывается разностным или дифференциальным (линейным или нелинейным) уравнением. Именно поэтому задача выбора начальных условий для настройки системы (или, иначе, для решения дифференциального или разностного уравнения) и, как следствие, для решения конкретной задачи является важным разделом теории нейронных сетей. Качество выбора начальных условий в некоторых случаях в значительной степени определяет качество решения задачи. Этот вопрос практически всегда опускается в известных алгоритмах настройки или его решение считается тривиальным.
Данного вопроса, пожалуй, касался лишь Розенблатт Ф. в своем основополагающем труде [1]. Однако во всех экспериментах он полагал начальные значения коэффициентов равными нулю. Это не гарантирует того, что система окажется в глобальном экстремуме или в локальном с достаточным экстремальным значением функционала оптимизации.
Важность выбора начальных условий обнаруживается в задачах с многоэкстремальными функционалами оптимизации. Очевидно, что в этих задачах можно подобрать такие начальные условия, при которых в процессе настройки нейронная сеть не достигнет требуемого качества решения задачи, т.е. мы не найдем глобального или «хорошего» (в смысле качества решения задачи) локального экстремума функционала [2].
Можно рассматривать два метода выбора указанных начальных условий: выбор случайных начальных условий и выбор детерминированных начальных условий. Случайный выбор начальных условий производится ввиду многоэкст-ремальности функционала вторичной оптимизации, связанной с многомодальностью распределений /(х) входного сигнала и ограниченностью структуры разомкнутой нейронной сети. Случайные элементы в процедуру поиска экстремума функционала вторичной оптимизации вводятся в связи с необходимостью поиска локальных и глобального экстре-
мумов указанного функционала. Необходимость поиска локальных экстремумов обусловлена необходимостью решения задачи минимизации структуры многослойной нейронной сети при анализе результатов настройки. На первом этапе использования случайных начальных условий (и следующего за ним этапа усреднения результатов настройки по множеству этапов выброса случайных начальных условий) создается впечатление о большом числе локальных экстремумов функционала вторичной оптимизации в пространстве настраиваемых коэффициентов. Однако в связи с этим необходимо отметить, что при усложнении структуры разомкнутой нейронной сети увеличивается множественность состояний многослойной нейронной сети, оцениваемая по величине функционала вторичной оптимизации. Иначе говоря, большинство локальных экстремумов функционала в пространстве настраиваемых коэффициентов обеспечивают одно и то же качество распознавания. Это замечание необходимо связывать с описываемыми ниже методами оценки качества многослойных нейронных сетей по оценке значения функционала вторичной оптимизации по текущим сигналам в нейронной сети. С учетом вышесказанного и результатов данной главы, полученных экспериментально, можно отметить правомерность подхода к настройке с использованием случайных начальных условий, хотя этот подход, очевидно, вводит избыточность во времени настройки нейронной сети с целью полного изучения входного сигнала (в частности, нахождения глобального экстремума функционала).
Целью введения детерминированных начальных условий является априорное введение нейронной сети в область одного из локальных экстремумов функционала вторичной оптимизации в пространстве настраиваемых коэффициентов. На уровне геометрии первого, второго слоя и т.д. многослойная нейронная сеть должна быть максимально аморфна, рассредоточена, т.е. подготовлена к решению наиболее сложной (с точки зрения модальности /(х)) задачи распознавания. Мыслимая конфигурация разделяющей поверхности в этом случае при обучении распознаванию двух классов образов представлена на рис. 11.1, хотя это предварительный вариант. Окончательный вариант может быть опреде-
Рис. 11.1. Разделяюхцая поверхность х. при выборе начальных условий:
^ 1 - первый класс; 2 - второй класс
лен только при введении критерия аморфности, рассредоточенности. Очевидно, что минимально аморфной и рассредоточенной является многослойная нейронная сеть, в которой все коэффициенты нейронов первого слоя одинаковы и соответствующие разделяющие поверхности смещены к «краю» пространства признаков. На рис. 11.1 пунктиром обозначена физически реализуемая в нейронной сети область пространства признаков. Это распространяется и на режим самообучения, если не указывалась заранее принадлежность клеток рис. 11.1 к тому или иному классу. Начальные условия на настраиваемые коэффициенты второго слоя и т.д. рассчитываются по геометрии разделяющей поверхности, реализуемой нейронами первого слоя с указанием принадлежности областей исходного пространства признаков к тому или иному классу.
