Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Изложенная выше методика последовательной настройки трехслойной нейронной сети приводит к обобщению на многослойные нейронные сети следующим образом:
1. По исходным выборкам настраивается первый слой нейронов многослойной нейронной сети. При этом выбираются число нейронов и настраиваемые коэффициенты.
2. Получающаяся в результате настройки первого слоя нейронов логическая функция проверяется на реализуемость на одном нейроне. Если данная функция реализуема на одном нейроне, то на этом процесс синтеза сети заканчивается.
3. В случае отсутствия реализуемости логической функции на одном нейроне аналогично п.1 производится обучение нейронов второго слоя. При этом выбирается число нейронов и настриваются коэффициенты.
4. Получающаяся в результате настройки второго слоя нейронов... (продолжение аналогично п.2).
Данная методика легко обобщается на случай многослойной сети из нейронов с континуумом решений. При этом необходимо отметить следующее. В случае сети из нейронов с континуумом решений число образов первого и второго класса
сохраняется при переходе от слоя к слою. При этом в обученной нейронной сети в каждом слое происходит как бы деформация распределений классов в смысле их разнесения. При этом критерием качества многослойной нейронной сети является уже не только вероятность правильного распознавания на выходе нейронной сети, а функция изменения данной вероятности от слоя к слою.
Таким образом, результатом применения предлагаемой методики синтеза многослойных нейронных сетей является число слоев нейронной сети, число нейронов в каждом слое и величины настраиваемых коэффициентов. Данная методика позволяет, следовательно, выбрать на этапе настройки оптимальную или близкую к оптимальной структуру разомкнутой сети в виде многослойной нейронной сети. Отметим, что в рассмотренной методике обучения многослойной нейронной сети на каждом шаге обучения вместо нейрона может быть любая из структур, рассмотренных в гл.9.
Последовательная процедура настройки достаточно прос обобщается на режим самообучения. В этом случае критери" оптимальности при проведении очередной гиперплоскости ест критерий минимума специальной средней функции риска.
13.7. Метод обучения нейронов первого слоя
многослойной нейронной сети с континуумом признаков
В данном параграфе кратко рассмотрен алгоритм обуче ния первого слоя многослойной нейронной сети с континуумо-признаков, а также пути его физической реализации. Метод-обучения подобных нейронных сетей строятся по аналогии рассмотренными выше методами обучения многослойных нейронных сетей с дискретным множеством признаков. Особенность обучения многослойных нейронных сетей с континуумо признаков проявляется при обучении нейронов первого слоя. В простейшем случае выражения для функций a(i) и коэффи циентов а„ имеют следующий вид:
a(i) = m^i) - m2(i);
При наличии набора изображений Xj(i,n) и x2(i,п) первого и второго класса функции m^i) и m2(i) получаются
1 м
тк№ = ~м ^ ^ = 1. 2.
i,‘t П=1
Реализация функциональных преобразований, указанных выше, может быть осуществлена фотографическими методами в случае двумерного i. Результатом обучения в данном случае должны явиться фотомаски, реализующие функции an(i), моделирующие световой поток x(i,n) перед интегрированием по i (см. гл.4), и коэффициенты а„.
В случае одномерного i при распознавании кривых или электрических сигналов на фиксированном интервале наблюдаемые функции an(i) и коэффициенты а0 достаточно просто технически получаются на аналоговых средствах.
Методика последовательного обучения слоя нейронов с континуумом признаков остается той же, что и для дискретного множества признаков.
13.8. Использование алгоритма настройки
многослойных нейронных сетей с переменной структурой для решения задачи выбора начальных условий
На рис.13.17 показана структурная схема программы, реализующей процесс последовательного построения кусочно-ли-нейной разделяющей поверхности при выборе начальных условий. Ниже обсуждается идея использования его для выбора начальных условий при обучении многослойных нейронных сетей с фиксированной структурой по замкнутому циклу. Поскольку мы имеем дело с фиксированной структурой многослойной нейронной сети, в выше указанном алгоритме появляются ограничения на число нейронов, по крайней мере, первого слоя. При этих ограничениях и при конечном объеме выборки алгоритм может не сойтись (в смысле получения нулевой ошибки в подобластях). Такое условие сходимости алгоритма не является строгим, если его рассматривать без оценки правдоподобия получения нулевой ошибки на данной выборке, т.е. без статистических методов вычисления вероятности ошибочного распознавания, но при выборе начальных условий мы можем этим пренебречь. После применения алгоритма остается возможность
улучшить положение разд ляющей поверхности, н страивая последователь каждый нейрон по замкну тому циклу с проверкой к* чества обучения для все кусочно-линейной поверхн-стя Ввиду неэкономичное использования этого алг ритма на полном объеме вь борки при выборе началь ных условий (в худшем слу чае придется проводить на стройку по замкнутому цик лу 2Hj раз, т.е. 2Нгх М ит~ раций, где Нг~ число ней ронов первого слоя; М объем всей выборки) имее смысл уменьшать объе подвыборки, используем при выборе начальных ус ловий, до некоторого оп тимального.
