Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
О 3 6 3 12 IS W 21 24
а
Рис. 12.20. Начальные и конечные положения разделяющих поверхностей, реализуемых нейронами в эксперименте 1-3: а - первый слой; б - третий слой
24
21
18
IS
12
9
В
3
Эксперименты проводились со следующими параметрами датчика образов на входе нейронной сети: размерность входного пространства признаков N=2, число мод f(x) равно 4.
Эксперименты с первым слоем нейронов (второй и третий слой оптимальны). Каждый из перечисленных ниже экспериментов определялся своими условиями.
1—1. Приведенные выше коэффициенты гиперплоскостей, реализуемых нейронами, оптимальны.
1-2. Параллельный сдвиг гиперплоскостей, реализуемых нейронами первого слоя нейронной сети (начальные коэффициенты: +1, +1, -8, -1, -1,20; 1,1, -32).
1-3. Параллельный сдвиг двух гиперплоскостей, реализуемых нейронами первого слоя нейронной сети, в разные стороны (начальные коэффициенты: 1,1; -8; -1; -1,24; 1,1; -40).
1-4. Поворот двух гиперплоскостей, реализуемых нейронами первого слоя нейронной сети, на угол ос=я (начальные коэффициенты: -1; -1,12; 1,1; -24; 1,1; -36).
Эксперименты со вторым слоем нейронов (первый и третий слои оптимальны).
2-1. Поворот одной гиперплоскости, реализуемой нейронами второго слоя нейронной сети, на угол а=п (начальные коэффициенты -1; -1; -1; 1,1; 1).
2-2. Поворот двух гиперплоскостей, реализуемых нейронами второго слоя нейронной сети, на угол а=я.
Эксперименты с третьим слоем нейронов нейронной сети (первый и второй слои оптимальны).
3-1. Поворот гиперплоскости, реализуемой нейроном третьего слоя нейронной сети, на угол а=я.
Ниже приведены результаты экспериментов.
На рис. 12.21-12.23 приведена иллюстрация процессов настройки коэффициентов нейронов. По вертикальной оси отложены значения коэффициентов, а по горизонтальной -количество итераций. Уровень осей координат соответствует оптимальному отношению коэффициентов. Эксперимент 1-1 подтверждает предположение об устойчивости значений коэффициентов нейронов в оптимальном состоянии, так как при достаточно большом количестве итераций отклонения этих значений от оптимальных были незначительны. Эксперименты 1~2 и 1-3 показали, что градиентная процедура обеспечивает настройку таким образом, что разделяю-
Рис. 12.21. Динамика настройки коэффициентов в эксперименте 1-2 (количество итераций равно 50) при mn=50; К*1=0,1; К,=0,01; К2=0,1; К3=0,1; К,, К2, К3 - весовые коэффициенты к К* для нейронов первого, второго, третьего слоев: J - первый нейрон; 2 -второй нейрон; 3 - третий нейрон
Рис. 12.22. Динамика настройки коэффициентов нейронов в эксперименте 1-4 (количество итераций 32) при mn=50; К*,= 1; К,=0,05;
К2=0,05; К3=0,05: 1 - первый
нейрон; 2 - второй нейрон; 3 -третий нейрон
щие плоскости приходят за 25-30 итераций в оптимальное положение.
Довольно интересен результат эксперимента 1~4. Начальные условия эксперимента таковы, что поверхности, реализуемые первым и вторым нейронами второго слоя, занимая оптимальные положения, относили векторы первого класса ко второму, а второго к первому (т.е. осуществляли классификацию «наоборот»). В результате настройки разделяющие плоскости пришли в оптимальные положения, перемещаясь параллельно самим себе, хотя принципиально возможен поворот плоскостей на 180°. Разделяющие плоскости, реализуемые нейронами второго и третьего слоя, проходят через начало координат, т.е. при настройке возможен только поворот
этих плоскостей вокруг начала координат. Поэтому эксперименты с нейронами второго и третьего слоя предусматривали настройку коэффициентов плоскостей, повернутых на 180°. В результате настройки в эксперименте 2-1 плоскость, реализуемая нейронами третьего слоя, развернулась в оптимальное положение. На рис.12.23 представлена динамика настройки коэффициентов нейронов для эксперимента 2-2 и 3-1.
Рис.12.23. Динамика настройки коэффициентов нейронов в эксперименте: а - эксперимент 2-2; б - эксперимент 3-1; 1 ~ первый нейрон; 2
- второй нейрон; 3 - третий нейрон
В результате обучения системы гиперплоскость, реализуемая нейронами третьего слоя, развернувшись на 180°, пришла в оптимальное состояние. Вполне закономерно поведение коэффициентов нейронов первого слоя, так как до момента, когда коэффициенты нейрона третьего слоя не оптимальные, коэффициенты нейронов первого слоя значительно отклоняются от оптимальных. Но после настройки нейрона третьего слоя они приходят в оптимальное состояние.
Данная работа является начальным исследованием многослойных нейронных сетй, настраивающихся по замкнутому цик-
лу в режиме обучения. Результаты проведенных экспериментов подтвердили теоретическое обоснование исследуемого алгоритма настройки, а также показали высокую его эффективность. Остается довольно широкий круг вопросов, которые необходимо исследовать. К ним в первую очередь относятся:
1) выбор оптимальных коэффициентов К в градиентной процедуре и их соотношения между слоями многослойной нейронной сети;
