Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рис.12.8. Иллюстрация работоспособности нейрона при многомодальном распределении входного сигнала:---------- начальное положение гиперплоскости;------- - промежуточное (после 500 итераций) поло-
жение гиперплоскости; 1~7 - номера экспериментов
ные 1' и 1а' положения гиперплоскостей говорят об устойчивости ее экстремального положения, соответствующего одному из минимумов средней функции риска. Колебания относительно устойчивого положения обусловлены стохастично-стью минимизируемого функционала качества нейронной сети. Плавность этих колебаний тем больше, чем больше память
Рис. 12.9. Динамика настройки коэффициентов нейрона при многомодальном распределении входного сигнала при mn=30 (арабскими цифрами обозначен номер опыта):
- - - - начальное положение гиперплоскостей;---- -
конечное положение гиперплоскостей
системы и чем меньше модальность (число мод) распределений входного сигнала, используемого при обучении. При отклонении от оптимальности положения с поворотом 3 и без поворота 2 гиперплоскость приходит в ближайший локальный минимум 2' и 3', поворачиваясь, и уменьшая при перемещении ошибку. На рис.12.9 показаны начальные 1, 2, 3, 4 и конечные 1', 2', 3', 4' положения разделяющих плоскостей для различных начальных условий. Динамика настройки коэффициентов этих прямых проиллюстрирована на рис. 12.10. Здесь оказалось удобным воспользоваться уравнением прямой (гиперплоскости в общем случае) в отрезках и следить (рис.12.10) за изменением этих отрезков в процессе настройки. На рис.12.10 видно, что при оптимальных начальных условиях (1, 2) система испытывает незначительные колебания около положения оптимума. Градиент начинает часто менять знак, и система останавливается. Большие колебания кривой 3 обусловлены значительными величинами градиента функционала, что характерно для изображающей точки вблизи от локального экстремума. При больших отклонениях от экт-ремумов изображающая точка попадает в область с малыми значениями градиента, что приводит к движению с очень малой скоростью. Отсюда следует определенное требование к априорной информации о функционале качества (ограни-
Рис.12.10. Динамика настройки коэффициентов нейрона при многомодальном распределении входного сигнала: 1-4 - номера экспериментов
ченность пространства поиска локальных экстремумов, предполагаемый характер их расположения и т.п.), позволяющее сделать вывод о зоне поиска и выбрать начальные величины шагов градиентной процедуры.
Интересные результаты получены при исследовании влияния величины дисперсии (степени пересечения классов) на процесс настройки. Если брать дисперсии малыми по сравнению с расстояниями между модами, то оптимальное положение разделяющей гиперплоскости может быть довольно безразличным, так как это соответствует случаю непересекаю-щихся классов и локальные экстремумы в зоне оптимума не являются острыми. Был произведен также эксперимент, когда при условии пересечения классов дисперсия первого класса в несколько раз превосходила дисперсию при модах второго класса. Как и следовало ожидать, для системы распознавания, настраивающейся по средней функции риска, оптимально е состояние разделяющей гиперплоскости сместилось в сторону моды с меньшей дисперсией.
Обеспечение устойчивости градиентной процедуры достигнуто экспериментальным выбором величины шага и приме-
нением ограничения на величину приращения компонент вектора. Ограничение выбирается по априорной информации о характере функционала так, что приращения, получаемые коэффициентами нейрона, не могут быть больше четверти минимального расстояния между локальными экстремумами. Такая мера обеспечивает плавность процедуры обучения.
Две пары кривых, характеризующих динамику поиска двух минимумов при четырехмодальном распределении входного сигнала (рис.12.11), оптимальном начальном значении шага градиентной процедуры, равном четырем, и ограничении на Да(., равном 0,03, интересны тем, что в процессе настройки коэффициенты нейрона меняют знак. При этом следует помнить, что скачки в этих графиках соответ-Рис.12.11. Динамика на- ствуют малым и плавным изме-стройки коэффициентов ней- нениям коэффициентов нейрона, рона при числе мод распре- т, ,
Изображающая точка пои поис-деления входного сигнала, F ^ F
равном 4:1 - первый минимум; первого минимума переходит
2 - второй минимум из второго в первый квадрант
пространства настраиваемых коэффициентов, а при поиске второго минимума - из третьего в первый.
На рис.12.8 представлены различные начальные и соответствующие промежуточные (по окончании 200 итераций) положения гиперплоскостей. Данные промежуточные положения гиперплоскостей можно считать установившимися, так как экстремальная характеристика в этом диапазоне настраиваемых параметров нейрона является практически «плоской».
12.3. Исследование динамики частного вида нейронных сетей для распознавания нестационарных образов
В данном параграфе исследуется одномерная нейронная сеть с минимизацией a2g (гл. 9). Основной целью исследования является оценка влияния различных характеристик системы и характеристик нестационарных образов на динамику работы контура настройки системы по замкнутому циклу.
