Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Д 293
Ё
1;
Рис. 12.42. Результаты исследования двухслойной нейронной сети
в режиме самообучения:------------ а2=1,-----------а!=1,5; — • • — а2=2;
-----а2=2,5
Рис. 12.43. Результаты исследования двухслойной нейронной сети в режиме самообучения:
9 10 11 12 IJ 14 IS IS П 18
. Рис. 12.44. Результаты исследования двухслойной нейроной сети ¦ режиме самообучения: I, II, III, IV - номера соответствующих нейронов
первого слоя;---------оптимальное положение гиперплоскостей;----------
Печальное положение;--------- — положение гиперплоскостей после 5 ООО
Итераций
lb;
к Следует добавить, что критерием остановки процесса являлось вхождение кривых в «трубку» диаметром 0,2 (см. 12.43) Идлиной 500 итераций. Эксперимент иллюстрируется рис. 12.44.
На рис. 12.45 представлены результаты работы двухслойной нейронной сети в режиме самообучения с несколько другим видом типовой плотности /Х(х).
Рис. 12.45. Результаты исследования двухслойной нейронной сети в режиме самообучения: 1-4 - номера соответствующих нейронов первого слоя
12-8.0 некоторых инженерных методах выбора параметров матриц в алгоритмах настройки многослойных нейронных сетей по замкнутому циклу
При построении алгоритмов настройки многослойных нейронных сетей по замкнутому циклу с оценкой только первой производной функционала оптимизации вряд ли будем иметь информацию для того, чтобы сделать матрицу К* недиагональной. В простейшем случае это единичная матрица, умноженная на постоянный или переменный во времени, как в методе стохастической аппроксимации, коэффициент. Правда уже сейчас, как показано выше в экспериментах, есть основания этот коэффициент делать различным для настройки коэффициентов различных слоев многослойной нейронной сети. Как указывалось в гл. 9 основная цель применения методов стохастической аппроксимации заключается в обеспечении нулевой случайной и динамической ошибки определения вектора настраиваемых коэффициентов в установившемся состоянии. Однако применение данных методов приводит к увеличению соответствующих динамических ошибок в переходном процессе, т.е. в режиме настройки. В реальных инженерных задачах вряд ли есть необходимость в обеспечении нулевой случайной ошибки настройки многослойных нейронных сетей в установившемся состоянии. Некоторая конечная, достаточно малая дисперсия распределения настраиваемых коэффициентов допустима ввиду относительной гладкости функционала вторичной оптимизации в экстремальной точке. Эта конечная дисперсия распределения /а( а) не приводит к значительному увеличению функционала вторичной оптимизации и может быть обеспечена не переменной (как в методе стохастической аппроксимации), а постоянной во времени матрицей К*. В случае постоянной во времени матрицы К* возможно два инженерных подхода к выбору значений ее коэффициентов, по крайней мере для настройки нейронов первого слоя Первый подход основан на анализе априори задаваемой для многослойной нейронной сети сложности задачи, определяемой модальностью fx{x), при фиксированных размерах пространства признаков.
Второй подход, также основанный на анализе экспериментов, показывает, что в реальном случае возникает объективная необходимость в процессе настройки многослойной
нейронной сети производить оценку функционала вторичной оптимизации и по его скалярной величине судить о качестве работы контура настройки многослойной нейронной сети. Эта идея была реализована в конкретных многослойных нейронных сетях. Если кривая зависимости функционала вторичной оптимизации от п сильно колеблется, нужно уменьшить К*, если она достаточно гладкая, то нужно увеличить К*, чтобы уменьшить систематическую ошибку настройки (увеличить быстродействие) до появления колебательности (достаточно малой) в данной зависимости. При этом первый подход к выбору К* можно использовать для выбора начального значения К* при втором подходе.
12.9.Построение многослойной нейронной сети для решения задачи обращения матрицы
В качестве примера рассмотрим построение многослойной нейронной сети и алгоритма ее настройки по замкнутому циклу для решения задачи обращения матрицы размером 2x2. Результатом обращения должна быть также матрицы размером 2x2, поэтому на выходе многослойной нейронной сети должны быть четыре нейрона с континуумом решений. Минимальный вариант структуры разомкнутой трехслойной нейронной сети определяется в виде, изображенном граф-схемой на рис. 12.46. При недостаточной точности обращения матрицы в оптимальном режиме структура разомкнутой многослойной нейронной сети должна рассматриваться в сторону увеличения числа нейронов сначала первого, а затем второго слоя.
Нервна Второй Tpemuu
слои слои слой хм
Рис. 12.46. Графы многослойной нейронной сети для обращения матрицы
Начальные условия на настраиваемые коэффициенты нейронов первого слоя здесь необходимо выбрать так, чтобы при условии В=оо четыре гиперплоскости делили исходное четырехмерное пространство признаков на области равного гиперобъема. Выбор начальных условий на настраиваемые коэффициенты нейронов второго и третьего слоя данной системы должен производиться аналогично тому, как это делалось для нейронов первого слоя, так как и в данном случае система строится из нейронов с континуумом решений.
