Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Глава 8. Разработка алгоритмов поиска экстремума функций многих переменных
8.1. Организация процедуры поиска экстремума функционала вторичной оптимизации в многослойных нейронных сетях
В соответствии с принятой в данной работе методикой синтеза нейронных сетей экстремум функционала вторичной оптимизации находится с помощью итерационных методов с использованием градиентной процедуры поиска в основном локального экстремума. Рассматриваются вопросы анализа устойчивости и сходимости градиентных процедур при отсутствии и наличии ограничений на переменные, а также возможность ускорения процессов поиска экстремума. В качестве ограничений на переменные (в частности настраиваемые коэффициенты) рассматриваются ограничения типа равенств и неравенств, реально присутствующие в случае реализации многослойных нейронных сетей.
Итерационные методы поиска экстремума функций многих переменных развиваются в основном в двух направлениях. Первое направление включает поиск экстремума функций многих переменных с построением стандартных программ поиска. При этом вид функции и ее свойства задаются достаточно полно. В процессе исследования изучается в основном сходимость методов, иногда их точность в установившемся состоянии; динамике переходных процессов уделяется незначительное внимание.
Второе направление включает в себя построение алгоритмов настройки адаптивных систем. Здесь функция задана в самом общем виде вследствие специфики задачи, заключающейся в необходимости работы системы в условиях малой априорной информации о входном сигнале [8.1-8.29].
Многослойные нейронные сети есть частный случай адаптивной системы. Особенности построения адаптивных систем связаны с тем, что при неизвестных характеристиках входного сигнала (в нашем случае - условной плотности / '(х/е)) даже при фиксированной структуре разомкнутой нейронной сети ничего нельзя сказать о виде функционала вторичной оптимизации, кроме того что он имеет несколько локальных экстремумов, все или по крайней мере некоторые из кото-
рых должны быть найдены в процессе настройки по замкнутому циклу. Решить задачу оптимизации контура настройки многослойной нейронной сети в общем на этапе организации поиска экстремума функционала вторичной оптимизации нельзя. В процедуре поиска всегда остается степень субъективизма, это выражается, в частности, в выборе коэффициентов параметрической матрицы системы поиска.
В связи с этим в гл. 12 основной упор делается на оптимизацию контура настройки многослойных нейронных сетей при исследовании замкнутых систем с оценкой качества по текущему значению функционала первичной оптимизации.
8.2. Анализ итерационного метода поиска
экстремума функций многих переменных
Общее выражение для вычисления вектора состояния системы при поиске экстремума функции Y(a) в момент времени п+1 по вектору состояния в n-й момент имеет следующий вид (для памяти системы поиска, равной единице):
а(п+1) = а(я) +
(8.1)
а = а(п)
Здесь Y(a) - функционал вторичной оптимизации; а(п) -вектор состояния системы (текущее значение аргумента экстремальной функции); К*-[№х№] - матрица коэффициентов; № - размерность вектора а.
Выбор коэффициентов матрицы К* определяет скорость и качество сходимости итерационного метода.
В процедуру (8.1) вписываются известные методы поиска: сканирования, наискорейшего спуска, градиента, Гаус-са-Зейделя, Розенброка, Пауэлла, Саусвелла и др.
Основной задачей является выбор ограничений на параметры матрицы К* для обеспечения определенного качества системы поиска экстремума функции. Рассмотрим частный вид функции качества нейронной сети
Y(a) = лтА ¦ а + Вга + С. (8.1а)
Здесь А - матрица коэффициентов функционала Y(a); В - вектор коэффициентов; С - коэффициент.
Отсюда
?№) = 2Ла+В; Г9!Ш
= 2 А, (8.2)
. Эа( Эа;.. г, j = 1....№.
Из (8.1) и (8.2) следует рекуррентное выражение для вычисления вектора состояния системы поиска в (п+1)-й момент времени через вектор состояния системы в n-й момент времени в следующем виде:
а(п+1) = а(п) + К*[2Ах(п) + В]
или
а(п+1) = К* • В + [У + 2К*А] а(п). (8.3)
Здесь У - единичная матрица.
Определим, при каких значениях коэффициентов матрицы К* итерационный процесс сойдется за один шаг из любого начального состояния. Значение вектора а(1), обеспечивающего в данном случае экстремальное значение, определяется следующим образом:
1
а(1) * - -J Л-'В.
Подставляя данное выражение в (8.3), получаем выражение для искомой оптимальной матрицы К*:
2
Система, обеспечивающая на n-м шаге переход в (п+1)-ю точку, называется устойчивой, если значение функции в (п+1)-й точке меньше, чем в n-й точке. Соответственно автоколебательной или неустойчивой называется система, у которой последующие значения функции равны или больше предыдущих:
