Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Сходимость процесса поиска будет рассмотрена для случая квадратичной функции. В этом случае У(аЛ)=атАа+Вта+ +C+XTQa:
сЩаД)
й(аД)
2А& + Вт + QTk Qa
(8.13)
Это выражение можно записать:
dY( аД) d(a,X)
ЪА QT а 'вт' А а
Q 0 X + 0 = А X
+ В.
В данном случае
y(n) = y(n-l) + K*(n-1) [Ау(п-1) + В].
Как и ранее, можно записать нерекуррентное соотношение для обобщенной переменной состояния
Y(n) = [У + К*А]пу(0) + [(У +К*А)П - у]а_1В.
/\ А
Подстановка Y(п) =А~1В в (8.13) показывает, что вектор-градиент функции Лагранжа обращается в нуль, т.е. точка
/S /ч
Y(п) =А~‘В есть точка экстремума. Для сходимости итерацион-
Л
ной процедуры к точке Y(п) =А'1В достаточно доказать, что lim [У + К*А]П = 0.
П—>°°
Л
В случае неособенности матрицы [У + К*А] это эквивалентно доказательству того, что
| Det [У + К*А] | <1.
8.5. Итерационные методы поиска экстремума функций многих переменных при наличии ограничений типа неравенств на переменные
Указанные ограничения в нейронной сети возникают в частности из-за ограниченности пределов изменения настраиваемых коэффициентов и записываются в следующем виде дц(а)<0 (ц=1,...,М2).
В основном в нейронных сетях имеют место ограничения частного вида
В частном случае при построении нейронных сетей на реальных физических элементах возможны следующие случаи:
8.5.1. Условия оптимальности
Условия оптимальности в данном случае даются теоремой Куна-Такера, которая представляет собой обобщение метода Лагранжа на случай ограничений типа неравенств. В соответствии с теоремой Куна-Такера оптимальный вектор а, доставляющий минимум выпуклому функционалу, является решением следующей системы уравнений и неравенств:
Выражение для матрицы Q здесь сохраняется прежним с заменой М1 на М2. В выражении (8.14)
Неравенства 8>0 и Я>0 означают, что все компоненты этих векторов неотрицательны. Кроме того, предполагается, что ограничения таковы, что существует вектор а, для которого соблюдается соотношение q (а)?0. Условия (8.14) имеют следующий физический смысл. Если для оптимального вектора аопт несущественно какое-то ограничение, т.е. 9(1(аопт)<0 для какого-то ц, то соответствующее равно нулю. Если А^>0, то в этом случае, как следует из (8.14), 8(i=q|i(aom.)=0.
Таким образом, множители Лагранжа можно интерпретировать как некоторые оценки влияния ограничений на оптимальное значение вектора настраиваемых коэффициентов. От-
(8.14)
А, [А,р Я.2, А.3, . . . , А.Мг], 5 [Зр 62, 83, , 8Мг].
метим, что если функции Y(a) и q^(a) (ц=1......М2) выпук-
лы, то теорема Куна-Такера дает необходимые и достаточные условия оптимальности.
8.5.2. Алгоритм поиска экстремума при наличии ограничений типа неравенств
Из условий оптимальности (8.14) получаем систему соотношений для итерационной процедуры поиска экстремума при ограничениях типа неравенств
а (п+1) = а (п) +
а = а(п)
А. = Л (п)
А.(п+1) = max Х(0)>0
О, Я(п) +
dY( аД) dY(aA)
К^П)1Г~ +К>]Ж~
Отсюда окончательно следует а (п+1) = а (п) + К* (п)
Х(п+1) = шах
ж +^х a = a(n)+K*>)4(a)
. Я = Я(п)
а = а(п)
А. = Я (п)
а = а (п)
0,Х(п) + К^(п)
dY(a)
da
+ 0(аЯ
, + K*(n) q(a) а = а(п) м Я = Я(п)
а = а(п)1
В частном случае ограничений типа неравенств, задаваемых соотношениями (8.13а), q^a^ а-аиакс<0; q2(a)= амин-а<0;
q(a)=
а~а„
. ®мин а
1 0 0 ...о1 -1 0 0....0
0 1 0 ...о; 0 -1 0....0
0 0 0 ...1, 0 0 0....1
Q( а)=
8.6. Алгоритм случайного поиска локальных
и глобального экстремумов функций многих переменных
Пожалуй, единственной причиной введения случайности в процедуру поиска экстремума функционала вторичной оптимизации нейронной сети является многомодальность рас-
пределений входного сигнала, которая при заданной структуре разомкнутой нейронной сети приводит к многоэкстре-мальности функции качества нейронной сети. Наиболее полное освещение методы случайного поиска нашли в работах JI.A. Растригина, в частности в его монографиях [8.2, 8.16].
Нашей задачей является поиск локальных минимумов многоэкстремального функционала ошибки нейронной сети, и, если это необходимо, выбор из них глобального минимума. Именно поэтому применительно к нейронной сети был разработан метод случайного поиска локальных и глобального экстремумов функций многих переменных. Опишем один цикл работы данного алгоритма:
а) случайным образом выбирается значение вектора переменных функции, экстремум которой отыскивается. Само собой разумеется, что данный вектор располагается в области одного из локальных экстремумов;
б) одним из изложенных выше методов неслучайного поиска находится локальный экстремум, в области которого расположен вектор переменных, выбранный на первом этапе;
