Научная литература
booksshare.net -> Добавить материал -> Биология -> Галушкин А.И. -> "Теория нейронных сетей" -> 57

Теория нейронных сетей - Галушкин А.И.

Галушкин А.И. Теория нейронных сетей — М.: ИПРЖР, 2000. — 416 c.
ISBN 5-93108-05-8
Скачать (прямая ссылка): teoriyaneyronnih2000.pdf
Предыдущая << 1 .. 51 52 53 54 55 56 < 57 > 58 59 60 61 62 63 .. 131 >> Следующая

в) величина экстремума и соответствующее ему значение вектора переменных, найденных на втором этапе, сравниваются с содержимым памяти. При отсутствии в памяти указанных характеристик локального экстремума последние запоминаются;
г) производится переход к первому этапу (п.«а»).
Результаты экспериментального исследования данного алгоритма при многомодальных распределениях входного сигнала и нейронной сети типа одномерного и многомерного нейрона приводятся в гл. 12. Ниже рассматривается задача анализа сходимости данного алгоритма случайного поиска по числу экстремумов функции. В принципе можно рассмотреть алгоритм случайного поиска, исключающий из области случайного задания вектора начальных условий те подобласти, которые соответствуют уже найденным локальным экстремумам. Это, несомненно, ускорит сходимость алгоритма случайного поиска по числу экстремумов.
Произведем анализ сходимости алгоритма случайного поиска локальных и глобального экстремумов функций. Пусть найдено г мод (0<г<1М). Вероятность того, что на следующем шаге мы попадаем в область этих г мод, равна i/U при равномерном распределении мод в пространстве поиска. Распреде-
ление случайной величины равной числу шагов случайной процедуры поиска от нахождения г-й моды до нахождения (г+1)-й моды включительно, имеет вид ^.=/с с вероятностью
Г 1 к-1 Г . л
г 1
и

Процедура случайного поиска производится независимо на каждом шаге. Введем в рассмотрение новую случайную
Ы
величину Т1 =Z<?.(l<y<t7), характеризующую число шагов слу-
3 г=0
чайной процедуры до нахождения j мод из U. Независимые
события = fcj........Z>k-i~kj-v гДе 1 - k - s+1> • • • >1 - fcj.i - S+1 и
fcj+fc2 +... + s + j-1 в объединении дают событие такое,
что Т1з- =В>0 +... +Е ._!= s + j, причем ^ = 1 с вероятностью, равной единице. Вероятность такого события в силу независимости равна:
По формуле полной вероятности
Р(Т1, = S + j) = 2 Р(^ = кх)... Р? ш к ) =
к^+... + к^-s+j-1
к> 1
= U1-’-* X nV'. (8.16)
(U-j)! ^+... + ^'.=«^>0)1=1 В частности, при j=U
и-1 к'
P(r}u = s + U) = U1-u-s(U-l)\ L Пг r,
к^+... + l^j'^s t=l (fcl>r=l.... ,1/-1)
где P(riu = s + 17) - вероятность того, что U мод будут найдены за (s+U) шагов случайной процедуры поиска. Можно показать, что среднее значение и дисперсия числа шагов случайной процедуры поиска, необходимых для нахождения U мод, могут быть представлены следующими выражениями:
MTV U-l
и-1 i
=1 +17 2) ~= 1 + и [in(U-l) + 0,577];
r=l
Dri^ = S U— --- = 2t/2 -17 [ln(U-l) + 0,577... ]. ,
r2
r=l
Анализ данных выражений показывает достаточную скорость сходимости рассматриваемой процедуры поиска. В принципе, как показано выше, процедура может быть обобщена на случай, когда область найденной моды исключается из области случайного поиска, что еще более ускорит сходимость случайной процедуры поиска. Приведенные выше соотношения верны и для многомерного случая.
8.7. Построение алгоритмов адаптации в многослойных нейронных сетях с использованием оценок производных второго порядка функционала вторичной оптимизации
Рассмотрим построение алгоритмов адаптации в многослойных нейронных сетях с использованием оценок производных одновременно и первого и второго порядка функционала вторичной оптимизации. Основное внимание уделяется алгоритмам поиска экстремума функционала с учетом вторых производных и выводу выражений для оценок вторых производных функционала через текущие сигналы в системе.
8.7.1. Построение алгоритмов поиска
Рассмотрим задачу поиска экстремума в виде эквивалентной задачи нахождения корня следующей системы уравнений:
• 1 Xfl) О,
При рассмотрении системы, заданной неявно
У\ ~ ^1(^11 • • •) 0,
(8.17)
(8.18)
Ун ..., Xjy) 0
и удовлетворяющей второй теореме Юнга, существуют такие
хЛг(У1> • • • I Улг) ^N^1’ ' ' ' ’ Улг^ >
что при их подстановке в (8.18) получаются тождества. Разложим функции F1(yv ..., yN)..........FN(y1.........yN) в ряд
Тейлора, ограничившись двумя членами
N N N
V) F^y) SF^Wy, ...+J1,
1(8.20)
Дифференцированием (8.18) с учетом (8.19) получаем следующую систему уравнений:
N
= о у дрк Эх, _ ^
-1 Эх,. дук 'г=\ Эх,. дук
Предыдущая << 1 .. 51 52 53 54 55 56 < 57 > 58 59 60 61 62 63 .. 131 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed