Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
В случае нейронов с обратной связью
Полученные выражения служат основой для построения алгоритмов настройки многослойных нейронных сетей с использованием производной второго порядка функционала вторичной оптимизации.
Литература
9.1. Галушкин А.И. Об алгоритмах адаптации в многослойных системах распознавания образов. Докл. АН УССР, № 1, 1973, с. 15-20 - (представлено акад. В.М. Глушковым).
9.2. Галушкин А.И. Синтез многослойных систем распознавания образов. -М., Энергия, 1974.
95. Викторов Н.В., Галушкин А.И. Пострфение и исследование систем распознавания образов при произвольной «квалификации учителя». //Сб. «Медицинская радиоэлектроника» ВНИИ медицинской техники. -1976. - С. 95-106.
9.4. Галушкин А.И., Точенов В.А. Системы «человек-машина» в теории распознавания образов. - Труды семинара «Искусственный интеллект. Итоги и перспективы». -1974, с.1 —7.
9.5. Цыпкин Я.З. Адаптация и обучение в автоматических системах. -М., Наука, 1968, 399 с.
9.6. Цыпкин Я.З. Основы теории обучающихся систем. - М., Наука, 1970, 251 с.
9.7. Галушкин А.И. Зотов Ю.Я. Шикунов Ю.А. Оперативная обработка экспериментальной информации. - М., Энергия, 1972, 360 с.
9.8. Галушкин А.И. Расчет и реализация оптимальных дискретных фильтров. - В сб. Автоматическое управление и вычислительная техника. - М., 1968, вып. 9, с. 72-128.
В данной главе рассматривается континуальная модель двухслойной нейронной сети с континуумом нейронов в первом слое и нейроном с континуумом признаков на входе во втором слое.
Структура модели данной нейронной сети описывается выражением:
L
y(n)=sign[J a2l(i,n) sign (1 au(i,n)'xu(n)+a10(i,n))di]. (10.1)
/ н
Здесь: хи(п) - l-я компонента вектора признаков; у - выходной сигнал нейронной сети; au(i,n) ~1-я компонента весовой вектор-функции первого слоя; a2l(i,n) ~ весовая функция второго слоя.
Целью данной главы является вывод выражений рекуррентных процедур настройки весовых коэффициентов двухслойной континуальной нейронной сети и рассмотрение особенностей этих процедур.
За исходное выражение принято выражение рекуррентной процедуры для нейрона с конечным числом признаков:
а(п+1) = а(п) - К*
ЭУ(а)
да
а=а(п).
(10.1а)
Здесь Y(a) - функционал вторичной оптимизации; а(п) -вектор состояния системы (текущее значение аргумента экстремальной функции; K*[L°L°] - матрица коэффициентов; L0 - размерность вектора а:
ai
М
а.
М
К =
кп Л Л Л К 0
11,"
м м
К, Л к.. Л к*я
(1 ч
м м
К „ Л Л Л К 0 0
ГI 1"Г.Ь
* Материал данной главы написан совместно с Тарковым М.А.
Соотношение (10.1а) в скалярном виде может быть записано следующим образом:
L0
а (п+1) = а,.(п) - I К (10.2)
J=1 ) а = а,(п)-
dY( а)
а,= а/п)-
При L—>=» номера г и j компонент вектора а заменяются параметрами г и j, непрерывно меняющимися в некоторой области 1. Соответственно, в выражении (10.2) сумма по j заменяется на интеграл по параметру j. Таким образом, получаем выражение рекуррентной процедуры настройки весов нейрона с континуумом признаков, имеющее вид:
a(i, п+1) = а (г, п) - {
j д a(j)
dj (10.3)
a-j- a{j,n)-
Здесь K*(i, j) - функция двух переменных г и j.
10.2. Настройка слоя, состоящего из континуума нейронов
Каждому нейрону из непрерывного множества в этом слое соответствует некоторое значение параметра г, непрерывно меняющегося в некоторой области J', в частности, можно рассматривать некоторый интервал (с, d).
В соответствии с этим рекуррентная процедура настройки континуального слоя нейронов будет иметь вид:
i(i, п+1) = а (г, п) - K*(i) ^7^
da(i)
(10.4)
a(t)= a(i, n).
Здесь K*(i) -[L°xL°] матрица функций параметра г, где L° - размерность вектора признаков (или вектор-функции а(г)).
10.3. Выбор параметрической матрицы для процедуры обучения континуального слоя нейронов на основе данных случайных выборок
Структура континуального слоя нейронной сети, используемого, как самостоятельная система (случай а2(г) = 1), описывается выражением:
Г Ь°
у= sign [J sign (X аг(г) xt + а„(г)) di],
где L° - размерность пространства признаков.
Рекуррентная процедура обучения слоя нейронов имеет, как уже указывалось, следующий вид:
. ЭУ(а(*))
а (г, п+1) = а (г, п) - К*(г) ¦
Эа (г)
(10.5)
a(i)= a(t, n) .
0 А 0
0 Kn(i) А 0
Л А А Л
0 А А К,,
До сих пор не рассматривался вопрос о выборе матрицы функций K*(i). Между тем ясно, что К*(г) =К*(г, п), так как зависит от номера шага процедуры настройки Цель данного пункта - выяснить зависимость матрицы функций от номера шага п и от параметра i при условии, что a2(i) = 1 и не зависит от п (данное условие принято для упрощения анализа зависимости К*(г)).
