Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рис. 10.3. Выходной сигнал Рис. 10.4. Кусочно-постоянная
континуального слоя нейронов аппроксимация весовой функции
континуального слоя нейронов
Рис. 10.5. Кусочно-линейная аппроксимация весовой функции континуального слоя нейронов
Таким образом весовые функции могут быть описаны конечным и достаточно малым числом параметров.
Процедура настройки организуется следующим образом. Интервал аппроксимации весовых функций разбивается на S отрезков. Строим кусочно-постоянные весовые функции (каж-
дая задана S коэффициентами) или кусочно-линейные функции (каждая задана 2S коэффициентами). Производим настройку коэффициентов, задающих весовые функции, используя градиентный метод.
В качестве критерия качества нейронной сети используем величину вероятности правильного распознавания, которую вычисляем, используя тестовую выборку векторов. Если при заданном числе шагов процедуры обучения вероятность правильного распознавания ниже заданной величины, удваиваем число S отрезков разбиения и снова производим настройку коэффициентов.
Таким образом находим достаточное с точки зрения заданного критерия распознавания число отрезков аппроксимации и величины весовых функций на этих отрезках. При этом достигается решение следующей важной задачи. Слой, состоящий из большого числа нейронов заменен континуальным слоем нейронов, т.е. N весовых коэффициентов (по каждому признаку) заменены кривой весовой функции. Эта весовая функция аппроксимируется с достаточной для распознавания степенью точности кусочно-постоянной или кусочно-линейной функцией, описываемой достаточно малым, по крайней мере значительно меньшим, чем в случае дискретного слоя нейронов, числом параметров (рис. 10.6). Здесь веса нейронов расположены вдоль некоторой кривой, которая аппроксимируется кусочно-постоянной функцией.
С точки зрения минимизации числа отрезков аппроксимации весовых функций необходимо достигнуть максимально возможной степени их монотонности, т. е. минимума числа «колебаний» (перемен знака производной) на интервале аппроксимации путем перенумерации (ранжировки) нейронов слоя.
10.7. Алгоритм обучения двухслойной континуальной нейронной сети с функционалом вторичной оптимизации a2g (в пространстве пяти признаков)
Структура рассматриваемой нейронной сети описывается следующим выражением:
У = sign [f a2(i) sign^S a(1(i) xn + a10(i)di]. (10.23)
Рассмотрим случай функционала вторичной оптимизации a2g. Квадрат модуля дискретной ошибки:
---------mn
xa(i, n)
-----mn ----------------mn
e(n) - sign g(n)
где
, (Ю.24)
g(n) = J a2(i, n) sign ( X an(i, n) xn(n) + a10(t, n)) di.
1=1
10.7.1 Алгоритм обучения второго слоя (нейрон с континуумом признаков)
Вычислим производную
э I X(i, n)m" 12
d | xg(i, n) |2 Э aJi, n)
Э (sign g(n))m"
= “2 x (n) *
Э aJi, n) я о aJi, n)
Обозначим
Тогда
sign ( S an(i, n) xn(n) + a10(i, n))= x2(i, n) . (10.25)
3(sign g(n)) 3(sign J a2(i, n) x2(i, n) di)
Эа,(г, n)
Эа2(г, n)
В данном случае величину первой производной определить нельзя и необходимо использовать информацию об ее знаке:
sign
9(sign g(n)) ЭaJi, n)
= sign
2 Bx2(i, n)
— lim----------——
л B->°° 1+B2g2(n)
= sign x2(i, n),
так как
3(1 а2(г, n) х2(г, n) di) Эа2(г, n)
: x2(i, n).
(Здесь, как и далее везде, кроме окончательных результатов, знак усреднения по mn опущен). С учетом этого, получаем
Э(х (п))2
а ' . = “2 х (п) sign х2(г, п). (10.26)
оа2(г, п) 9
Подставляя (10.26) в (10.3), получаем выражение для рекуррентной процедуры настройки весовой функции нейрона второго слоя:
Г --------------------------т
а(г, п+1) = а(г, п) +2 J К(г, j) xg( j, п) sign x2(j, п) "dj, (10.27)
где х9(п) определяется из (10.24), x2{j,n) - из (10.25).
10.7.2 Алгоритм обучения первого слоя (континуальный слой нейронов)
3 (хо(п)) 2
Вычислим производную
Э an(i, п)
Э(х (г,п))2 д (sign д(г, п))
-=-2х»
Э ац(г, п) 9 Эац(г, п)
Э (sign д(п)) Э (sign д(г, п)) Э (х2(г, п))
=> sign Отсюда
Э оа(г, п) Э х2(г, п) Э ац(г, п)
3(sign д(п))
Э аа(г, п)
= sign а2(г, n) sign хг1(п).
Э (х (п))2
