Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
160
а1д=Р1(СГ2А1)+С1Р2+Р1Ф12Л1+Р2Ф22В1' <7'19)
Сравнение alff и левой части (7.16) показывает, что
С = Pllu-P2l22. (7.20)
В случае применения описанного в предыдущем пункте преобразования Z сравнение а2д, полученного по (7.14а), и R* (7.17) дает условие для их совпадения в следующем виде:
Z12=’fym); Z22=fl22(l-X); Zn= jyi+X);
Z21=ll21(l+X). (7.21)
Преобразование, необходимое для получения дискретной ошибки, первый момент распределения которой был бы равен левой части (7.16), имеет следующие параметры:
^ 12= ^12’ ^ 22= - ^22’ Z 21= ~ ^21' ^ 11~ hv (7.22)
7.4.3. Критерий минимума R при условии р/,= a = const Минимум R при условии равенства р2г2= а, т.е. при условии
pAA+PiU1-^] " а “°> (7-23)
обеспечивается при минимизации функционала Лагранжа:
Е*=Р1У1+Х) +P2I22+Pi(Zirli2^1+^ Ф^Рг^гГ^г^г-^ (7-24)
Сравнение (7.24) и (7.12а) дает выражения для коэффициентов А, В, С данного преобразования, обеспечивающие равенство К* и а2д:
С = ] p2l22 + 2pjZ12(l+X) - р^Ц+А) -сЛ;
А =^N(1+^)[P2Zh +(РГР2)У + Р2г22-сЛ+
4p2Z22 +2PlZ12(l+X) - PlZu(l+A) - сЛ]; (7.25)
В — — [ ^21 Р 1^22 "*’(1"*’^-)(2Pi^12— Pl^ll^ OX —
- \ p2Z22 +2pjZ12(l+A) - PjZj^l+X) - aA.].
Параметры Av Bv Cl преобразования дискретной ошибки, делающие равными первый момент распределения (7.12) и левую часть (7.23), имеют следующий вид:
В случае применения к дискретной ошибке преобразования Z равенство (7.24) и второго момента распределения (7.14а) обеспечивается при условии:
Определение градиента R* по X в данном случае производится в нейронной сети формированием дискретной ошибки х'д(п), первый момент распределения которой равен левой части (7.23). Параметры преобразования Z в этом случае получаются следующими:
7.5. Континуальные модели нейронной сети
Для континуальных моделей нейронной сети рассмотрим процедуру формирования функционалов вторичной оптимизации, соответствующих критерию минимума средней функции риска, так как обобщение на другие критерии первичной оптимизации не представляет принципиальных затруднений.
Так же как и выше, вопрос формирования функционала оптимизации решается для нейронной сети с произвольной структурой и иллюстрируется на конкретных структурах.
7.5.1. Нейронная сеть с континуумом решений;
Преобразование дискретной ошибки в данном случае имеет следующий вид:
Отсюда распределение преобразованной ошибки имеет следующий вид:
а
Pi
(7.28)
два класса образов
Z2[xg(n)], Е(п)=1,
x'g(n) =
[ Zj[xg(n)], s(n)=-l.
а выражение для второго момента данного распределения (после соответствующей замены переменных и при условии монотонности функций Zj и Z2
ос оо
“2 в = X^Z|(X9)^Pl-/rUg(X9)dX9+XtZ2(;r9)]2p2/2xff(Xg)d;rg.
При произвольной структуре разомкнутой нейронной сети имеют место соотношения у=Р(х), хд= е~Р(х). Отсюда
xN=P\(xg, Р, xl........xNml) при е=-1;
xw=P'2(cсд, Р, х1......х^) при е=1.
В данном случае распределение дискретной ошибки для образов к-го класса имеет следующий вид:
N-1
f kxSXg^ I - J fk [Xl> • ¦' > XN-1* Р >SXg' х\> ¦ • ¦ ’ XN-1
)]Х
х| dP'k(X*' Р’ X|’ --’XW-l)|^. 1<3хх. dxg
Отсюда после соответствующих преобразований и замены переменных можно получить следующее выражение для второго момента распределения дискретной ошибки:
+1 — I {Z2[l-P(x)]} p2/2(x)dx
В частности, для нейрона с континуумом решений с использованием (7.8а) можно получить следующее:
N
а2д = P1/1(x)dx + Ц-ft Z2f^g(x)]} p2/2(x)dx.
Сравнение данного выражения с выражением для средней функции риска
K = P1/1(x)i][xfc=P(x)] + P2/2(x){2[xk=P(x)]dx
дает соотношения для преобразования дискретной ошибки, необходимые для равенства а2д и Я:
Z,Ca:ff)=>l Ij(—1—xff); Z2(xffHZ2(l-x9). (7.30)
7.5.2. Нейронная сеть с континуумом решений; континуум классов образов
В данном случае
Отсюда при условии монотонности функции Z(xg) следует, что
оо
(731)
Здесь
у=Р(х); х = ? -Р(х); xw=P'(xff, Р, е, хр ..., х^);
)|е]х
ХД(Е)| d-(^’-’?’ -^-"-^-^Idx^cfe. dx
д
Отсюда и из (7.31) следует после соответствующей замены переменных:
В частности, с учетом (7.7а) для нейрона с континуумом решений
a2g=J J" — -f {z[e-F (.2 at.x-a0)]}2/(x|e)/e(e) dedx.
