Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
(*U+y-(*10+*20) (*12+*22)-(*!<,+*20)
d, = -------------------; d,=---------------------
1 2 2 2
оптимальные решения по указанным критериям совпадают. Кроме того, данные равенства являются дополнительной интерпретацией коэффициентов dt и d2. Использование того или другого критерия возможно при наличии априорной информации о коэффициентах d. или I.- .
Анализ выражения для средней функции риска показывает возможность рассмотрения критериев первичной оптимизации при следующих ограничениях:
1) равенство отдельных составляющих средней функции риска
Pi ri= Р2 г2> (6-?)
2) постоянная величина составляющей средней функции Риска для одного из классов
р2 r2= а = const. (6.8)
Для решения задачи минимизации с учетом первого огра-НИЧения запишем функционал Лагранжа в виде
1= R + X (pj гх - р2 гг).
Подставив в уравнение (6.7) значения функций гх и (6.3) и (6.4), получим:
N .N
Pi* 12 +i • • • I (*1Г гю) P!/i(x)dx+J. . . J (Z10 -
Рг^гг
S'(x) < 0
jy
+J" .. . J"(^21 *20) P2/2W ^X"^J • • • J(^2o~ ^22) Рг/г(х
5'(x) < 0 S'fx) < 0
S“(x) < 0 N
Уравнения для оптимальных разделяющих поверхн* имеющие вид:
S'(x)=(Iu- Z10) р1/1(х)(1+А,) + (Z21- г20) р2/2(х)(1-Л) ; \ 5"(х)=(г10- г12) pj /^xki+X) + (г20- г22) p2/2(x)(i-X), 1
есть результат минимизации функционала I. Значение А,, печивающее минимум I, получается из условия равенства производной dl/dX, т.е. при подстановке (6.10) в урав
(6.9) для соответствующего ограничения.
Для критерия минимума составляющей средней ф риска для одного из классов при заданном значении сос ющей средней функции риска для другого класса, т.е. С том ограничения (6.8), выражения для оптимальных раз ющих поверхностей имеют следующий вид:
5,,(х)=(г11- г10) рх /1(х)+А(г21- г20) р2/2(х)=о; 4 S"(x)=(I10 - l12) Pl /1(х)+Л(120- 122) р2/2(х)=0.
(
Выражение для А. получается подстановкой (6.11) в ур ние для соответствующего ограничения, и имеет вид N N
Р2Г2 ~ Р2*22+^ ‘ ‘ • -С (*21 ~ *20^ Рг/2^ • • • J (*20~ *22^ PJ2^Х)
5'(х) < 0 S’bi) < 0
Нейронная сеть типа 36. Рассмотрим систему распо' ния типа 36 (см. табл. 6.1) двух классов образов, име' (Кр-1) разделяющую поверхность. Для заданной си'
jC =const означает, что число (целое) решений равно четырем или больше.
Определим оптимальную модель нейронной сети по критерию сравнения апостериорных вероятностей. По аналогии со случаем двух классов образов и двух разделяющих поверхностей определим деление многомерного пространства признаков на области следующим образом.
Область fcp(fcp=l,..., Кр) определяется следующей системой неравенств:
/(е=-1/х) - dkp_lkp < /(е=1/х)< /(е=-1/х) - dkpkp+v при d0 i=i, dKpKp+1=-l и следующем условии:
dfeP,fcp+i >0 при * (е=_1/х) > f (?=1/х); dfcP,fcP+i <0 при f (е=_1/х) </ (е=1/х) .
Иллюстрация такого деления пространства признаков в одномерном случае приведена на рис. 6.4. Выходной сигнал нейронной сети должен иметь Кр градаций по уровню, т.е. нейронная сеть принимает при наличии двух классов образов 1L решений. Из рис. 6.4 следует, что отнесение той или иной области многомерного пространства признаков к первому или второму классу производится с определенным запасом по апостериорной вероятности, например в области Кр с запасом, равным min{|dfep lj J, |d fcp fcp+1|}.
Рис. 6.4. К рассмотрению критерия первичной оптимизации нейронной сети по величине апостериорной вероятности в случае двух Бассов образов и (Кр-1)-й разделяющей поверхности
Учитывая известные выражения для апостериори" роятностей /(е=-1/х) и /(е=1/х), можно получить выр~ для области fcp-ro решения нейронной сети в исходном мерном пространстве признаков в следующем виде:
1 — d
1 + d
P2/2W
С ¦
Pi AW
1 -d
kp-/Cp4" 1
1 + d
fcp-l,fcp x u’fcp,fcp+l
Определим оптимальную модель нейронной сети по : рию минимума средней функции риска. В данном случа ронная сеть после обучения делит многомерное простра признаков на Кр частей, в каждом из которых суще-априори потери при отнесении образов к тому или иному Матрица коэффициентов потерь имеет следующий вид:
L =
^ц. ^12' ’ ' •’ Ькр
hv hi’ ¦ ¦ ¦’ hkd
где lik (г—1, 2; fcp= 1, ... , Kp) - коэффициенты потер’ отнесении образов г-ro класса к /ср-й области. Очевидно ходимо, чтобы
*11< hi*'- • • < *1Кр> ^21> Ьг> ¦ • • >Ькр‘ Выражения для условных функций риска в данном с имеют следующий вид:
N
г,- 2 J...J
Кр 1 SkP(x)>0
hkn AW dx -
N
hkD AW dx .
kp 1Sk P(x)>0 P Здесь 5,fep(x)>0 _ область многомерного пространства знаков, соответствующая kp-му решению. Отсюда следу' ражение для средней функции риска:
