Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Предположим, что образы сгруппированы вокруг некоторых неизвестных центров bfep классов. При введении в рассмотрение функции расстояния образов от множества к-го
класса р (х, bfe )= j| х — bfc ||2 условная функция риска, возникающего при отнесении образа х к области к - го решения, может быть представлена в следующем виде:
rkJ= -I" IIх " ЧрЦ2/(х) dx,
s(fcp)(x) > о
где I - || означает норму вектора. Средняя функция риска равна: Кр Г
R= Е J || х - bfcJ|2/ (х) dx.
/ср=1 s<fcp)(x) >0 р
В данном случае область кр-го решения (кр=1, -,Кр), удовлетворяющая условию минимума R, определяется следующей системой неравенств:
S(kр) (х)=|| х -bfc,J|2 - || х - bfcJ|2>0, (6 21)
(k'p*kp=l,...,Kp).
Уравнение, определяющее координаты центров классов, удовлетворяющих условию минимума R, имеет следующий вид:
I хг/ (х) dx,
S,kP\x) > 0
--------------, г'=1,. . ., N;
f (х) dx, (6.22)
s(fep) (х)> о k = 1, ..., К р ’ ’ р
Системы (6.21), (6.22) определяют оптимальную модель нейронной сети в режиме самообучения. Отметим, что функция потерь р(х, Ък )= || х - Ьк ||2 определяет довольно грубую аппроксимацию. распределения в классе. Более точная аппроксимация может быть достигнута усложнением оптимальной модели, достигаемым за счет усложнения функции потерь, например, следующим образом:
p(x- bfcD)=
х — Ь
hs-
%
или взятием р(х, Ьк ) в еще более сложной форме.
Подобно тому как в режиме обучения вектор-фушед [*i(e)> •-> 1к (€)] заменяется функцией I (у,г) двух перемен при переходе к случаю континуума решений, в режиме са«| обучения вводится в рассмотрение функция потерь в воде [х> Ь(у)], где Ъ(у) является либо конечным, либо промеж точным результатом синтеза нейронной сети. В случае; ретного множества решений нейронной сети средняя фз риска имеет следующий вид:
Кр
R=S 1
!ст}=1
р (х, bfc )G(x, кр) /(х) dx,
где
G(x, fcp) =
1 при X е5^(х)>0;
О при х g 5(х)>0.
Для континуума решений нейронной сети имеем аналоп
j 1 р[х, b(y)]G(x, у) /(х) dx dy,
У X
где
или, иначе,
G(x,y)=
1 при у = Р(х),
О при у * Р(х)
R— J р[х, Ь[Р(х)]] /(х) dx.
Выражение для оптимальной модели нейронной сети полу^ чается отсюда дифференцированием R по у = Р(х) и Ь анал гично тому, как это было сделано в режиме обучения
Э
/(х)-
ду
р [х, Ь(у)]
= 0,
fix).
эь.
р [х, Ъ(у)] = 0, i =1, ... , N,
при использовании дополнительных условий Сильвестра для матрицы смешанных производных второго порядка R по компонентам вектора Ь(у).
Рассмотрим оптимальную модель нейронной сети с Кр =К решениями при произвольной квалификации учителя Ь.
Необходимо так определить функцию потерь Цх, bfc , Ь, 1к к), чтобы в режиме обучения при Ь=1 1= 1к к, в режиме самооВу-чения при Ь=0, 1=р (х, Ьк ), а при b= -1 определялся функционал первичной оптимизации с обратной экстремальностью по отношению к режиму обучения. Такая функция потерь может быть записана в следующем виде:
Цх, bfcp, Ь, 1крк) = Ыкрк + (1-Ь2) р (х, bfep).
Выражение для средней функции риска имеет вид: к к
R = X J {[ X рк /к(х) 1к к]+ (1-Ь2)|| х - bj|2 /(x)}dx. feP=15<fcp)(x)>0 fe=1
Оптимальная область кр -го решения может быть представлена следующим образом:
sMx) = gfc-p(x) - gfcp(x)>0, fc'p*kp=l,..., Kp.
Выражение для оптимальных значений Ък (имеет вид, аналогичный (6.22).
Выше предполагалось, что квалификация учителя известна точно при построении оптимальной модели нейронной сети. Неточное знание квалификации учителя имеет место, например, при решении задач медицинской диагностики, когда известно, что классификация обучающей выборки сделана врачом, имеющим конечную, неточно известную конструктору нейронной сети квалификацию. При этом объективная квалификация Ь учителя определяет вид распределения входного сигнала, а субъективная квалификация учителя Ьс, сообщаемая системе, определяет вид функционала оптимизации. В случае К=Кр классов и решений нейронной сети:
к Г Кг
R =*5i J *?Д bePfeZfePfe+(1” b2c)P(x-bfcp)J/'(xA=k)}dx.
С учетом выражения для закона распределения входного сигнала оптимальная модель нейронной сети, в данном случае
определяемая системой К неравенств, запишется в следующем виде:
к
^ { Ьс (pklkkp ~ pklkl,p)+(i- b2c) [p(x,bfcp) - P(x,bk.p)]} x
К
^ Pfc' fw №akk‘ x -p----------------------------------> 0, (6.23)
? P^' “W
где fc'p=l, .. K.
В этом случае предполагается, что субъективная квалификация учителя, сообщаемая нейронной сетью, не зависит от номера класса.
