Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рис.6.6. Вид функции G(x, у) Рис.6.7. Вид функции G{x, у) для дискретного множества реше- для континуума решений и двух
дай и двух классов образов классов образов
На рис.6.8, представлена геометрическая иллюстрация функции G(x, у) в простейшем случае. Таким образом, задача минимизации средней функции риска сводится к задаче минимизации площади полосы G(x, у) д(х, у), полученной модуляцией (профилированием) полосы G(x, у), показанной на рис. 6.7, функцией д(х, у).
Рис.6.8. Вид функции G(x> у) для континуума решений и двух классов х образов
В выражении для средней функции риска (6.14)
1 при у = р(х),
О при у * р(х),
гДе функция р(х) есть предмет синтеза - преобразование, осуществляемое нейронной сетью над входным сигналом. Отсюда выражение для R(x, у) можно записать в следующем виде:
N
К= / . . • / g[x, Р*(х)] dx, х
где функция g[x, р(х)] в данном случае имеет вид
д[х, р(х)] = pj fx(x) 1г[ Р*(х)]+ р2 /2(х) 12[ Р*(х)].
Минимизация R является задачей вариационного ис ния. При этом минимум достигается при условии
Э д[х, р(х)]
---------------=0
Э Р*(х)
или с учетом конкретного вида функции д[х, р(х)]: d ij [Р*(х)] d l2 [Р*(х)]
pi Л(х) -------------+ р2 /2W--------------=0-
PiA(x)
dP* (х)
Иначе можно записать: d Zj (у)
dP* (х)
dy
d Z2 (у)
+ P2/2(x> ,
y=P*(x) dy
= 0.
y=P*(x)
Это уравнение определяет оптимальную модель н ной сети двух классов образов с континуумом решений.
Рассмотрим частные случаи.
1. Функции ошибок для образов первого и второго имеют вид, изображенный на рис. 6.9. Этот случай с ствует одинаковому значению функции ошибок на нек интервале изменения у. При этом
dZx (у) dy
у=Р*(х)
а=1
=Ё Д1а15(р(х)- у
Р*(х)
а=1
d Z2 (у) dy
=-Ё M^y-yJ
у=Р*(х)
01=1
Р*(х)
а=1
Уравнение для оптимальной модели нейронной сети иметь следующий вид:
А А
Ч. {
о {
рис. 6.9. Зависимости ^ | функции ошибок для нейронной сети с континуумом решений О
г/,
V») i_ h-1= .
У,
Уа
Здесь 8(у) ~ 5 - функция с известными свойствами.
2. Функции ошибок для образов первого и второго класса -функции второго порядка Z1(y)=(l+t/)2Z, 12(у)=(1~у)Ч.
При этом
d lx(y) d l2(y)
— = 21 (1+y), ----------------------— =2l(y-l).
Ф dy
Подставляя данные выражения в (6.15), получаем уравнение для оптимальной модели Р*(х) нейронной сети с континуумом решений в случае квадратичных функций потерь:
р2/2(х) - рхД(х)
Р*(х) =---------------------
Р2/2(х) + PiAW
Иллюстрация функции у = Р*(х), реализуемой нейронной сетью, представлена на рис. 6.10.
Рис. 6.10. Иллюстрация к оптимальной модели нейронной сети в ^Учае континуума решений и квадратичных функций потерь
3. Функции ошибок для образов первого и второго есть функции первого порядка I1(y)=I(l+y), 12(у)=1(1-у). ном случае dij(y) /dy—l\ dl2(y) /dy= -l. Отсюда следу при линейных функциях ошибок возникают определ трудности в формировании оптимальной модели нейронно Для исследования данного вопроса рассмотрим функцию ки в следующем виде:
из которого при с=1 следует случай п. 2, а при с=0 -ный случай. Тогда
Общее выражение для оптимальной модели нейронн имеет следующий вид:
При с=1 получаем уже известное выражение оптим модели для функций потерь второго порядка. Исследуе чай с -» 0. Тогда у =-1 при любом значении х, удовле щем неравенству р1/1(х)>р2/2(х), у =1 при любом значе удовлетворяющем неравенству p2f2(x)>p1f1(x).
Таким образом, в случае линейных функций ошибок тинуума решений пространство решений вырождается странство двух решений.
При сравнении критериев первичной оптимизации н ной сети по величине апостериорной вероятности (6.13) нимума средней функции риска (6.15) видно, что опт ные модели нейронной сети совпадают, если
11(у)=1(1+уГ1, г2(у)=1(1-у)с+1
d
Цу) =-~ [Д1-у)с+1]= -
1
dy
dy
с+1
Ц1-У)с.
PiA(x)(l+У)С ~ р2/2(х)(1-у)с=0
или, иначе,
[Р2 /2(х)]1/с ~ tPx Д(х)]1/С У [ Р2 /2(х)]1/с + tPi Д(х)]1/С
ащ
Ф
dtyy)
1 + d(y) =
dy
Эти выражения позволяют ввести дополнительную физическую интерпретацию функции d(y).
рассмотрим критерий минимума средней функции риска при ограничениях (6.7) и (6.8). Минимизация средней функции риска (6.14) при условии
