Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рх(х) LPw.(x) J
L yN.(n) J
Если AT - const и нейронная сеть имеет дискретное
выходного сигнала, т.е. К решений, функция имеет в'
р ,1
[ 1 при х е 6,№lP’ • kN'p\x)>
10 при х ....few*p)(x)>
G(x, Jclp, . . ., fcw.D)
7V*p'
и соответственно для континуума решений нейронной сети:
f 1 при у(п)= Р[х(п)],
Сг(Х, у,, • • *| У/и») 1
( 0 при у (п)*Р[х(п)].
q учетом замечаний о функции G можно записать выражение для средней функции риска следующим образом:
N
R = J • • • J g[P(x), х] dx =
х
W _ Viy*
= J • • • I I • • • I /«(e) I [P(x),e)]/'(x/e) de dx.
Оптимальная модель нейронной сети определяется выражением
Лп
I... I /Е(е)/ '(х/е) [ JL_ Z (у,е)1 = de = О,
Е Эу УК)
где производная ^ i (ху,е) - функция двух переменных: у и е.
Пусть каждый из N* выходных каналов имеет К0 градаций по амплитуде. Тогда выражение для условной функции риска имеет следующий вид:
к к
klp=l kjv*p=l N
X J... J / '(x/e^j,.. .,fcw.) dx.
S(klP.kN'?\x) > 0
Отсюда получаем среднюю функцию риска к к
R= ? ... ? т (fcj, .. =
fci=i tyv*=i
к к к к
~ 2 ... 2 2 . . . S i (^-JnJ • • -jkjy, ,fcj, - • ) X
klp=l few*p=l fcl=l fejV*=l
x f^(kp .. .,/c^*) J ... J* f (x/e /c^f.. ,,/Cjy*) d
SiklP..fcw*p)(x) > 0
При введении дополнительных обозначений имеем; к к
X ... X
fclp=l fc/V*Р=1 5^1Р..fcW*p)(x) > о
ПТ
0 №lp> • • •> ^к*р>х)
где
g (fc
ip>
D,X) ^ ^ ^ (^lp’
fe=l fcjv*=l
.,/C,
W*p
x /e (/Cp .. ,,k^*) f (x/e-fcp . . .,fcjy*) .
Результат минимизации средней функции риска в случае
S(kiP'-'kN’p)(x) = д (к"1р,..k"N,p,x) - д(к1р,..., kN,p,x)' (к"1р> ..k"N.p) = (0 .. ¦ 0) , ... , [К, .. . , К),
№ N*
т.е. всего KN* комбинаций.
Отметим, что, в частности, можно рассматривать К—2 как наиболее просто реализуемый.
6.4. Априорная информация о входном сигнале нейронной сети в режиме самообучения
Задача сомообучения отличается от задачи обучег что в режиме самообучения в нейронной сети не указь принадлежность образов к тому или иному классу. В _ обучения нейронная сеть получает информацию об орг ции образов внутри классов в виде указаний учителя, чае самообучения эта информация должна быть зало нейронной сети априори. Наверное, разумно при опред класса в режиме самообучения наложить следующее о чение. Каждому классу образов должна соответствовать мода функции плотности распределения вероятностей в го сигнала х(п) нейронной сети.
От априорной информации о входном сигнале суще но зависят методы решения задачи самообучения. Ука-априорную информацию о входном сигнале можно с м логической точки зрения разделить на три основные ча
1 Априорная информация о числе классов или, что тоже самое, информация о числе мод функций плотности распре-еления входного сигнала. На основании данной априорной информации и предположения о том, что каждый класс имеет свое собственное одномодальное распределение, распределение входного сигнала нейронной сети может быть представлено в виде
к
/(х) = Z Pfc/fc(x), (6.19)
k=l
где х(п) _ входной сигнал нейронной сети; /(х) - плотность распределения входного сигнала; /fc(x) - плотность распределения образов в к-м классе; рк - вероятность появления образа из к-го класса; К - число классов.
2. Априорная информация о виде плотностей распределения образа в каждом из классов.
3. Априорная информация о величинах вероятностей появления образов из различных классов рк .
Априорная информация о числе классов К (мод функции плотности распределения входного сигнала) может быть трех типов (по мере уменьшения априорной информации): точно известно К - число классов (т.е. мод); число К классов (мод) не более заданного Кмакс; число К классов (мод) неизвестно.
В первом случае необходимо создание алгоритма решения задачи самообучения для конкретного числа классов. Во втором случае необходимо создавать алгоритм самообучения, который, будучи оптимальным для максимального числа клас-сов Кмакс, будет оптимальным и для меньшего, каким и может оказаться действительное число классов. В третьем случае, пожалуй, единственным путем качественного решения задачи самообучения является построение алгоритма самообучения для постепенно увеличивающегося числа Кмакс. В таком алгоритме нужно вводить критерий остановки алгоритма при Увеличении максимального числа классов Критерием остановки может являться либо отсутствие увеличения качества самообучения при увеличении Кмакс, либо невозможность Реализации алгоритма ввиду его сложности.
