Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
1-Ф1(тпК*)=Ф2(тпК*). (12.14)
А
Пусть корень уравнения (12.14) равен тК*=в. Тогда при тпД > (5
т.е.
1-Ф1[(тК*) < Ф2(тК*) < Ф2[(т+1)К*),
Ф2^) ^ 1-Ф1[(т-1)К*]
А
Соответственно при тК*<в имеем:
Ф2(тК*) <1-Ф1[(тК*)<1-Ф1[(ш-1)К*];
Ф9(тК*)
: <1.
l-^Km-lJK*]
А
Поэтому, если 0/К* - целое число, то
Л Л Ф_(0) А
W(0-A)=W(0) ¦ *4 <W(8);
^Ф^б-Д)
А 1-ф,(0)
W(0 + A)=W(0) — ' < W(8).
Л
Отсюда видно, что 0 есть мода распределения значения порога как случайной величины и обеспечивает в свою очередь равенство условных функций риска для совокупностей образов первого и второго класса.
Из (12.13) вытекает, что математическое ожидание и дисперсия распределения значения порога конечны.
Для нейрона с произвольной памятью тп в блоке настрой-ки (mn=const, N= 1):
a0(n+l)=
а0(п) при п+1йтл, j=l, 2, 3 . . .,
imn
ao(n) +Al X {e(I)~signx (12.15) mn !=(t'-l)mn+l x [x(J) - a0(i)]} при n=imn.
Здесь, несмотря на сделанное в гл. 9 замечание о невозможности в общем случае для критерия минимума | а1д| и системы с двумя решениями построения аналитических алгоритмов настройки с произвольными значениями тп, выражение (12.15) справедливо, так как рассматривается частный, одномерный (N= 1) вариант, в котором x0=-l=const. В (12.15) поправка коэффициентов происходит через каждые тп тактов поступления образов на вход системы.
Получим выражение для вероятностей перехода в данной марковской цепи. Как и в случае тп= 1, здесь
Р[хд(п)=-2]= i [1-Ф^тК*)];
Р[х (п)=2]= - Ф2(тК*);
Р[хд(п)=0]= | и-Ф^тКЧ+Ф^тК*)],
где тК* - текущее значение настраиваемого коэффициента aQ. Величина
im„
К* К*
~ х"д= x'g(n=iTnn)=-rrr ^ {?(г) - sign[x(l)-a0l]}
а п !=(i-l)mn+l
К* К*
принимает значения - К*п, ~Кп+-щ?.......... О, ..., К*п.
В данном случае имеем дело с задачей о полиномиальном распределении
P[xyn = imn)] = 2(l-t)]=Pmn[t,t,(mn-t-t)]=;!f!(TO^!_t)! х
х[| Ф2(тпК*)]!{“ {-| [1-Ф2(тК*)+Ф1(тК*)]}ТП,_1'‘
Здесь I, t, тп —I —t - соответственно число раз, которое в хд выпадают + 1, -1, 0. При замене переменных % = I - t можно получить ограничения на пределы изменения переменных в следующем виде:
> „ ~ 4 Л „ т_ - ? „
?>0 при —-------->t>0; §<-0 при ---------->t>-%.
2 ^
Выражение для переходных вероятностей при ?>0 имеет следующий вид: [*».-{]
^ ТП ^
Р[тК*|(т+)|)К*]= Zj - х
* п t=o (t+|)!t!(mn-2t-?)!
х2“т» [l-Ф^тК*)]1 Ф2(тпК*)‘Н х
х [1+Ф,(тпК*) - Ф2(тпК*)Г"~2‘+5.
При ?< 0 выражение для переходной вероятности сохраняется с заменой нижнего предела на (-?). Выражение для переходной вероятности будет единым, если нижний предел сделать равным {max [0, -?]}.
Соответствующее второму этапу стохастическое разностное уравнение для плотности распределения вероятностей настраиваемого коэффициента а„ системы имеет вид: т
Wimn(rnK*)=rW(i_1)mn [(m-кЖЧ P[(m-fc)K*| тК*},
где Р[ ] определяется приведенным выше выражением для переходной вероятности.
В многомерном случае рекуррентное соотношение, являющееся основой для построения замкнутой системы, при mn=l может быть записано:
a(n + 1) = a(n) + К*хд(п) sign х(п).
В данном случае имеем дело с задачей блуждания по (N+1)- мерной решетке. Это блуждание описывается многомерной марковской цепью. Здесь, как и выше, задача анализа замкнутой системы состоит из следующих этапов: запись выражений для переходных вероятностей; получение стохастического уравнения, описывающего динамику поведения марковской цепи; исследование решения данного уравнения.
Решение данных вопросов является чрезвычайно сложным даже для рассматриваемой относительно простой системы, не говоря уже о таких, как многослойные нейронные сети.
Нейрон с континуумом решений и континуумом классов образов. Рассматривается случай N = mn= 1. При использовании критерия минимума второго момента дискретной ошибки а^д имеем:
a0(n + 1) = а0(п) -2K*{e(n) - F [х(п) -а0(п)]^}. [12.16]
dF(g)
Здесь хд(п) = е(п) - F[x(n) - а0(п)]; = Ф(g). Введем в рас-
