Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
или, иначе,
Hi Z Z Z Н\
2 а. 2 у (z)e(z) + а0 2 e(z) = 2 2 a. yiz) + aQ . (13.3)
3=1 J z«l J г=1 г=1 1 j-l J J Ul
Величины
z z
2 y, (z)e(z), 2 e(z)
2-1 / z=l
однозначно определяются данной логической функцией и могут быть вычислены до решения задачи синтеза нейрона, реализующего данную логическую функцию. Так же как в [13.5], введем в рассмотрение величину z
Ь;- = 2уу(г) e(z) , j = 0....Hr (13.4)
Отметим, что
Z
b0 = Xe(z), так как arofe(z) =1; z~ I, ..., Z.
Из (13.3) и (13.4) следует:
Hi Z , Hi
или
Z
атЬ = ЕI д(г)\.
(13.5)
Выражение (13.5) дает необходимое и достаточное условие реализуемости логической функции е(у).
В случае, если логическая функция e(z), существующая в Z точках Ях-мерного двоичного аргумента y(z), не реализуема на одном нейроне с вектором а весовых коэффициентов, скалярное произведение вектора а и характеристического вектора логической функции меньше, чем сумма модулей значений выходного аналогового сигнала нейрона по всем г=1, ..., Z. Отсюда следует, что вектор весовых коэффициентов нейрона, реализующего данную логическую функцию с характеристическим вектором Ь, должен минимизировать (до нуля) значение следующего функционала:
Необходимо отметить, что вектор b в некотором смысле близок к вектору весовых коэффициентов а нейрона, реализующего соответствующую b логическую функцию. Если понимать под ошибкой реализации логической функции разность
то [13.5] среднеквадратичная ошибка будет минимальна при с = Ь. Следовательно, в качестве вектора весовых коэффициентов а иногда (например, в качестве начальных условий итерационной процедуры поиска вектора а, реализующего данную логическую функцию) можно принимать соответствующий вектор Ь. Однако, естественно, вектор b не будет всегда
z
I(a)=Z | g(z)| - aTb.
г-1
(13.6)
вектором весовых коэффициентов, реализующих данную логическую функцию.
Таким образом, соотношение (13.5) является необходимым и] достаточным условием реализуемости логической функции на] одном нейроне. Соотношение (13.5) полностью аналогично (13.2).] Соотношение (13.2) можно представить как систему линейных] неравенств, а (13.5) - нелинейное уравнение. В этом основное] отличие данных двух методов представления условия физи-] ческой реализуемости логических функций на одном нейроне.] Использование соотношения (13.5) несколько упрощается вслед-] ствие того, что исходная логическая функция е(у), существую-1 щая максимально в 2Hl точках Номерного пространства двоич-! ных (-1, 1) переменных, в (13.5) представляется Номерным] аналоговым вектором, а в (13.2) 2Hl двоичными числами.
13.4.2. Синтез нейрона методом минимизации функционала
Указанное соответствие между соотношениями (13.2) и (13.5)] показывает на преимущество (13.5). Однако здесь возникает! ¦уэудность выражения в явном виде нелинейного члена]
которую можно обойти путем соответствующей ап- j
z=l
проксимации. Естественно, чем точнее аппроксимация, тем ближе найденное значение вектора весовых коэффициентов (при! аппроксимации) к искомому. Согласно (13.6) минимизируемый! функционал представляется в следующем виде:
/(с,Ь) = 21 ст у(г)| - сЛЬ.
(13.7)
Здесь с - произвольный вектор весовых коэффициентов, для которого значение аналоговой ошибки нейрона не равно] нулю, Ь - характеристический вектор данной логической функции. При определении вектора, обеспечивающего минимум] (13.7), устанавливается, что: либо а, равное с, является век- j тором весовых коэффициентов, реализующих данную логическую функцию, либо данная логическая функция не реализуема на одном нейроне.
На рис.13.14 представлены условно зависимости слагаемых i формулы (13.7) от cf для логических функций, реализуемых и ] нереализуемых на одном нейроне. На рис. 13.14 цифра 1 соот-
ветствует физически реализуемой, цифра 2 - нереализуемой логической функции.
Излагаемый метод синтеза нейронов второго слоя многослойной нейронной сети основан на представлении:
q I g(z) I = ?2lqV(z)] + ?4[<?У (*)] + • • •,
где q ~ нормирующий множитель, ограничивающий область аппроксимации следующим образом:
1 < q| g{z) | < 0. Аппроксимация q| g(z) | fc-членами называется аппроксимацией ?с-го порядка.
В случае fc=l
\9(z)\^%2[qg2{z)].
Отсюда
Z Z
2» 19(z) | -1 2 g2(z)
Z-l * z~1
ИЛИ
2 Z Hi Hi
21 g(z) I = ?,2q 2 2 2 Cf. yi(z) yfz)\
z hi hi z
21 g(z) I = l2q 2 2 Ct.c.2 y(z) у (г) .
