Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рис.1.2. К нечувствительности нейрона при реализации логической функции к изменению весов и порога
4. Реализация в виде СБИС или оптических систем функциональных устройств, алгоритмы которых адекватны нейронным сетям, производится в аналоговом виде с присущим ему бшышш быстродействием по сравнению с цифровой реализацией.
При аппаратной реализации нейронными сетями достаточно «крупных» математических операций большой размерности производится максимальное распараллеливание информации на аппаратном уровне.
5. Для нейронных сетей существует возможность формального описания их как динамических дискретных систем с использованием аппарата линейных последовательностных машин. Это дает возможность не только исследовать поведение таких систем с помощью методов теории управления, но и синтезировать структуры нейронных сетей по заданным критериям.
6. Для однородных нейронных сетей существует возможность минимизации типажа СБИС, их реализующих, что позволяет проследить тенденцию упрощения САПР СБИС. При этом существующая относительная независимость алгоритмов логического проектирования нейро СБИС от размерности входного и выходного пространства, создает предпосылки для унификации этой процедуры в более широком классе функциональных схем, реализуемых нейронными сетями.
1.2. Многопороговая логика
Многопороговую логику можно рассматривать как обобщение пороговой. Логическая полнота многопорогового элемента (МПЭ), являющегося функциональной ячейкой логического устройства, выполненного в базисе многопороговой логики, обусловлена наличием группы порогов, реализуемых данным МПЭ. Под МПЭ здесь и далее будем понимать элемент, функционирующий согласно выражению
1 К
y= — '^{sign[g(n)-ak]+l), (1.3)
приведенному в работе [1.6]. Функциональная схема МПЭ приведена на рис.1.3.
Методы синтеза сетей из МПЭ являлись предметом исследований многие годы [1.7, 1.9, 1.10] и не привели к практически ощутимым результатам. Наиболее перспективными для сетей из МПЭ все же можно считать лишь адаптивные методы [В.6, В.10] как слабо зависимые, по сравнению с остальными, от размерности входного пространства и сложности сети.
1.3. Непрерывная логика
Данный раздел логики как науки, являющейся естествен-1 ным развитием двухзначной логики через Я-значную, имеет] важное значение для построения теории нейронных ЭВМ, { прямо связанных с аналоговой реализацией частей алгоритмов, требующих большого быстродействия вычислителя.
Непрерывная нейронная логика рассматривает схемы, позволяющие выполнять логические операции с непрерывными j величинами [1.11-1.13]. На рис.1.4 представлена общая структурная схема нейрона с континуумом решений, являющихся j основой построения схем непрерывной нейронной логики. Вид функции /, называемой функцией активации, рассматривается ниже либо исходя из представления о модели нейрона, либо исходя из класса решаемых задач и удобства построения алгоритма адаптации сети из таких нейронов.
1Z
4 ' М)
н - -1
us “о
Рис.1.4. Структурная схема нейрона с континуумом решений
Преобразование, осуществляемое схемой (рис.1.4), имеет вид
N
У («) = /№)]=/ [ 2 а. х (и) ].
г=0
Функция fig) является непрерывной, монотонно возрастающей, дифференцируемой и формирует непрерывный выходной сигнал элемента нейронной сети. В этом случае понятие разделяющей поверхности, реализуемой сетью в исходном пространстве признаков (в интерпретации систем распознавания образов), вырождается. Параметры функции f(g) могут быть как фиксированными, так и настраиваемыми.
1.4. Частные виды функций активации
Кроме рассмотренных выше можно рассмотреть несколько других видов функции активации.
Функция активации R представлена на рис. 1.5. Наличие линейной зоны позволяет реализовывать на сетях из элементов с подобной функцией активации непрерывные функции. Функция активации R достаточно просто реализуется.
Функция активации S (сигмоидная). Графически данная функция активации представлена на рис. 1.6. Здесь у =(1+е_?)~1.
Эта функция в отличие от функции R обладает свойствами обратимости и непрерывной дифференцируемости, однако более трудно реализуема. Недостатком ее, зачастую отмечаемым, является наличие только положительных значений. Однако, на наш взгляд, этот недостаток несущественен, так как может быть устранен на уровне структуры сети изменением порогов элементов.
Рис. 1.5. Функция активации R Рис. 1.6. Функция активации S
функция активации типа tanh g(n) и Vjt arctg g(n) (рис. 1.7
1.8)
y~ tanh g (n)
Ifc arctg g(n)
-1
0
-1
Рис.1.7. Функция активации tanh g(n)
Рис.1.8. Функция активации 2/л arctg g(n)
Эти функции по свойствам аналогичны сигмоидной функ ции. Преимущества применения той или иной функции акти вации определяются сложностью реализации нейронной сет-и ее алгоритма адаптации на выбранном классе задач.
