Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Элементная база нейрокомпьютеров
30. Трейер В.В., Елизаров А.Б. Электрические интегрирующие элементы и аналоговые запоминающие элементы. -М., Энергия, 1971.
31. Боярченков М.А. и др. Аналоговые запоминающие и адаптивные элементы. -М., Энергия, 1973.
РАЗДЕЛ 1. СТРУКТУРА НЕЙРОННЫХ СЕТЕЙ
Структура нейронных сетей является исходной аксиоматической посылкой как самой теории нейронных сетей, так и в значительной степени нейросетевых алгоритмов решения задач, архитектуры нейрочипов и нейрокомпьютеров.
Ниже представлены основные предпосылки перехода от логического базиса булевских элементов к пороговому логическому базису, описаны основные типы пороговых элементов, связь пороговой логики с многозначной и непрерывной логикой. Описываются основные типы нейронных сетей, предложенных различными авторами ранее, в 60-е годы (Ф. Ро-зенблаттом, Б. Уидроу и др.) и в настоящее время. Представлены материалы по континуальным нейронным сетям (континуум признаков, нейронов и т.д.). Отдельно рассматриваются объективные предпосылки введения перекрестных связей в многослойных нейронных сетях, а также методы формального описания таких сетей.
Глава 1.0т логического базиса булевских элементов И, ИЛИ, НЕ к пороговому логическому базису
Принципиальным моментом появления нейрокомпьютеров является отказ от булевского логического базиса на уровне элементов вычислительных машин с переходом на базис пороговой логики, который в простейшем варианте моделирует функции нервной клетки. При этом изменяется не только элементная база, но и архитектура ЭВМ.
1.1. Линейный пороговый элемент (нейрон)
Работы по пороговой логике известны еще с 60-70-х годов [1.1—1.8]. В них предлагается использовать для построения отдельных узлов и блоков ЭВМ нейроны, осуществляющие следующее логическое преобразование входных сигналов в выходной:
N
у = sign ^аг . (1.1)
Это простейшая интерпретация передаточной функции нейрона, где у ~ значение выхода нейрона; а{ - весовые коэффициенты; а0 - порог; х{ ~ входные значения нейрона(х(. е {0,1});
N - размерность входного сигнала нейрона. Нелинейное преобразование, осуществляемое в данном случае в нейроне:
sign (g) =
0, g<О
1. g ?0 .
(1.2)
На рис. 1.1 представлена функциональная схема нейрона. При этом в частном случае при а. =1 (i=l,...,n) нейрон является мажоритарным элементом, порог в этом случае принимает значение an= N/y.
Iе. Iй»
¦й-г
Необходимо отметить, что пороговая ^—
функция в выражении для передаточной
функции (1.1) может ^______
принимать любые значения, а не только указанные в (1.2).
Это определенным образом меняет зна- —
чения коэффициентов а( и а„. Для удоб- рис ^ ^ Функциональная схема нейрона
ства, как правило,
используют форму пороговой функции (1.2) или следующую:
fjv й
sign (g) = '
-1, g< о 1, g ^0
в зависимости от удобств физической реализации этой функции в аналоговом или цифровом виде.
Отмечаются следующие преимущества нейрона перед элементами И, ИЛИ, НЕ и т.п.:
1. Нейрон выполняет более сложные логические функции, что обеспечивает реализацию заданной логической функции меньшим числом элементов. Отсюда отмечаемая и исследованная многими авторами возможность сокращения объема оборудования при построении некоторых узлов вычислительных машин.
2. Сети из нейронов имеют повышенную устойчивость к выходу из строя отдельных элементов. В [В—1] было отмече-
но, что в трехслойном персептроне выход из строя некоторого количества нейронов 1-го слоя со случайными связями не приводил к резкому, катастрофическому падению качества решения задачи при отсутствии процедур диагностики и реконфигурации структуры. Подобным свойством в настоящее время обладают лишь многомикропроцессорные ЭВМ с расширенным параллелизмом с архитектурами ОКМД (один поток команд, много потоков данных) и МКМД (много потоков команд, много потоков данных) при реализованных на этих структурах процедурах диагностики и реконфигурации.
При этом свойством таких структур является свойство так называемой постоянной деградации, когда основное качество работы системы (такое, как вероятность правильного распознавания или производительность) будет максимальным при полностью исправных элементах и падало бы не катастрофически, а монотонно при выходе из строя отдельных элементов.
3. Сети из нейронов имеют повышенную устойчивость к изменению параметров схем, их реализующих. Это можно пояснить на примере реализации с помощью нейрона простой логической функции двух переменных (рис.1. 2), где весьма значительные изменения весов и порога не приводят к ошибкам в реализации заданной логической функции.
значения логической
функции аргументов
(*р х2)
