Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
В принципе возможно рассмотрение многослойных нейронных сетей произвольной заданной структуры с обратными и перекрестными связями. Объективная необходимость введения перекрестных связей в многослойных нейронных сетях обосновывается ниже в главе 3, а обратных связей в данной книге при исследовании замкнутых нейронных сетей для распознавания нестационарных образов.
е) Нейронные сети с к-значными и двоичными весовыми коэффициентами. Известны трудности физической реали-
зации настраиваемых переменных весовых коэффицие многослойных нейронных сетей. Эти трудности появил в частности, при реализации в 60-е годы систем на ме_ торах, когда их авторы пытались реализовать в аналога виде и разомкнутую систему и блок настройки нейро“ сети [2.12).
На современном этапе развития технологии СБИС эти т ности сохранились. Однако резкое увеличение степени и рации позволяет реализовать нейронные сети с нейрон имеющими к-значные значения весовых коэффициентов, ализуемые, например, на резисторных сетях, или в прос шем случае двоичные (0,1) значения весовых коэффи тов, реализуемые на управляемых ключах. При этом упрощается физическая реализация процедуры настро многослойной нейронной сети, имеющей подобные настра емые коэффициенты. При рассмотрении каждого нейро fe-значными или двоичными коэффициентами реализуется гическая функция в пространстве входных переменных иу, изменения наклона разделяющих гиперплоскостей на фи рованный угол (рис.2.11) или путем использования в сово-ной разделяющей гиперповерхности «кусков» гиперплоско трех типов (рис.2.12). При этом, естественно, чем меньше
реализуемые в пространстве входных признаков нейроном с k-значными весовыми коэффициентами
Рис.2.12. Гиперплоскости, ализуемые в пространстве ных признаков нейроном с ными (0,1) значениями вес коэффициентов
даций имеют весовые коэффициенты нейронов в нейро сети, тем большее количество нейронов потребуется в ронной сети для решения некоторой задачи.
перекрестные связи
~Z\\
Рис. 2.13. Многослойная нейронная сеть
Настоящий уровень развития технологии вполне приемлет общую структуру нейронной сети, представленную на рис. 2.13. Методика синтеза алгоритмов настройки подобных нейронных сетей является основным предметом рассмотрения в данной книге.
Литература
2.1. Стаффорд. Многослойные обучающиеся схемы.// Зарубежная радиоэлектроника, № 8, 1965, с. 58-64.
2.2. Гавронски Р. Сравнение некоторых свойств симметричных слоистых сетей с прямыми и обратными локальными связями./ Сб. «Биологическая кибернетика», 1968, с. 209-223.
2.3. Нильсен Н. Обучающиеся машины. -М., Мир, 1967.
2.4. Гелиг А.Х. Опознающие системы с неограниченной плоской ретиной.// Вычислительная техника и вопросы кибернетики. 1968, с. 80-94.
2.5. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. -М., Наука, 1970.
2.6. Галушкин А.И. Многослойные системы распознавания образов. М., МИЭМ, 1970.
2.7. Галушкин А.И., Юмашев С.Г. О применении кусочно-линейных разделяющих поверхностей в задаче распознавания образов. //Труды МИЭМ, 1970, вып.6, с. 238 — 254.
2-8. Минский М. Вычисления и автоматы. -М., Мир, 1971. Перев. М. Minsky. Computation: Nachines, Prentice - Hall, 1969. Finite and Infinite.
2.9. Минский М., Пейперт С. Персептроны. -М., Мир, 1971.
2.10. Ивахненко А. Г.. Системы эвристической самоорганизац технической кибернетике. -Киев, «Техника», 1971.
2.11. Ивахненко А.Г. Polinomial theory of complex systemsn. Trans, on System, Man and Cybernetics, v.SMC-1, 1971, v
2.12. Трейер B.B., Елизаров А.Б. Электрические интегрирую* элементы и аналоговые запоминающие элементы. — М., Э гия, 1971.
2.13. Ивахненко А.Г.. Персептроны - система распознавания о' зов. - Киев, Наукова Думка, 1975.
2.14. Юмашев С. Г. Применение методов линейного программир ния для построения кусочно-линейных разделяющих пове ностей в задаче распознавания образов. //Труды МИЭМ, 1 вып. 6, с. 255-260.
2.15. Кохонен Т. Ассоциативная память. - М., Мир, 1980.
2.16. Amari S. Topographic organization of nerve fields. Bull, of Biology, 1980, т.42 № 3 (339-364).
2.17. Fukushima K. Neocognitron: A Self - Organizing Neural Nefri Model for a Machanism of Pattern Recognition Unafecte Shift in Position. Biological Cybernetics, 1980, т.36, (193-202).
Глава 3. Оптимизация структуры многослойных
нейронных сетей с перекрестными связями
Вопрос выбора структуры разомкнутой многослойной нейронной сети является сложным. Структура разомкнутой нейронной сети может задаваться либо априори, либо исходя из соображений, высказанных выше при рассмотрении двухслойной и трехслойной нейронной сети, либо исходя из ограничений технического характера. Ниже рассматривается возможность выбора структуры (числа слоев и числа нейронов в слое) многослойных нейронных сетей с перекрестными связями, состоящих из нейронов с двумя решениями.
3.1. О критерии сложности задачи
Необходимо остановиться на критерии сложности задачи распознавания, решаемой многослойной нейронной сетью. При использовании детерминированной модели нейронной сети таким критерием может служить количество эталонных образов, заключаемых в замкнутые области гиперплоскостями, реализуемыми нейронами первого слоя в исходном пространстве признаков. При рассмотрении вероятностной модели нейронной сети каждому эталонному образу соответствует мода функции распределения вероятностей совокупности образов на входе нейронной сети. При этом в каждой области исходного пространства признаков многослойная нейронная сеть выделяет уже не эталонный образ, а некоторое компактное множество образов. При многомодальных распределениях совокупностей образов на входе нейронной сети эти компактные множества могут характеризоваться областями в многомерном пространстве признаков, образованными линиями равных значений функции плотности распределения вероятностей (на определенном уровне). Число и сложность данных областей совместно характеризуют сложность решаемой задачи. При этом детерминированная модель нейронной сети мо-йсет рассматриваться как частный случай вероятностной и реализует по сути дела систему памяти для конечного числа Многомерных векторов. Принимая в данном параграфе за критерий качества многослойной нейронной сети число областей, Реализуемых подобной нейронной сетью в исходном пространстве признаков, необходимо отметить, что качество многослойной нейронной сети с последовательными связями, рас-
