Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Одним из методов построения такой подвыборки являете детерминированный выбор, например, К (либо 2К, 3К и т.д. образов, каждый из которых принадлежит одному из К клас сов образов. Выбор образов одного класса можно производит-случайно, либо в качестве представителя класса брать е характерный образ (например, математическое ожидание), случае предельного уменьшения объема предвыборки в зави симости от наличия либо отсутствия априорной информации мы переходим к детерминированному либо случайному выбо ру начальных условий, соответственно.
13.9.06 алгоритме самообучения многослойных нейронных сетей с переменной структурой
Изложенные методы настройки многослойных нейроннь: сетей с пременной структурой применимы к решению задач самообучения (кластеризации), когда на входе нейронной сет имеется случайная выборка с многомодальным распределе нием без указания отнесения образов к тому или иному клас
Рис.13.17. Структурная схема программы, реализующей алгоритм с переменной структурой
су. В этом случае многослойная нейронная сеть настраивается на распознавание двух классов образов:
- первый класс представляет собой исходную выборку;
- второй класс является искусственно генерируемой случайной выборкой с равномерной функцией распределения вероятностей в диапазоне изменения признаков. Размерность пространства признаков выборок первого и второго класса совпадает.
Литература
13.1. Галушкин А.И. Многослойные системы распознавания образов. -М., МИЭМ, 1970.
13.2. Галушкин А.И. Синтез многослойных систем распознавания образов. -М., Энергия, 1974.
13.3. Грачев Л.В., Симоров С.Н. Статистические исследования многослойных нейронных сетей с переменной структурой. // Нейрокомпьютер ~№ 2, 1992, с. 5-8.
13.4. Герасимова А.В., Грачев Л.В. К вопросу о представительности обучающей выборки для парадигмы нейронных сетей с переменной структурой. // Нейрокомпьютер -№3,4, -1992, с. 3-6.
13.5. Дертоузос М. Пороговая логика. -М., Мир, 1967, 343 с.
Глава 14.Выбор информативных признаков в многослойных нейронных сетях
14.1. Постановка задачи выбора информати&Нь1Х признаков в режиме обучения
Проблема выбора информативных признаков яьЛяется са^ мостоятельной в теории распознавания образов и а настоящей, время не решена до конца. В данной книге кратко изложенш существующие подходы к проблеме выбора инФс>рмативн1. признаков, а также вводятся так называемые структурный методы, основанные на методах синтеза многослойна систей распознавания образов [14.1, 14.2].
Основой предлагаемого подхода к проблеме выб0ра Инфор] мативных признаков являются изложенные ниже три тезиса!
1. Бытующее представление о возможности пРедваритель-1
ного выбора информативных признаков до этапа настройк» многослойных нейронных сетей является неверные ,
_ u ^ «К Ка К ]
любой из известных процедур выбора прямо илц косвеннй присутствует настроенная многослойная нейронная Сеть ^ этоя точки зрения всякая процедура выбора информат^ЙНЬ1х J знаков является субъективной, где субъект - это многослой? ная нейронная сеть в том или ином формальном н„. Q ; мальном представлении. '
2. Критерием информативности признаков мож^т служить только критерий первичной оптимизации, принять^ для ПЯНд ной системы. Применение вместо критериев первичной оптимизации аппроксимирующих критериев, таких как экстрему» дивергенции или средней условной энтропии, вноСит дополнительные ошибки, сужает границы их применимоСти и дОЛ_ жно быть обосновано количественно.
3. Необходимо выбирать такие типы многослойна нейрон-1 ных сетей, которые в процедуре выбора информать^^ ПрИ_ знаков являются наименее субъективными, т.е. те> которые обеспечивают оптимальные решения в достаточно широких пределах изменения характеристик входного сигнала многослойных нейронных сетей (число классов, сложность распределений внутри классов).
Первоначально задача выбора информативных признаков в режиме обучения ставилась и ставится во мног^ работах как задача выбора из N исходных признаков Nx=cot^ Призна_
ков, обеспечивающих максимальную вероятность правильного распознавания. Эта постановка может быть интерпретирована в другой форме. Из N исходных признаков выбрать то минимальное число N: признаков, которые обеспечивают заданную вероятность правильного распознавания. Определим в данном случае критерий информативности признаков. Предположим, что НС0, HCj, НС2 (нейронная сеть) соответственно с N-N^N2, JVj и N2 признаками (рис.14.1) по некоторой выборке обеспечивают вероятности правильного распознавания соответственно Р, Р1 и Р2. Если РХ>Р2, то группа из Nx признаков будет более информативной по сравнению с группой из N2 признаков. В этом случае использование группы из JV2 признаков будет целесообразным, если приращение вероятности правильного распознавания АР = Р - Р оправдано для конструктора тем усложнением многослойных нейронных сетей, которое имеет место при прибавлении групЯЫ из N2 признаков. Таким образом, в данном случае определяется основной критерий выбора информативных признаков. Данная постановка задачи выбора информативных признаков оправдана большим кругом практических задач, в которых отдельные группы признаков формируются различными (зачастую, независимыми) измерителями, и перед разработчиком многослойных нейронных сетей встает задача минимизации числа измерителей - сжатие исходного описания с целью упрощения как измерительного устройства, так и самой многослойной нейронной сети. В частности, при решении задачи сравнительной оценки информативности признаков принимаются путем анализа вероятности правильного распознавания Рправ. получен-((х1е ДЛя четырех групп признаков: (xv xN), ([Xv V ^ *<),
