Научная литература
booksshare.net -> Добавить материал -> Биология -> Галушкин А.И. -> "Теория нейронных сетей" -> 107

Теория нейронных сетей - Галушкин А.И.

Галушкин А.И. Теория нейронных сетей — М.: ИПРЖР, 2000. — 416 c.
ISBN 5-93108-05-8
Скачать (прямая ссылка): teoriyaneyronnih2000.pdf
Предыдущая << 1 .. 101 102 103 104 105 106 < 107 > 108 109 110 111 112 113 .. 131 >> Следующая

Рис. 14.3. К доказательству возможности использования коэффициентов нейронов в качестве оценок информативности признаков
Минимизация структуры при рассмотрении алгоритмов настройки многослойных нейронных сетей с фиксированной структурой и множество этапов настройки с заданием случайных начальных условий является самостоятельной задачей. При этом возникает необходимость усреднения результатов настройки по множеству этапов выброса случайных начальных условий для поиска локально оптимальных значений настраиваемых коэффициентов. При этом, несмотря на то что настройка многослойных нейронных сетей производится при фиксированной структуре, на каждом этапе выброса случайных начальных условий возможно проведение минимизации числа нейронов в слоях путем выбрасывания нейронов с одинаковыми (приближенно с точки зрения реакции на входные образы) величинами коэффициентов, получающихся из-за избыточности фиксированной структуры многослойной нейронной сети при обеспечении ею локального экстремума средней функции риска. Сравнение указанных минимизированных структур и локально оптимальных значений средней функции риска дает непосредственное правило минимизации числа нейронов в многослойной нейронной сети, настраивающихся по замкнутому циклу при фиксированной структуре.
Отдельно необходимо остановиться на вопросе минимизации числа нейронов в слое при независимом обучении нейронов с выбором для каждого нейрона случайных начальных условий. После получения результатов независимого обучения Hj нейронов первого слоя, обеспечивающих локальный экстремум функционала оптимизации, задача выбора по результатам настройки одного из Нг нейрона, обеспечивающего экстремальное значение функционала оптимизации, является тривиальной. Задача выбора Н1°<Н1 из Нх нейронов, обеспечивающих экстремальное значение функционала оптимизации, является трудной задачей, возможно неразрешимой в такой постановке (за исключением пути, связанного с очевидной процедурой полного перебора). Это достаточно легко иллюстрируется на примере рис. 14.4, в котором Для каждого варианта выбора порогов (параметров и структуры первого слоя нейронов) указана в процентах величина
у90СУ?\, =?ф'
U»2
Рис. 14.4. Пример минимизации числа нейронов первого слоя многослойной нейронной сети: 1 - первый класс; 2 - второй класс
вероятности ошибк На рис. 14.4 цифры ок ло стрелок указываю номер класса. При обо щении на случай ело ных и не известных в о щем виде распределена /'(х/е) этот подход такж демонстрирует в некот рой степени свою огран ченность, однако эт ограниченность полное тью объясняется с поз ций тезиса о невозмоа ности выбора информа тивных признаков д окончания этапа настро^ ки. Поясним это на кон ретном примере. Н рис. 14.5 представлен линии равных значени /'(х/е) в многомодально случае и показаны четы ре положения линейно разделяющей поверхнос ти, обеспечивающие л кальный экстремум Рп Отсюда следует, что пр фиксированной структу, ре разомкнутой много, слойной нейронной сет любая оценка информа тивности будет не толь ко субъективной, но локальной, так как настроенная многослойная нейронная сет с фиксированной структурой обеспечивает лишь локальнь экстремум функционала оптимизации. Эти рассуждения спра ведливы и для режима самообучения.
Рис. 14.5. Иллюстрация к свойству локальной оптимальности процедуры выбора информативных признаков: 1 - первый класс; 2 - второй класс
14.3. Выбор информативных признаков исходного пространства с помощью многослойных нейронных сетей с последовательными алгоритмами настройки нейронов первого слоя
Основной вопрос состоит в том, как можно оценить относительную величину вероятности правильного распознавания по структуре обученной многослойной нейронной сети и результатам обучения. Сравниваются в плане информативности две группы признаков. В данном случае можно привести несколько методов оценки информативности признаков.
1. При использовании многослойных нейронных сетей с последовательными алгоритмами обучения нейронов первого слоя на некоторой конечной обучающей выборке обеспечивается заданная величина РПрав=С0^>в частности Рправ-1- Тогда, если первая многослойная нейронная сеть с характеристиками Nv Р1прав имеет больше нейронов в первом слое, чем вторая многослойная нейронная сеть с характеристиками ЛГ2, Р2прав= Р1прав' группа из N j признаков менее информативна, чем группа из N2 признаков. Это следует из объективной необходимости большего числа нейронов в первом слое многослойной нейронной сети при большем пересечении классов. Подобный способ оценки информативности признаков исходного пространства верен только при определенных ограничениях, рассмотренных ниже.
2. Предположим, что на каждом шаге обучения первого слоя обеспечивается минимальное значение ошибки распознавания. В результате настройки многослойной нейронной сети имеем кривые изменения Рправ от Нх (числа нейронов первого слоя) на совокупностях признаков Nt (НСХ) и N2 (НС2) (рис. 14.6,а). Рассмотрение кривых показывает, что в данном случае группа признаков JVj менее информативна, чем группа признаков N2. Здесь рассматривается случай, когда превышение информативности для N2 по сравнению с Nx наблюдается при любой структуре (Нх) многослойной нейронной сети. Данная методика выбора информативных признаков включает в себя изложенную в п.1 как частную.
Предыдущая << 1 .. 101 102 103 104 105 106 < 107 > 108 109 110 111 112 113 .. 131 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed