Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
тить, что чем больше номер слоя, тем менее актуальной становится задача минимизации числа нейронов в слое ввиду специфики структуры разомкнутой многослойной нейронной сети, связанной с уменьшением числа нейронов от первого слоя к выходу вследствие сжатия информации.
14.5.0 выборе информативных признаков
в многослойных нейронных сетях в режиме самообучения
В режиме самообучения справедливы все постановки задачи выбора информативных признаков, описанные в п.14.1. Меняются лишь критерий выбора информативных признаков. Если в режиме обучения таким критерием является значение средней функции риска (в частном случае, вероятности правильного распознавания), то в режиме самообучения критерием информативности признаков является значение специальной средней функции риска. С данной точки зрения в режиме самообучения роль структурных подходов к выбору информативных признаков возрастает по сравнению с режимом обучения, так как, с одной стороны, эта задача, как нам известно, еще не была ранее поставлена, с другой стороны, хотя в принципе и возможна, является трудной задачей обобщения на случай самообучения подходов к выбору информативных признаков, связанных с дивергенцией, средней условной энтропией, а также упрощенными оценками. Достаточно просто методологически обобщаются на режим самообучения методы выбора информативных признаков, описанные в п.14.3 для режима обучения и систем распознавания с переменной структурой, а также соответствующие методы минимизации структуры многослойных систем. Минимизация структуры систем распознавания, имеющих при настройке фиксированную структуру, должна производиться путем анализа структуры настроенной многослойной нейронной сети и полученного в результате настройки значения специальной средней функции риска.
Литература
14.1. Галушкин А.И. Синтез многослойных систем распознавания образов. - М., Энергия, 1974, с.367.
14.2. Галушкин А.И. Итоги развития теории многослойных нейронных сетей (1965-1995 гг.) в работах Научного центра нейрокомпьютеров и ее перспективы. М., 1996.
РАЗДЕЛ 4. НАДЕЖНОСТЬ И ДИАГНОСТИКА НЕЙРОННЫ] СЕТЕЙ* Глава 15. Надежность нейронных сетей
15.1. Методы исследования функциональной надежности нейронных сетей
Первые попытки оценки функциональной надежности не ронных сетей были экспериментальными [15.1], либо качестве ными [15.2]. Качественные оценки показали, что сети ней подобных элементов обладают логической избыточностью [15. [15.3], т.е. отказы некоторых элементов не вызывают появ ния ошибки на выходе всей сети.
Попытки аналитического исследования надежности нейро ных сетей сталкиваются с математическими сложностями, ряде работ, например, в [15.4 -15.6], говорится о невозмо ности (по крайней мере, общепринятыми методами) полно аналитического исследования нейронных сетей. В этих ра* тах для частного вида нейронных сетей для простейших сл чаев на основе теории марковских процессов строился гр* переходов сети при отказах отдельных нейронов, записьг лась и решалась соответствующая система дифференциал ных уравнений. Недостатком такого подхода является то, ч даже для простых графов оказывается затруднительным яв разрешить данную систему дифференциальных уравнений.
В работе [15.7] рассматривается надежность нейронной се в смысле ее логической устойчивости. Логическая устойчиво исследуется с помощью карт устойчивости, которые мож расписать в явном виде лишь для простейших сетей, напр мер, триплета порогового элемента (ПЭ). Для практическо исследования более сложных сетей этот метод не пригоден.
В работе [15.8] для специфических нейронных сетей выв дились эмпирические выражения для надежности такой се при ограничениях на ее сложность (под сложностью поним лась суммарная нагруженность нейронов сети по входам). П лученные вспомогательные эмпирические выражения и чи ленный расчет по ним не могут претендовать на объективн оценку функциональной надежности рассматриваемой сети П
* Материал данного радела написан совместно с Фоминым Ю.И.
В работах [15.9] - [15.12] делается попытка исследовать надежность одного нейрона с учетом того, что весовые коэффициенты, порог и значения входов - суть случайные величины. Даже в таком простом случае при принятых в работах допущениях авторам не удалось получить точный аналитический результат. Можно перечислить несколько недостатков методики упомянутого исследования: все аналитические выкладки основывались на экспериментально полученной (для конкретной реализации нейрона на согласованной паре туннельных диодов) и затем аппроксимированной вероятностной релейной функции нейрона (ВРФ); ряд промежуточных результатов, например, математическое ожидание ВРФ в [15.11] был получен путем дополнительных упрощений ввиду математических сложностей; в конце концов полученное выражение может быть проинтегрировано лишь с помощью численных методов. Тем не менее, данное исследование, с нашей точки зрения, является наиболее успешным аналитическим исследованием надежности нейрона, так как учитывает как функциональную структуру нейрона, так и вероятностную модель его функционирования. Попытка провести аналогичное исследование надежности для многослойной нейронной сети для более простой вероятностной модели показывает невозможность разрешения поставленной задачи даже приближенно.
