Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Формальная постановка задачи обучения нейронных сетей заключается в аппроксимации заданной выборочно функции указаний учителя некоторым автоматом, свойства которого заданы. Формальная постановка задачи самообучения рассматривается как выделение в пространстве входного сигнала областей мод функции распределения совокупности образов на входе. Формальная постановка обучения нейронных сетей учителем, имеющим конечную квалификацию, в некотором смысле обобщает эти постановки.
Существующие разработки в области распознавания образов в основном относятся к стационарным образам, когда распределение входного сигнала нейронных сетей не зависит от времени. В данной книге рассматриваются нестационарные образы, когда распределение входного сигнала нейронных сетей зависит от времени.
10.3. О выборе критериев первичной оптимизации нейронных сетей
В качестве критериев первичной оптимизации многослойных нейронных сетей в режиме обучения распознаванию образов рассматривается в основном класс критериев теории статистических решений, таких, как критерий максимума апостериорной вероятности, критерий минимума средней Функции риска, критерий минимума средней функции риска при условии равенства между составляющими средней Функции риска для образов различных классов, критерий Минимума средней функции риска при условии задания зна-
2*
чения составляющей средней функции риска для одного иа классов.
В режиме самообучения предпосылкой формирования критерия и функционала первичной оптимизации нейронных сетей служит представление плотности распределения входног сигнала в виде многомодальной функции, где каждой моде некоторой вероятностью соответствует класс. В качестве кри-j териев первичной оптимизации нейронных сетей в режиме самообучения на первом этапе исследований используются мс дификации средней функции риска. Данный критерий потре4 бовал естественного обобщения при переходе к континууь классов и решений. Отдельным вопросом, рассматриваемым книге, является вопрос формирования функционала первичной оптимизации в случае произвольной квалификации учителя.
10.4. Анализ разомкнутых нейронных сетей
Формальным аппаратом, используемым при анализе ра^ зомкнутых систем, является аппарат, основанный на точнь методах вероятностного анализа многомерных нелинейны систем. Переход в основном к анализу распределений и мо ментов распределений ошибок обуславливается тем, что ре зультаты данного анализа формально не зависят от сложно сти и вида нейронных сетей, за исключением характеристи пространства признаков и пространства решений. Этот суще ственный момент в дальнейшем широко используется на эта пах выбора или формирования функционала вторичной от мизации, а также построения замкнутых нейронных сетей|
Под функционалом вторичной оптимизации понимаете функционал, выражаемый через параметры распределена текущих сигналов в нейронных сетях и непосредственно ми нимизируемый в многослойных системах при настройке замкнутому циклу. На данном этапе синтеза рассматриваютс в основном два вопроса.
Первый вопрос связан с исследованием соответствия и4 пользуемых в известных работах функционалов вторично оптимизации некоторым критериям первичной оптимизаци Предметом рассмотрения здесь являются известные адапти! ные системы, такие, как Адалин, матрица Штайнбуха, трез слойной персептрон Розенблатта (вернее, его настраивав мый выходной блок). В качестве основного недостатка такй
подходов отмечается, что в большинстве случаев не рассматривается соответствие выбираемых функционалов вторичной оптимизации конкретным критериям первичной оптимизации. Это приводит к практическому отсутствию работоспособности некоторых систем при многомодальных распределениях входного сигнала.
Вторым, основным на данном этапе синтеза вопросом, является формирование функционала вторичной оптимизации, соответствующего заданному критерию первичной оптимизации. Соответствие здесь понимается в смысле совпадения параметров нейронной сети при обеспечении минимума функционалов первичной и вторичной оптимизации. В книге изложена общая методика формирования функционала вторичной оптимизации, соответствующего заданному критерию первичной оптимизации. Приведены результаты применения данной методики для многослойных нейронных сетей различной структуры и критериев первичной оптимизации.
10.5. Алгоритмы поиска экстремума функций многих переменных и построение алгоритмов адаптации в нейронных сетях
В главах 6, 7 работы [В-6] рассмотрены алгоритмы поиска экстремума функций многих переменных и их применение для построения алгоритмов адаптации в нейронных сетях.
Вопросу организации процедуры поиска экстремума функционала вторичной оптимизации в литературе уделяется значительное внимание. Нас в основном будут интересовать вопросы правомочности и целесообразности применения той или иной градиентной процедуры (Ньютона, релаксационной, наискорейшего пуска, стохастической аппроксимации и т.д.) поиска локального экстремума.
Применение итерационных методов при разработке алгоритмов поиска экстремума функций многих переменных имеет свои особенности при построении адаптивных систем [В-10]. Они связаны в основном с тем, что при неизвестных характеристиках входного сигнала в условиях так называемой априорной недостаточности даже при фиксированной структуре нейронных сетей ничего нельзя сказать о виде функционала вторичной оптимизации кроме того, что он имеет несколько локальных экстремумов, все или по крайней мере некото-
