Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Конкретная нейронная сеть, как массив процессоров, св занных между собой специфической сетью связи с обратны связями, реализующими алгоритмы адаптации, является Д1 намической системой, поведение которой в процессе реш ния задачи описывается некоторой системой дифференци альных или разностных уравнений [В-8, В-11]. Представл ние нейронных сетей с замкнутым контуром адаптации л-нейной последовательностной машиной позволяет описать поведение в терминах классического z-преобразования и пр менить к анализу поведения нейронных сетей в процессе р шения задачи не только известные методы анализа повед ния автоматов, как линейных последовательностных маши но и классические методы статистической динамики непр рывных и дискретных систем автоматического управлени Необходимо отметить, что это практически единственн] эффективный путь количественного анализа динамики пов дения массива процессоров в процессе решения задачи, этот путь обеспечивает именно концепция нейронных ЭВ Этот путь открывает в будущем возможность анализа и си-теза структур распределенных ЭВМ в виде массива проце соров в классе нейронных ЭВМ.
10.7. Многослойные нейронные сети с переменной структурой
Выше было отмечено, что многослойные нейронные сети с фиксированной структурой, настраивающиеся по замкнутому циклу, обеспечивают оптимум функционала оптимизации при условных плотностях распределения вероятностей входного сигнала произвольного, не заданного заранее вида. Однако потенциальное качество таких нейронных сетей ограничено априорной информацией о структуре разомкнутой системы. В гл.9 книги [В-6] и в данной книге рассматриваются методы синтеза нейронных сетей, структура разомкнутой части которых априори не фиксируется и является результатом настройки наряду со значениями настраиваемых коэффициентов. При этом в процессе настройки выбираются число слоев и число нейронов в слое. В данной книге рассматриваются некоторые варианты построения нейронных сетей с переменной структурой, особенности исследования динамики процесса настройки на уровне исследования зависимости значения функционала оптимизации от числа нейронов в слоях и числа слоев. В конечном итоге нейронная сеть с переменной структурой реализуется в виде однородной многослойной нейронной сети.
10.8. Выбор информативных признаков в многослойных нейронных сетях
Еще в работе [В-6] была сделана попытка с единой точки зрения взглянуть на разрозненные достаточно многочисленные работы по вопросу выбора информативных признаков и дать начало так называемым структурным методам, имеющим объективной предпосылкой своего рассмотрения методы синтеза многослойных нейронных сетей.
Необходимо отметить, что зачастую бытующее представление о возможности так называемого предварительного выбора признаков, по мнению автора, является неверным, так как при любой процедуре выбора признаков косвенно или прямо должна быть использована конкретная нейронная сеть. Именно поэтому с этой точки зрения всякая процедура выбора признаков является субъективной, где субъектом является нейронная сеть конкретного типа.
Второй тезис, выдвигаемый автором для утверждения предлагаемого подхода, заключается в «абсолютности» фун-
кционала первичной оптимизации как показателя информ тивности признаков. Именно поэтому оценки, связанные дивергенцией, средней условной энтропией и т.п., являют приближенными и частными.
Вышесказанное делает необходимым рассмотрение воп выбора информативных признаков после окончания проце синтеза и исследования динамики нейронных сетей. По мне автора, многослойные нейронные сети с фиксированной и п ременной структурой обладают наименьшей степенью субъе тивизма по отношению к входному сигналу (предмету исслед вания с помощью нейронных сетей), так как синтезируются, частности для задач распознавания образов, исходя из услов отсутствия информации об условных плотностях распредел ния образов внутри классов. Именно поэтому в основном ра сматривается применение многослойных нейронных сетей д. выбора наиболее информативных признаков исходного простра ства признаков.
Применение и исследование многослойных нейронных с тей позволяет поставить задачу выбора наиболее информа тивных признаков не исходного, а промежуточных пространст формируемых выходными сигналами нейронов первого, вт рого и т.д. выходного слоев нейронных сетей. Данная задач может трактоваться как задача минимизации структуры (чис нейронов в каждом слое) многослойной нейронной сети пос окончания настройки ее коэффициентов.
10.9. Исследование надежности нейронных сетей
Проблема исследования надежности нейронных сетей на ходится еще в самом начале своего развития. Ее решени наверняка окажет революционное воздействие на реализа цию нейрокомпьютеров на принципиально новых технолог*, ях, в частности на системах на пластине. Еще в трехслойно персептроне Ф. Розенблатта [В-1] отмечалось свойство стру-туры персептрона сохранять работоспособность при выход из строя определенного количества элементов (нейронов). Пр отсутствии явного резервирования это свойство неприсущ современным вычислительным машинам. Это не касаетс пожалуй, лишь вычислительных машин с архитектуро МКМД (много потоков команд — много потоков данных), гд асинхронный принцип функционирования массива процесс
