Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
что и требовалось доказать.
Аналогичные выражения можно получить для случаев тп~ const и N Ф 1, а также для более сложных структур многослойных нейронных сетей. Однако при этом резко возрастает сложность полученных выражений. Анализ данных выражений в явном виде, т.е. анализ качества настройки нейронных сетей в пространстве настраиваемых коэффициентов, вряд ли имеет смысл, особенно для случая многослойных систем. В данном случае необходимо переходить к распределению вероятности правильного распознавания интегрированием по пространству настраиваемых коэффициентов. На наш взгляд, эта задача, достаточно сложная с математической точки зрения, может служить предметом самостоятельного рассмотрения. В данном случае можно записать, пожалуй, только общие выражения для математического ожидания и дисперсии средней функции риска:
MR= J /**(а)[{ { /Е(е)/(х/е) I [хк=Р{х), e]de dx]da;
А EX
DR= J f**(a)[R~MR]2da.
A
Указанная выше сложность аналитического исследования замкнутых систем с фиксированной структурой, настраивающихся по замкнутому циклу, приводит к необходимости применения для исследования указанных систем, в основном многослойных, методов статистического моделирования.
Литература
12.1. Галушкин А.И. Методика синтеза обучающихся по разомкнутому циклу систем распознавания нестационарных образов. Тез. докл. III Укр. респ. конф. по бионике. Киев, ИК АН УССР, 1969.
122. Галушкин А.И., Василькова Т.А., Слободенюк В.А., Тюхов Б.П. Анализ динамики систем распознавания нестационарных об-разов//Труды МИЭМ, вып.23, 1971.
123. Ванюшин В.А., Галушкин А.И., Тюхов Б.П. Построение и исследование многослойных систем распознавания образов. Сб.
Некоторые проблемы биологической кибернетики/ Под общ. ред. акад. А.И. Берга. - М., Наука, 1972, с. 315-323.
12.4. Галушкин А.И. Синтез многослойных систем распознавания образов. - М., Энергия. 1974.
12.5. Галушкин А.И., Кудрявцев А.М. Обращение матрицы с помощью многослойной системы из пороговых элементов. Кибернетика и вычислительная техника, вып. 33. Киев, Наукова Думка, 1976.
12.6. Галушкин А.И. Расчет и реализация оптимальных дискретных фильтров. В сб.: Автоматическое управление и вычислительная техника, вып. 9. М., 1968, с. 72-128.
127. Галушкин АЛ, Зртов Ю.Я., Шикунов Ю.А. Оперативная обработка экспериментальной информации. - М., Энергия. 1972, 360 с.
12& Steriti R., Coleman J., Fiddy M.A. Aneral network based matrix inversifn algoritm. IJCNN, Jnt Jt. Conf. Neural Networks, San Diego, Calif., vol 1, 1990, c. 467-470.
12.9. Steriti R., Coleman J., Fiddy M.A. Regnlarized matrix inversion on a nenral network architecture. IJCNN - 91, Sea tile, Wach, July 8 - 12, vol 2, 1991, c. 938.
12.10. Викторов H.B., Галушкин АЛ. Построение и исследование систем распознавания образов при произвольной квалификации учителя. // Медицинская радиоэлектроника. ВНИИМеждуна-родной техники, 1976, с.95-106.
Пша 13. Синтез многослойных нейронных сетей с переменной структурой
Несмотря на то что при построении многослойных нейронных сетей с фиксированной структурой, настраивающихся по замкнутому циклу, необходимость в некоторой априорной информации о характеристиках входного сигнала отпадает по сравнению с разомкнутым циклом, все же потенциально достижимая величина вероятности правильного распознавания здесь ограничена за счет фиксации структуры нейронной сети. В данной главе рассмотрен синтез многослойных нейронных сетей с переменной структурой (рис. 13.1), выбираемой в процессе настройки исходя из обеспечения заданной вероятности правильного распознавания. На рис.
12Д у(х) - структура преобразования разомкнутой части нейронной сети. Методы настройки многослойных нейронных сетей с переменной структурой, выбираемой исходя из обеспечения заданной вероятности правильного распознавания, основаны на последовательном обучении слоев нейронов, причем методы обучения каждого слоя могут быть идентичными.
13.1. Последовательный алгоритм обучения нейронов первого слоя многослойной нейронной сети
Последовательные алгоритмы обучения первого слоя нейронов многослойной нейронной сети основаны на постепенном увеличении числа гиперплоскостей, составляющих результирующую кусочно-линейную гиперповерхность, до тех пор пока не будет достигнуто нужное качество распознавания или выполнено какое-либо другое условие окончания процесса обучения. Процесс обучения сводится к формированию логического дерева. В геометрической интерпретации это выглядит следующим образом. Пространство признаков оптимально делится некоторой нейронной сетью с фиксированной структурой (например, нейроном) на две части, затем полученные подпрос-
х(п)
Нейронная
сеть
7\
У(п)
У(ос)
е(п)
Блоки
настройки
а(п)
О
Рис. 13.1. Структурная схема нейронной сети с переменной структурой, настраивающейся по замкнутому циклу
