Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Датчик входных векторов с многомодальным распределением
Сравнение с ранее найденными оптимальными векторами
Запоминание оптимального вектора в новом локальном экстремуме
Счетчик числа найденных локальных экстремумов
Печать
результатов
обучения
Конец
Рис. 13.8. Структурная схе ма программы, реализующе алгоритм независимого обуч ния нейронов первого слоя мн гослойной нейронной сети с пр менением методов случайног поиска
описанный выше алгоритм. План экспериментов с программой ставил своей задачей выявление свойств процессов обучения слоя нейронов. Характеристики входного сигнала и алгоритм настройки нейронов аналогичны рассмотренным в 12.2. При анализе работы программы по схеме, представленной на рис.13.8, необходимо исследовать следующее:
1. Получение экспериментальной оценки сходимости случайной процедуры, т.е. зависимости количества случайных выбросов начальных условий от N и Z.
2. Зависимость общего времени счета от размерности пространства признаков N, количества искомых экстремумов U, величины шага А. Эксперимент был поставлен таким образом, что обучение новых нейронов формируемого слоя нейронной сети проводилось до тех пор, пока последовательный выброс случайных начальных условий (именно здесь проявляются основные качества случайного поиска), не обеспечивал нахождения всех локальных экстремумов функционала качества при заданной модальности функций распределения входного сигнала. Количество шагов случайного поиска, потребовавшееся для нахождения всех локальных минимумов, приведено в табл.
13.2, где U - количество искомых минимумов, — количество шагов случайной процедуры для нахождения всех U экстремумов. Приближенные оценки математического ожидания и дисперсии числа шагов, необходимого для нахождения U минимумов, имеют вид (8.16а).
Данные табл. 13.2 и п. 8.6 дают возможность достаточно просто определить общее время обучения слоя нейронов многослойной нейронной сети, затраченное при определенной модальности входного сигнала. Отметим, что увеличение размерности пространства признаков ведет, естественно, к увеличению времени обучения, причем это время увеличивается пропорционально росту размерности.
Таблица 13.2
и П?/ Мци Ait/
1 1 1 -
2 4 3 2
3 8 6 3
5 8 10 6
7 23 14 8
10 33 22 12
13.3. Анализ сходимости алгоритмов при увеличении числа гиперплоскостей
Сходимость алгоритмов по вероятности ошибки при услож-| нении структуры нейронной сети зависит от правила выбора очередной подобласти для деления и от алгоритма обучения нейронов на каждом шаге деления. Метод выбора очередной подобласти для деления, описанный выше и состоящий в том,! что на каждом шаге проведения гиперплоскости выбиралась| для деления та область, в которой оценка вероятности ошибки является максимальной, является оптимальным с точки зрев скорости сходимости алгоритма. В большинстве используемьи на практике алгоритмов с последовательным делением простран-1 ства признаков авторами применялись простейшие методы проведения гиперплоскости на каждом шаге, состоящие в настройке нейрона по разомкнутому циклу с использованием первых мс ментов обучающих выборок. Это зачастую приводит к увеличению вероятности ошибки на некотором шаге работы алгоритма (рис. 13.9). На рис. 13.9 в очередной области (незаштрихованна часть) разделяющая поверхность проведена перпендикулярно линии, соединяющей центры двух классов. На данном шаге деления ошибка увеличилась, так как часть образов первог класса попала к образам второго класса. Для обеспечения моно-i тонности изменения вероятности ошибки при увеличении числа гиперплоскостей необходимо применять на каждом шаге алг ритм обучения нейрона, который приводил бы к минимуму вероятности ошибки на каждом шаге (настройка по замкнутом} циклу с минимизацией второго момента дискретной ошибки а2 Обеспечение монотонности изменения вероятности ошибки позволяет сделать минимальным число нейронов первого слоя многослойной нейронной сети. Однако в некоторых случал необходимо идти сознательно на увеличение числа нейронов
первого слоя при немонотонном из-J менении вероятности за счет резког упрощения алгоритма обучения нейронов.
Рис. 13.9. Иллюстрация процесса увеличения вероятности ошибки на некото ром шаге работы последовательного алгоритма: I - первый класс; 11 - второй класс j
У/////////и4УУ//Л
Отметим, что при увеличении числа гиперплоскостей в самом неблагоприятном случае оценка вероятности ошибки стремится к нулю из-за конечности длины выборки, данной для обучения. В связи с этим необходимо указать на два этапа в создании нейронной сети: этап обучения алгоритма и этап оценки его точности. Совершенно естественно, что при наличии в качестве исходного материала выборки длиной М только часть ее Мх (причем несомненно меньшую) нужно использовать для обучения алгоритма. На выборке длиной алгоритм при увеличении числа гиперплоскостей обеспечит нулевую ошибку. Проводя распознавание обученным алгоритмом по элементам выборки М2, равной М-Мр оцениваем действительную точность алгоритма по вероятности ошибки распознавания Pp(Hj). функция АР(Н1)=Рр(Н1)-Р0(Н1), график которой приведен на рис. 13.10, должна быть в принципе монотонно возрастающей при увеличении числа гиперплоскостей из-за уменьшения способности алгоритма к обобщению. Здесь Р0(Н1) -функция изменения вероятности ошибки на этапе обучения нейронной сети. Необходимо отметить, что зачастую кривая Рр(Нх) имеет локальный минимум при конечном определенном значении Hv равном, например Н\. В этом случае может быть выдана рекомендация на выбор именно этого числа гиперплоскостей Н\, если Рр(Н\) удовлетворяет исходным условиям. В некотором смысле описанный выше алгоритм обучения с применением случайного поиска является оптимальным с точки зрения минимизации числа нейронов первого слоя многослойной нейронной сети, так как определяет все локальные моды средней функции риска в пространстве настраиваемых параметров.
