Научная литература
booksshare.net -> Добавить материал -> Биология -> Галушкин А.И. -> "Теория нейронных сетей" -> 108

Теория нейронных сетей - Галушкин А.И.

Галушкин А.И. Теория нейронных сетей — М.: ИПРЖР, 2000. — 416 c.
ISBN 5-93108-05-8
Скачать (прямая ссылка): teoriyaneyronnih2000.pdf
Предыдущая << 1 .. 102 103 104 105 106 107 < 108 > 109 110 111 112 113 114 .. 131 >> Следующая

3. При наличии достаточно большой обучающей выборки зависимость Рправ (Hj) имеет характер, изображенный на рис. 14.6,
б. Достаточное приближение кривой Рправ (Нх) к асимптоте (точки
1 и 2) на рис. 14.6, б означает переход от статистического режима обучения к детерминированному, когда многослойная нейронная сеть заключает в отдельные подобласти совокупности
в г
Рис. 14.6. Выбор информативных признаков с помощью многослой| ной нейронной сети с переменной структурой
образов с малым числом членов. В данном случае оценка ищ формативности групп признаков должна производиться путем сравнения установившихся значений зависимостей Р в (Hj). :
4. В случае неоптимального алгоритма настройки на каж^ дом шаге первого слоя многослойной нейронной сети в общей случае имеет место картина, изображенная на рис.14.6,
В данном случае (более общем, чем предыдущие) оценка ин-j формативности производится либо как ранее в п.З, либо при любом Я j с оговоркой, что оценка информативности произвс дится при данном алгоритме настройки и данном числе ней^| ронов в первом слое.
5. Выше принималось, что вся исходная выборка исполь-* зуется на этапе обучения и оценки информативности, и нё учитывалась возможная непредставительность обучающей выборки. Для учета представительности обучающей выборки необходимо произвести обучение на части АМг всей исходной выборки. Зачастую для проверки представительности необходимо выбирать несколько интервалов А М. и помещать их различных участках исходной выборки. Распознавание обученной многослойной нейронной сети производится на полно» объеме обучающей выборки. Анализ результатов обучения Р^ (Hv ДЛГ) и распознавания Ррасп (Нг) (рис. 14.6, г) позволяе оценить стационарность и представительность обучающей выборки, а также информативность отдельных групп признаков^
вого слоя многослойной нейронной сети характеризуется графом, являющимся прадеревом, каждой вершине которого соответствует нейрон с некоторой величиной приращения Рправ, имеющей место при введении данного нейрона. Данный граф является исходной информацией для указанной выше процедуры минимизации. Граф может быть минимизирован в одной из следующих постановок: при заданной величине Рправ минимизировать число вершин графа, при заданном числе вершин с ветвлениями выбором структуры прадерева обеспечить максимальную величину Рправ.
На рис. 14.7 представлена иллюстрация исходной информации для минимизации прадерева. Слева в кружке указывается номер вершины нейрона в исходном графе. Справа в кружке указан номер вершины нейрона в результирующем оптимизированном графе. Номер каждого ребра графа совпадает с номером делимой области, причем нумерация областей производится следующим образом (гл.13). Область с номером у делится на две подобласти с номерами 2у и 2у+1, где подобласть с номером 2у относится к первому классу, а подобласть с номером 2у+1 - ко второму. В качестве правила выбора очередной подобласти для деления зачастую наиболее целесообразно взять правило выбора той подобласти, которая содержит наиболь-
Рис. 14.7. Минимизация числа нейронов первого слоя многослойной нейронной сети с переменной структурой
а
шее число векторов первого и второго класса. Пунктиром графе показаны те подобласти, в которых имеется сравнитель незначительное число векторов. Около каждой вершины гра в квадратных скобках указывается приращение Рправ, обес чиваемое введением соответствующего нейрона. Это прира ние может быть и отрицательным из-за неоптимальности ( Рправ) мет°Да настройки отдельного нейрона.
Оптимизация прадерева происходит следующим образо
1) в случае первого ветвления (нейрон 3 и нейрон 8 в ] ходном графе) сравниваются приращения Рправ- К оптими рованному графу относится нейрон с максимальным прира нием Рправ (на графе нейрон 3);
2) далее сравниваются по величине ДРправ нейроны дан го и последующих ветвлений (нейрон 8 и нейрон 4) и так выбирается нейрон с максимальным значением ДРправ и вкл ; чается в оптимизированный граф;
3) данный процесс продолжается до тех пор, пока су приращений вероятностей правильного распознавания не стигнет заданной величины Рправ или пока число вершин г фа не достигнет заданной величины.
На рис. 14.7, а данная процедура приводит к оптимально обходу вершин графа так, как обозначено в кружках (вер нах) справа. На рис. 14.7, б представлен результат оптимиза] графа рис. 14.7, а для двух критериев: Рправ>0,7 и Рправ>0,73. оптимальном графе порядок обхода вершин не совпадает с с; ходом вершин на этапе обучения. Исходными данными для об чения нейрона второго слоя многослойной нейронной сети, к указывалось в гл. 13, являются логическая функция, дополне ная определенным образом и составляющая обучающую выбо ку и значение вероятности ошибки, соответствующее кажд подобласти (т.е. каждой реализации логической функции).
Идея применения последовательных алгоритмов для об чения нейронов второго слоя заключается в использован-последовательных алгоритмов с учетом для каждого обуча щего вектора веса, определяемого Рош в подобласти, соотв' ствующей данному вектору. При обучении ошибка в подобла ти подсчитывается как сумма ошибок для всех векторов, н правильно отнесенных к тому или иному классу. Идея мин мизации числа нейронов второго слоя и последующих сло многослойной нейронной сети в данном случае остается т же, что и для нейронов первого слоя. Необходимо лишь от
Предыдущая << 1 .. 102 103 104 105 106 107 < 108 > 109 110 111 112 113 114 .. 131 >> Следующая

Реклама

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed

Есть, чем поделиться? Отправьте
материал
нам
Авторские права © 2009 BooksShare.
Все права защищены.
Rambler's Top100

c1c0fc952cf0704ad12d6af2ad3bf47e03017fed