Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
транства делятся еще раз и т.д. На рис. 13.2-13.4 представлены! соответственно общая структурная схема алгоритма, иллюст-| рация к построению кусочно-линейной разделяющей поверхности, реализуемой нейронной сетью с переменной структурой, и логическое дерево, описывающее процесс построена разделяющей поверхности. На рис. 13.2: I - блок определения параметров нейронной сети с фиксированной структурой; II блок разделения входной обучающей последовательности; VI блок управления; III (пунктир) - алгоритм многослойной ней-J ронной сети с переменной структурой на первом шаге, аналогично которому строятся блоки III. На рис. 13.3 двойной лини-i ей изображена результирующая граница между классами| Первая гиперплоскость ф0(х) разбивает пространство признан ков <?>0 на две подобласти Фг и Ф2, причем Фг считается собственной областью образов первого класса, Ф2 - второго. Обучающую выборку L0 делим на две: Ьг и L2, состоящие из век-j торов, попавших в Ф1 и Ф2 соответственно. Подсчитывается число неправильно классифицированных образов и 02 в каж-| дой из подобластей. Выбирается максимальный элемент из шин жества {01( 02} и дальнейшему делению подвергается соответ-1 ствующая подобласть. Пусть После деления Ф1 гиперп-1
лоскостью получаем области Фп и Ф12. Вычисляем 0П и 012: сравниваем ошибки распознавания. Если то введе-1
ние новой гиперплоскости улучшает качество распознавания В этом случае выборку Ьг разбиваем на подвыборки Ln и L13
Рис. 13.2. Структурная схема алгоритма последовательного пое! роения кусочно-линейной разделяющей поверхности
Рис. 13.4. Логическое дерево: а - схема построения кусочно-линейной разделяющей поверхности рис. 13-2; б - последовательная нумерация вершин дерева
Снова выбираем подпространство с наибольшим числом неправильно классифицированных образов, строим новую гиперплоскость и т.д. В результате получается набор областей
Ф{, Фу, . ¦ . , Фу д. -(, где индексы г, j, к.t принимают
значение 1 и 2. Если проведение гиперплоскости в подпространстве Фijk t не приводит к уменьшению ошибки распознавания, то следует продолжить деление вновь полученных областей. При обучающей выборке конечной длины алгоритм всегда сходится к 8=0, однако сходимость может быть и немонотонной. При построении подобных алгоритмов [13.1] необходимо ограничивать число шагов, при которых ошибка увеличивается. Если при заданном числе шагов ошибка не уменьшится, данная исходная область Фу к t исключается из числа подпространств, которые подвергаются делению, т.е. величи-на t исключается из набора Q., 0^., ¦ ¦ ¦ , 0ijlc t, среди которых отыскивается наибольшая величина ошибки. В [13.1] рассматриваются следующие правила остановки алгоритма:
1) остановка при достижении заданного значения вероятности ошибки; 2) остановка при достижении заданного числа гипер- j плоскостей (числа нейронов первого слоя многослойной нейронной сети). Структурная схема программы, реализующей) алгоритм построения кусочно-линейной разделяющей поверх-} ности, приведена на рис. 13.5. Назначение большинства опера- j
торов понятно из вышеиз-1 ложенного, поясним лишь j три из них.
Оператор «Логическое j дерево». Для пояснения его] работы удобно воспользоваться рис. 13.4, на котором! приведено логическое дерево для построения разделяющей поверхности, изобра-1 женной на рис 13.3. Как вид- 3 но из рис. 13.4, вершины дерева могут быть двух типов: I промежуточные вершины, вершины, являющиеся кон- j цами дерева.
Началом дерева («кор-1 нем») является вершина с] индексом нуль, а концы де-1 рева соответствуют опреде-j ленным классам образов. Любой образ х после при-] менения к нему оператора] «Логическое дерево» попа-] дает в один из концов де-1 рева и относится к соответ-1 ствующему классу образов.] Для принятия решения о] направлении дальнейшего движения из вершины г, j, к, . .. , t] используется функция ф.. к t(x). Если sign . к t(x)>0, то дальнейшее движение происходит по правой ветви, в противном] случае - по левой ветви. Вершины логического дерева удоб-1 но пронумеровать последовательно, так как индексация пере-1 менной длины очень наглядна при объяснении работы алго-]
Рис. 13.5. Структурная схема программы, реализующей процесс последовательного построения кусочно-линейной разделяющей поверхности
ритма, но не удобна при программировании. Логическое дерево рис. 13-4,а при последовательной нумерации вершин принимает вид, изображенный на рис.13.4,б. Логическое дерево удобно описывать матрицей, имеющей три столбца:
С =
О
о
0
1
0
1
0
1 2 1 2
10 11 0 0 0 0 0 0 0 0
Каждой вершине логического дерева с номером s соответствует s-я строка матрицы С. Поясним смысл строк матрицы, которые, как и вершины, могут быть двух видов. Строка вида (О s s +1) описывает промежуточную вершину дерева. Берется разделяющая поверхность cps=0, соответствующая этой вершине, и в зависимости от sign cps(x) происходит переход к вершине s, если sign Ф8=-1, или к вершине s+1, если sign <ps=l. Если же строка имеет вид (к 0 0), где к= 1, 2, то она описывает один из концов логического дерева. Если после последовательного использования нескольких разделяющих поверхностей точка х. попала в вершину, описываемую подобным образом, то ее следует отнести к классу Ак. Проведение новой гиперплоскости фДх) вызывает построение двух новых ветвей дерева, отходящих от вершины г. При этом матрица, имеющая U строк, получает две новые строки с номером (17+1) и (17+2) следующего вида:
