Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Начальные условия выбираются исходя из априорной информации о входных распределениях при уже известной структуре разомкнутой нейронной сети и выбранном функционале оптимизации. Выбор начальных условий связан не только с выбором вектора а (0), но и с выбором метода определения элементов параметрической матрицы К на каждом шаге. Эта формальная связь обусловлена тем, что вторая задача решается на этапе выбора начальных условий и обе они входят в задачу выбора параметров итерационной процедуры. Методы, используемые при выборе начальных условий, можно упорядочить по виду используемой информации:
- выбор случайных начальных условий без использования обучающей выборки;
- выбор детерминированных начальных условий без использования обучающей выборки;
- выбор начальных условий с использованием выборки.
1 1 2 1
I 2 1 2
I 1 2 1
11.2. Алгоритм детерминированного выбора начальных условий в алгоритмах настройки многослойных нейронных сетей
В данном параграфе предлагается алгоритм, с помощью которого выбираются начальные условия для слоя многослойной нейронной сети. В этом алгоритме используется априорная информация о взаиморасположении мод в пространстве признаков, их числе и дисперсиях мод.
Пусть пространство признаков отнормировано в единичный гиперкуб
К= { х: 0 < х,.< 1, г—1.....N), х. е К, (j =1.....М), (11.1)
где к. -вектор признаков j-го образа обучающей выборки; N-размерность пространства; М-длина обучающей выборки. Без потери общности рассмотрим случай двух классов с Кхи К2 модами, соответственно в первом и втором классе. Обозначим их
Tu (i !,*••) -К^)» 1*2i № 1* ¦ • -^2^'
Организуем теперь для проекций мод на каждую координатную ось монотонные последовательности:
0 - rL- r4- - ~1' <«u=1 a г= h •. •, m, (И.2)
где tj 2 - номера мод первого и второго классов.
Рассмотрим разности вида
з=^ (п.з)
Пусть - есть оценка дисперсии j-й моды г-го класса, тогда при выполнении условия
..N (И-4)
гиперплоскость проводится через середину отрезка
К,- (И-5)
перпендикулярно j-й координатной оси. Если проведенная гиперплоскость разделяет и проекции других мод, то она проводится через точку, полученную усреднением средин соответствующих отрезков вида (11.5), концы которых она
разделяет. Если условие (11.4) не выполняется для данной пары мод, то гиперплоскость не проводится.
Для наглядности рассмотрим пример на рис. 11.2. Взаиморасположение мод имеет вид:
°<rl2i<rln<rli2<r122<1,
0<Л1<Г222<Г212<Г221<1-
Проверяем выполнение условий (11.4) для хг В результате проводим гиперплоскость 1 через середину отрезка [R1^ Я^], где
Аналогично, проверяя для х2, проводим гиперплоскость
2 через середину отрезка [я21; Я22], где:
д2 =ЛгЛ_1 RZ = Л2- 1*22 1 2 ’ 2 2
С ошибкой, определяемой заштрихованными областями, можно отнести первый и третий отсеки к первому классу, второй и четвертый ко второму классу.
Блок-схема программы, реализующей данный алгоритм, и описание параметров даны на рис. 11.3 ив табл. 11.1.
Рис. 11.3. Блок-схема программы, реализующей алгоритм детерминированного выбора начальных условий
R1 матрица оценок координат центров мод 1-го класса
Е2 матрица оценок координат центров мод 2-го класса
(проекции центров мод на i-ю координатную ось
расположены в г'-м столбце)
SGM1 матрица проекций оценок дисперсий мод 1-го класса
SGM2 матрица проекций оценок дисперсий мод 2-го класса
Ml число мод 1-го класса
М2 число мод 2-го класса
N размерность пространства признаков
R3 матрица, получающаяся объединением матриц R1 и
R2 по столбцам (М3 = М1+М2)
X матрица точек на координатных осях, через которые
проводятся гиперплоскости
К номер точки на данной координатной оси
I номер координатной оси
А матрица коэффициентов проводимых гиперплоскостей
IK номер гиперплоскости
11.3. Выбор начальных условий в многослойных нейронных сетях
Задача выбора начальных условий в многослойных нейронных сетях разбивается на поэтапный выбор начальных условий для первого, второго и т.д. слоев. Методы определения начальных условий на нейронах первого слоя были рассмотрены выше. Пусть, например, в результате детерминированного выбора определены коэффициенты нейронов первого слоя, тем самым получен набор отсеков, каждому из которых соответствует номер, состоящий из чисел +1 и -1 (их число определяется числом нейронов). При предположении, что такой выбор обеспечивает положение разделяющей поверхности, близкое к оптимальному (даже за счет избыточности структуры первого слоя, которая может быть устранена в процессе обучения многослойной нейронной сети), т.е. при предположении о малости ошибки распознавания, получаемой при этом положении, вероятность изменения конфигурации отсеков будет мала. Оценки этой вероятности даны ниже. С этой вероятностью будут сохраняться обучающие последовательности для второго и т.д. слоев. Если выбрать коэффициенты нейронов этих слоев
