Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Рис. 15.4. Усредненные кривые зависимости вероятности правильного распознавания от дисперсии весовых коэффициентов для трех реализаций одного нейрона: а - при Аа=0; б - при Да=0Д5; в - при Да=-0,15
а0=2,0; при Да =-0,15 (рис. 15.4,в) нейрона с порогом а0=1,0. Усредняя все соответствующие значения вероятности правильного распознавания по реализациям для трех значений Аа, делаем вывод, что для произвольных Аа, оптимальной реализацией является нейрон с порогом 1,5. Отсюда можно сделать
обобщающий вывод на случай а0=-у~. Как следствие этого, можно
N+ 1
сделать выводы об оптимальности нейрона с порогом —g— ПРИ Да>0, и об оптимальности нейрона с порогом ^ ~ ПРИ <0-
Для реальных нейронов Да может быть как положительной, так и отрицательной величиной. Полученная в этом случае оптимальная реализация нейрона соответствует положению гиперплоскости, равноудаленной от симметричных точек обоих классов, т.е. проведенной через середины соответствующих ребер гиперкуба. Положение этой гиперплоскости для N=3 показано на рис. 15.5.
Из полученных результатов можно сделать следующий вывод. При синтезе многослойной нейронной сети на множестве двоичных входных сигналов каждую гиперплоскость следует проводить через середины соответствующих ребер гиперкуба, при этом нейроны будут обладать максимальной параметрической надежностью по отношению ко всем возможным реализациям. Нейронная сеть, синтезированная таким образом, будет обладать максимальной параметрической надежностью по отношению ко всем возможным реализациям при том же числе нейронов в слоях и тех же связях. Увеличить параметрическую надежность можно лишь путем изменения структуры нейронной сети. На всех последующих этапах исследования рассматриваются нейронные сети с оптимальными (в смысле максимума параметрической надежности) нейронами, поэтому не име-
Рис. 15.5, Гиперплоскость, реализуемая оптимальным нейроном
ет смысла проводить дальнейшие эксперименты при ненулевых Да, так как это будет соответствовать априорному смеще нию гиперплоскостей из оптимальных положений.
Этап 2. Рассмотрим шесть различных двухслойных ней ронных сетей с 2,3,...,7 нейронами в первом слое: причем вс ' нейроны, согласно результатам исследования этапа 1, реали зуют оптимальные гиперплоскости. Одна из реализаций (сеть с двумя нейронами в первом слое Hj=2) показана на рис. 15.6, где х/ - значение выхода г-го нейрона j-то слоя. Экспериментальные кривые зависимости вероятности правильного распознавания от дисперсии для Да =0 представлены на рис. 15.7,а, (кривые для Hj=2,4,6 и Hj=3,5,7 расположены на разных рисунках для большей наглядности). Полученные результаты позволяют сделать вывод, что с ростом Н1 при малых дисперсиях: 0 < D[a] < D*[a] (D*[al =0,6) параметрическая надежность рас-' сматриваемых сетей в пределах точности эксперимента остается неизменной, а при D'[a]< D[a]<2 наблюдается увеличение надежности с ростом Hv особенно это заметно для ^=6,7. Таким образом, можно сделать вывод, что у двухслойных сетей с ростом Нх наблюдается улучшение положения кривых зависимости вероятности правильного распознавания от дисперсии, т.е. повышение параметрической надежности.
Этап 3. Рассмотрим пять различных трехслойных сетей с 3,4,...,7 нейронами в первом слое, двумя нейронами - во втором и одним нейроном в третьем слое. Положения, занимаемые гиперплоскостями, реализуемыми всеми нейронами, оптимальные. Кривые параметрической надежности для Я:=3,5,7
Рис. 15.6. Гиперплоскости, реализуемые нейронами двухслойной сети
Рис. 15.7. Усредненные кривые зависимости вероятности правильного распознавания от дисперсии весовых коэффициентов для двухслойных сетей с различным числом нейронов в первом слое
представлены на рис. 15.8. Вывод, который можно сделать из исследования полученных кривых, полностью аналогичен выводам этапа 2: с ростом Нх параметрическая надежность трехслойных сетей возрастает.
Этап 4. На данном этапе исследования выясняется вопрос, как изменится параметрическая надежность при переходе от двухслойной к трехслойной сети, реализующей ту же логическую функцию при фиксированной величине Ну Для этого можно воспользоваться экспериментальными результатами, полученными на этапах 2, 3. Соответствующие сравнительные ха-
Рис. 15.8. Усредненные кривые зависимости вероятности правильного распознавания от дисперсии весовых коэффициентов для трехслойных сетей с различным числом нейронов в первом слое
рактеристики для двухслойных и трехслойных сетей с Н1=3,5,7 приведены на рис. 15.9-15.11. Видно, что при переходе от двухслойной к трехслойной сети параметрическая надежность уменьшается. На рис. 15.9 для наглядности, кроме вышеназванных кривых, приведена кривая для нейрона, реализующего ту же логическую функцию. Отсюда можно сделать качественный вывод об уменьшении параметрической надежности с ростом числа слоев.
Рис. 15.9. Усредненные кривые зависимости вероятности правильного распознавания от дисперсии весовых коэффициентов для нейронов двухслойной и трехслойной сети, реализующих одинаковую логическую функцию
