Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
При исследовании параметрической надежности нейронных сетей рассмотрено несколько реализаций логической функции на одном нейроне, а также группы двухслойных и трехслойных сетей с различным числом нейронов в первом слое. В процессе экспериментального исследования ставились следующие цели:
1. Исследовать зависимость вероятности правильного распознавания от дисперсии D[a] изменения весовых коэффициентов и порога при различных, но фиксированных сдвигах математического ожидания (МО) -Да (при Да = О МО равняется истинному значению весового коэффициента или порога) для различных реализаций некоторой логической функции на одном нейроне; на основе данных исследований найти оптимальную реализацию.
2. Выяснить, как изменяется зависимость вероятности правильного распознавания от дисперсии изменения весовых коэффициентов и порога при:
а) увеличении числа нейронов в первом слое в двухслойных сетях;
б) увеличении нейронов в первом слое в трехслойных сетях;
в) переходе от двухслойной к трехслойной сети, реализующей ту же логическую функцию при фиксированном числе нейронов в первом слое;
г) переходе от двухслойной к трехслойной сети с одинаковым суммарным (по всем слоям) числом нейронов.
Зависимость вероятности правильного распознавания от дисперсии весовых коэффициентов и порога назовем параметрической надежностью. Ниже представлены этапы данного исследования.
Этап 1. На данном этапе на примере трех различных реализаций мажоритарного голосования на одном нейроне по критерию максимальной параметрической надежности показан выбор оптимальной реализации. Каждый рассматриваемый нейрон реализует некоторую гиперплоскость, пересекающую единичный гиперкуб размерности N (N - число входов нейрона) и разделяющую два класса вершин: 1) - вершины, у
N
которых число единичных компонент меньше -jj- и 2) - вер-
шины, у которых число единичных компонент больше (чи(
N . _
нулевых компонент меньше -2-)- С целью упрощения из все множества нейронов, реализующих мажоритарное решающ правило, выберем нейрон с единичными весовыми коэффи ентами. Соответствующие им гиперплоскости будут проход параллельно друг другу, пересекая оси координат под угл в 45°. Обычно в качестве элемента, реализующего мажор тарное решающее правило, используется мажоритарный эл мент, т.е. элемент, определяемый следующим выражением:
N
у = sign (2 - а0), (15.
1*1
где xi е {0,1}- входные значения, а0 = ^ 2 ~— порог мажор тарного элемента
[ 0, ж<0
sign (х) = \ (15.
I 1, ж>0 -
Эта реализация является крайним случаем в сторону уме
шения порога, так как при а'0 = ^ 2 ^-------е ’ где е ~ ск
угодная малая величина, нарушается выполнение услов (15.2). Гиперплоскость, соответствующая мажоритарному эл менту для случая «=3, показана на рис.15.2. Крестиками зде и далее обозначены входные и промежуточные значения, д* которых на выходе должна быть единица, кружочками - ну. Реализацией, ограничивающей рассматриваемое семейст нейронов в сторону увеличения порога, является нейрон с п N + 1
рогом-----„ ¦, описываемый выражением (15.1) и (15.2).
Рис. 15.2 Гиперплоскос реализуемая мажоритарн-элементом в пространств , ' N-1 ,
входов (а 0 = 2 )
Гиперплоскость, соответствующая такой реализации для jV=3, показана на рис.15.3.
Таким образом, будем исследовать нейроны с единичными весами, у которых пороги лежат на отрезке ^ • Для
экспериментального исследования были взяты три нейрона с
N - 1 N + 1 N порогами: —?-"*¦, —2> 2~'
Поскольку изменение сдвига математического ожидания весовых коэффициентов - Да означает некоторый сдвиг и поворот гиперплоскости, то, исследовав три вышеприведенные реализации для различных Да, найдем оптимальную реализацию для произвольного Да. Эксперимент проводился для каждой из реализаций для трех значений сдвигов математического ожидания: Да =0,15; 0; -0,15. На рис. 15.4, а, б, в приведены усредненные экспериментальные кривые. Дисперсия D[a] измеряется в тех же единицах, что и весовые коэффициенты. Экспериментальные точки вычислялись с шагом 0,05 по дисперсии, а затем для каждых трех соседних точек находилось среднее значение. Из приведенных кривых видно, что вероятность правильного распознавания с ростом дисперсии уменьшается. Некоторое увеличение вероятности правильного распознавания
«*1 «• 1
на отрезке [0; 0,6] для нейрона с а0= —?— (рис.15.4, в) объясняется тем, что для данной реализации сдвиг математического ожидания, равный -0,15, вносит большую, чем для других реализаций детерминированную ошибку, которая частично компенсируется с ростом дисперсии на отрезке [0; 0,6]. Из рис.15.4, a видно, что при Да=0 оптимальной является реализация нейрона с порогом а0=1,5; при Да =0,15 (рис. 15.4, б) нейрона с порогом
