Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Оценим количество областей, на которое простран признаков размерности N может быть разбито Нг груп гиперплоскостей по (Кр-1)-й гиперплоскости в каждой гр Обозначим максимальное количество областей, выделяв
?
[Hj-1] группой через 'PJV(pn_1J. Тогда аналогично п. 3.3 можно показать, что
ШКР =ШКР . _
TJV[H,J W[JVj-l]
Оценим величину г. При проведении каждой из (Кр~Г перплоскостей количество выделяемых областей увелк ется на число областей, образуемых на гиперплоскости л ями ее пересечения с остальными гиперплоскостями прос
ства, т.е. на ‘
Отсюда
и окончательно
с начальными условиями .к,
lE Kp-i] +1-
(3
Исходя из (3.30) и (3.31) можно показать, что
Кр' ПРИ Н1 < N;
к
(3
XPN[H1]< Кр‘ при Hj > JV.
Рассмотрим h. -й нейрон с Кр решениями, расположен в j-м слое многослойной нейронной сети с полными перек
тными связями. Входные сигналы h.-то нейрона могут быть
разбиты на две группы: x=[xj......xN] - вектор входных
сигналов и уНИц ¦ ¦ ¦ , УJ “ вектор-строка выходных и промежуточных сигналов 0' - 1)-слойной нейронной сети. Пусть у - 1)-слойная нейронная сеть выделяет в исходном простран-
стве признаков областей.
Тогда по каналам у на входы h.-го нейрона может поступить rvH-1, различных вариантов вектора у. Уравнение для выходного сигнала h. -го нейрона с Кр решениями может быть записано в следующем виде:
*м^<V+A4у)’ h>=1’ ¦¦¦’н? (3-33)
где Ак .и А1^ — векторы весовых коэффициентов соответственно для х и у.
Геометрически, как следует из (3.33), каждый из Н;- нейронов с Кр решениями реализует в пространстве входных сигна-
лов нейронной сети (Кр-1) параллельных гиперплоско-
стей. Допуская, что существует метод настройки коэффициентов нейронной сети, при котором для каждого fy-ro нейрона каждые (Кр-1) гиперплоскостей, порожденных вариантом вектора у, проходят через область исходного пространства признаков, соответствующую ему, запишем выражение для верхней оценки числа областей, на которое пространство X разбивается рассматриваемой j-слойной нейронной сетью:
-*Й-ч,|,Й • (334)
Здесь 'F N!f. определяется выражениями (3.30) и (3.31). Если считать (3.34) рекуррентным выражением и вспомнить, что первый слой нейрона с К решениями разбивает пространство X на NHP, областей, то (3.34) перепишется в следующем виде:
ШКР = fT уКР
N[jl fj NH
(3.35)
выражение (3.35) позволяет поставить и решить задачу синтеза структуры нейронной сети, оптимальной по верхней оценке количества областей при ограничении на суммарное число Я нейронов в нейронной сети. Из (3.35) и (3.32) следует, что в W-алойной нейронной сети
?,"•
К," ПРИН;<№
ь
к„ при Н}> N (J =1..........W). J
Следовательно, оптимальной по верхней оценке числа ластей будет нейронная сеть с полными перекрестными св ми такая, что число нейронов с Кр решениями в любом ее не превышает размерности исходного пространства приз
Литература
3.1. Лупанов О.Б. О возможностях синтеза схем из произво-го числа элементов. Труды Математического институт' В.А. Стеклова, т. 51, 1958, с. 158-173.
3.2. Галушкин А.И. Синтез многослойных систем распознавав разов. - М., Энергия, 1974.
3.3. Галушкин А.И., Шмид А.В. Оптимизация структуры много ных нейронных сетей с перекрестными связями.// Нейр пьютер, №3,4, 1992.
Глава 4. Континуальные нейронные сети
При построении структур многослойных нейронных сетей приходится оперировать большим числом параметров, задающих входной сигнал, например,, в системе распознавания образов, когда стремятся обеспечить максимальную вероятность правильного распознавания [1]. Предлагается учитывать в математических моделях и при технической реализации континуальные свойства той или иной характеристики многослойной нейронной сети.
4.1. Нейроны с континуумом признаков на входе
Переход к континууму признаков становится актуальным, когда размерность N некоторого вектора признаков xv связанная, например, с квантованием сигналов, становится большой (несколько сот или тысяч). В этом случае вектор признаков {х4, г =1,...,Л/} заменяется функцией непрерывного аргумента {х(г), г el}, весовой вектор {ат, т=1,...,М} заменяется весовой функцией (а(т), т еМ}. Модель нейрона с континуумом признаков по аналогии с классическим дискретным случаем [4.2] задается выражением
у = sign ( J a(m)x(m)dm + а„), (4.1)
м
где у - выходной сигнал нейрона; х(т) - входной сигнал нейрона; а0 - пороговое значение.
Переход к континууму признаков на входе первого слоя нейронной сети зачастую исключает необходимость квантования входного сигнала (например, периодического электрического сигнала, изображения и т.п.). В зависимости от конкретного физического типа входного сигнала выбирается метод технической реализации весовой функции нейрона. Например, в случае, когда входной сигнал является электрическим сигналом, меняющимся во времени, весовую функцию также следует генерировать в виде электрического сигнала. Если же входным сигналом сети является оптическое изображение, то весовая функция может быть реализована на фотомаске. При Дискретном множестве нейронов с континуальным пространством признаков
