Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
> dx'r.. dx'N
N
Ф
12*1
N
_____ГГ_
г N
-а. + ? ? а.
**1 1
nJk>:h..ic'k<0
7.2. Выбор функционала вторичной оптимизации
Рассмотрим функционалы вторичной оптимизации, связанные с моментами распределения аналоговой и дискретной ошибок нейронной сети с двумя решениями (два класса образов). Общие требования к функционалу вторичной оптимизации нейронной сети были отмечены в введении. Параметры функционала, необходимые для организации итерационной процедуры поиска, должны достаточно легко измеряться и оцениваться в системе; функционал должен иметь сравнительно простой вид относительно настраиваемых коэффициентов нейронной сети и минимальное значение при тех же значениях настраиваемых параметров нейронной сети, при которых соблюдается (при заданной структуре разомкнутой нейронной сети и некоторой априорной информации) экстремум некоторого функционала первичной оптимизации.
Анализ выражений (7.5) и (7.6) для моментов распределения аналоговой и дискретной ошибок позволяет сделать следующие выводы [7.2, 7.3]:
1. Моменты нечетного порядка распределений аналоговой и дискретной ошибок нейронной сети в режиме обучения не могут быть использованы в качестве функционалов вторичной оптимизации. Возможно использование в качестве таких функционалов модулей указанных моментов.
2. Моменты четного порядка указанных распределений могут быть использованы в качестве функционалов вторичной оптимизации, причем в случае моментов распределений дискретной ошибки нет смысла в рассмотрении моментов выше второго порядка ввиду их пропорциональности а2д.
3. Основной целью исследования в данной главе является выяснение того, какому критерию первичной оптимизации и какой априорной информации о характеристиках входного сигнала и матрице потерь соответствует минимизация выбранного функционала вторичной оптимизации.
4. Исследование выражений для ]а1а| и (случай нейрона) показывает, что минимизация данных функционалов вторичной оптимизации эквивалентна минимизации средней функции риска при учете только моментов первого порядка распределений совокупностей образов того или иного класса. При этом считается, что априорные вероятности появления образов из различных классов равны и имеет место следующее ограничение на коэффициенты матрицы потерь (122~ ^21) ^11 ^ 12^'
5. Исследование выражения для модуля первого момента распределения дискретной ошибки нейронной сети в данном случае
1а191 = 2!р2фа_ Pl+ Р1Ф11 показывает, что минимизация | а. | приводит к удовлетворению критерия минимума средней функции риска при условии равенства составляющих средней функции риска для обоих классов и следующих ограничениях на коэффициенты матрицы L
hz~hi~ hi~hr
6. Исследование выражения для второго момента распределения дискретной ошибки нейронной сети а2д = 4 | Р2Ф2+ + Pj- P^J показывает, что минимизация а2д приводит к удовлетворению критерия минимума средней функции риска при аналогичных указанным выше ограничениям на коэффициенты матрицы.
7. Дополнительные ограничения, связанные с конечным числом учитываемых моментов при рассмотрении | а1а| и а2а, а также связанные с равенством р1г1=р2г2 при рассмотрении | aj делают указанные функционалы одноэкстремальными при ограниченной структуре разомкнутых систем (нейрон) и многомодальных распределениях входного сигнала. Функционал а2д при ограниченной структуре нейронной сети может быть многоэкстремальным, т.е. его минимизация приводит к обеспечению в общем случае только локального минимума средней функции риска при Z22~Z21= ln~ll2-
8. При произвольной структуре разомкнутой нейронной сети, т.е. при произвольном виде разделяющей поверхности, в соответствии с результатами п.7.1 для случая Ьг= Ь2=1, Cj= с2=1, выражение для а2д будет иметь следующий вид:
% = 4[р2Ф2+ РГ Р1ф11-
где „
Фк= Фк[5(х)]* J . •. f fk(x) dx, fc=l, 2.
5(x)<0
Здесь функционал a2g пропорционален средней функции
риска при произвольной структуре нейронной сети (два класса образов, два решения) и при известных ограничениях на коэффициенты матрицы L. Необходимость в анализе нейронной сети с конкретной структурой возникает, так же как и выше, в случае системы с нелинейной разделяющей поверхностью для определения вида разделяющей поверхности, реализуемой системой с данной структурой в исходном пространстве признаков.
9. Рассмотрение указанных выше функционалов вторичной оптимизации представляет интерес, несмотря на указанные ограничения, так как приводит к достаточно простой реализации соответствующих систем, настраивающихся по замкнутому циклу, а также может быть полезно при построении нейронной сети с переменной структурой.
7.3. О выборе функционала вторичной оптимизации в системе «Адалин»
Основой методов настройки нейрона по замкнутому циклу, представленных в работах Б. Уидроу (системы под названием «Адалин») [7.1], является минимизация второго момента распределения аналоговой ошибки. Ниже обсуждается утверждение Б. Уидроу, высказанное им в одной из первых работ этого цикла:
