Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
«Используя некоторые геометрические аргументы, можно показать, что средний квадрат дискретной ошибки есть монотонная функция среднего квадрата аналоговой ошибки и минимизация их обоих есть минимизация средней функции риска».
Это является неверным, хотя бы потому, что минимизация средней функции риска для нормальных распределений с различными ковариационными матрицами достигается с помощью системы с разделяющей поверхностью второго порядка. Рассмотрим случай, когда система представлена в виде нейрона. В этом случае совпадение оптимальных решений по критериям минимума a2g (средней функции риска при определенных ограничениях на р( и L-) и а2а достигается лишь при равных ковариационных матрицах, соответствующих образам первого и второго класса [7.2].
Проведем исследование экстремальных свойств моментов второго порядка аналоговой и дискретной ошибок одномерного нейрона с целью выяснения разницы в оптимальных решениях по критериям минимума а2а и о.2д.
Исследование проводится следующим образом: а) вычисляются значения коэффициентов а'0 и a'v минимизирующих а2а; б) вычисляются значения коэффициентов а"0 и а'\, минимизирующих а2д; в) вычисляется величина Aa2?=a2ff(a'0, a't) -
- a2g(a"0, а'\), которая служит оценкой отклонения оптимальных решений по критериям минимума и а^.
На рис.7.1 построена зависимость AR=Aa2e(fi2) для одного частного случая [7.2], когда для случая двух нормальных распределений при фиксированных математических ожиданиях меняется дисперсия ц2 распределения одного из классов. Ограниченность критерия минимума a2a особенно хорошо иллюстрируется на примере многомодальных распределений (рис.7.2), где показаны в одномерном случае «пороги» нейрона а'0 и а"0, оптимальные по критериям минимума а2а и а2д (заштрихованная площадь - приращение AR при переходе от критерия минимума а2д к критерию минимума a2a).
Рис. 7.1. Сравнение критериев минимума и
Рис. 7.2. Сравнение критериев минимума a2a и для многомодальных распределений
7.4. Формирование функционалов вторичной оптимизации, соответствующих заданному критерию первичной оптимизации
Ниже формирование функционалов вторичной оптимизации производится для разомкнутых нейронных сетей с произвольной структурой для случая Кр=К=2, т.е. с разделяющей поверхностью произвольного вида.
7.4.1. Критерий минимума средней функции риска
Основной вопрос здесь заключается в выборе преобразования дискретной ошибки нейронной сети xg(n) = е(п) - хк(п) для получения дискретной ошибки х'д(п), второй момент распределения которой был бы равен средней функции риска. Будем осуществлять указанное преобразование следующим образом: умножаем хд(п) на А, если е(п)=~1, на В - если fe(n)=+l; затем к результату прибавляем С. Найдем параметры данного преобразования (А, В, С), так чтобы второй мо-* мент распределения /^ (х'д) был равен R:
а^^1{2А-С?+р2С*+р1Ф1{4АС-*А3У+р2Фг{4ВС-4&У, (7.12)
R=plln+p2l22+pl(llrh2) ф1+Р2ф2(г2Гг22)- (?12а)
Отсюда следуют выражения для искомых параметров преобразования:
2
Если искать параметры А, В, С, обеспечивающие совпадение а2д и R с точностью до постоянного слагаемого (р1112+р2122), то в данном случае
Возможно применение следующего преобразования (Z) дискретной ошибки
Pi(l—Фг) при х'д=~2А+С, fx-gtfg)= Р1Ф1+(1"Ф2)Р2 при х'=С, (7.11)
р2Ф2 при х'д=2В+С;
2
(7.13)
д- К ~ РЛз+^РЛз - Pi^n Н ~ Ml
(7.14)
z12 при xg=~2, e=-l,
v (n)= zn ПРИ *9=0- e="1-
’ z22 при x9=0, e=+l,
I.Z21 при X=2, E=l.
Pjd-Ф^ при x'g=Z12,
р,Ф, при I',=zu,
Р2(1~Ф2) при X =Z22, Р2Ф2 ПРИ X'g=Z2l
в
и условия совпадения а2д и R записываются в следующем виде:
(7Л5)
7.4.2. Критерий минимума R при условии равенства ptrl=p2r!
Минимизация R при условии равенства р^г^р2г2, т.е. при условии
Р1г11Ф1+РАг(1-ф1) ~ Рг^21Ф2— Р2^22^—Ф2^ — эквивалентна минимизации функционала Лагранжа:
R*=[plhi<i>i+PMl',i,Ob+V + (717)
"^[Р2^21Ф2_ Рг^22^ “Ф2^](^
Совпадение R* и а2д обеспечивается при следующих параметрах описанного выше преобразования (А, В, С):
С =-\p2l22(l-X) +2p1Z12(l+X) - PjZjjU+A);
А =\\ (l+X)[p2Zu +(PrP2)i12] + P2Z22( 1-Я) +
-H|p2Z22(l-X) +2PiZ12(1+X) - Pllu(1+A); (7.18)
B=i [>|(1-A)(Z21-PiZ22] +(l+X)(2p1Z12-p1Zu) -
- ^ p2Z22(l-A) +2PiZ12(1+X) - PlZu(l+A)].
Левая часть (7.16) есть градиент R* по Я. В нейронной сети эту величину можно оценивать как первый момент преобразованной (Аг Вр Cj) дискретной ошибки, причем параметры преобразования Av Bv С j получаются следующим образом. Из (7.11) следует, что
