Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Pi = -A- (U.8)
Mi
и что образы равномерно распределены по отсеку с плотностью S'p, тогда:
р<= Vl... (11.9)
Mi
Очевидно, что р{ —>0 при V{—>0, 5*p=const, а также р. —>0 при S'p—>0, Vt=const. Физически это означает, что вероят-
ность деформации отсека, который не дает вклад в ошибку распознавания, равна нулю и что при постоянной плотности распределения Sp, уменьшая объем отсека, мы уменьшаем число попавших в него элементов Sit а следовательно и вероятность (11.9). При рассмотрении предела V,-»Vg оказывается, что р,—2 (при предположении, что в выборке находятся по М/2 элементов каждого класса). Усредняя величину (11.9) для всех т отсеков, имеем
т
Р
т т (=1 М,-
Mi
учитывая, что для любого р;: S. < —получаем оценку средней вероятности деформации отсеков данной конфигурации:
1
В результате проведенных рассуждений видно, что на этапе выбора начальных условий для нейронов первого слоя можно оценить вероятность деформации имеющихся отсеков в процессе обучения, т.е. оценить правомерность использования фиксированных коэффициентов последующих слоев. Проведенная оценка опиралась на ряд упрощений, так как исследование увеличения ошибки распознавания в общем виде при фиксировании коэффициентов нейронов слоев выше первого представляется сложной.
С учетом рассмотренного выше можно изложить методику выбора начальных условий в многослойных нейронных сетях.
1. Проводится кусочно-линейная поверхность в пространстве признаков с помощью алгоритма детерминированного выбора начальных условий на нейронах первого слоя.
2. Находится соответствие между i-м образом обучающей
выборки и номером отсека (eJ=l....т) с помощью экзамена пер-
вого слоя на всей обучающей выборке.
3. Номеру отсека eJ ставится в соответствие указание учителя ?,(7=1..К), где К-число классов образов. Для этого вычис-
ляются числа Уу(г=1,...,р) - для каждого отсека (У<;. - число образов t-го класса, попавших в j-й отсек; р - число классов, образы которых попали в j-й отсек) и находится max У у. Соответствующее Ei и будет искомым указанием учителя.
4. Вычисляется вероятность, с которой происходит отнесение j-то отсека к г'-му классу образов:
pf=l- IL.
1 Mj
где p
*/=»ГТу» Mr?,V
5. Проверяется реализация логической функции на одном нейроне второго слоя. Если функция реализуема, то обучением нейрона второго слоя кончается выбор начальных условий.
6. В противном случае выбираются начальные условия на нейронах второго слоя, либо аналогично п.1 (с тем отличием, что для любого отсека еJ должно быть *^=0), либо с помощью таблиц соответствия коэффициентов нейронов второго слоя конкретным конфигурациям отсеков. Выбранные таким образом коэффициенты фиксируются.
7. Аналогично поступаем с последующими слоями.
8. Формируются подвыборки для обучения нейронов первого слоя: для каждого отсека еJ проверяем поочередно, какие гиперплоскости из образующих отсек дают вклад в ошибку S.. Сдвигаем каждую гиперплоскость на ±т\(г>г °), где г 0 - среднее расстояние между ближайшими образами, попавшими в данный отсек, и контролируем изменение числа ? - Найденные таким образом гиперплоскости будут подлежать дальнейшему обучению по замкнутому циклу. Подвыборка, по которой будет обучаться каждая гиперплоскость, формируется из образов, попавших в отсеки, прилегающие к ней.
Частичное обучение нейронов первого слоя позволит: во-первых, не обучать гиперплоскости, занимающие оптимальное положение, во-вторых, получить экономию во времени обучения.
После выполнения всех пунктов данной методики можно переходить к обучению многослойной нейронной сети, которое сведется к обучению нейронов первого слоя.
11.4. Типовые входные сигналы многослойных нейронных сетей
Выбор определенного класса типовых входных сигналов должен производиться с точки зрения решения задачи более или менее объективного сравнения качества многослойных нейронных сетей в режиме настройки и в установившемся состоянии. Основу для рассмотрения здесь дает системный
подход к синтезу многослойных нейронных сетей. Методологически данная задача достаточно полно решена для линейных систем автоматического управления при детерминированных и случайных входных сигналах. Так, достаточно полным классом детерминированных входных сигналов, для которых производится как оценка, так и сравнение качества систем управления, является класс полиномиальных входных сигналов. В этом случае основной характеристикой сложности сигнала является соответствующая степень полинома. Для многослойных нейронных сетей основной характеристикой сложности входного сигнала является модальность распределения / (х) совместно с некоторыми характеристиками пространства указаний учителя. Рассмотрим некоторые частные случаи выбора типовых сигналов в многослойных нейронных сетях. В случае самообучения, по нашему мнению, логично распределение типового стационарного входного сигнала многослойной нейронной сети считать многомодальным с более или менее равномерным расположением мод распределения fx(x) в физически реализуемом пространстве признаков.
