Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
2) изучение влияния избыточности структуры многослойной нейронной сети на эффективность и качество настройки.
12.5.Исследование нейронной сети частного вида с обратными связями
Объектом исследования в данном пункте является одномерный нейрон с обратной связью, описываемый следующими соотношениями:
у(пАТ) = sign[g(nAT)]; д(пДТ) =х(пАТ) - а0{пАТ) +
+ ак(пАТ) хк[(п~1)АТ], (12.4)
где АТ - интервал времени между моментами поступления образов на вход системы. В качестве критерия вторичной оптимизации выбирается критерий минимума а^. Предполагается, что при настройке по замкнутому циклу коэффициенты а„ и ак не меняют своего значения на интервале усреднения тпп. Выражения для оценок градиента имеют в данном случае вид:
Э х2 (пДТ)т"
Эа0
= 2 х„(пДТ)
Э х2 (пАТ)
дак
=-2 хау[(п-1)ДТ) . (12.5)
Выражения (12.4), (12.5) служат основой для построения соответствующей замкнутой системы. Усреднение измеренных значений градиента производилось оптимальным дискретным фильтром с памятью mn, синтезированным исходя из априори заданной гипотезы об изменении на интервале тп математического ожидания входного сигнала (стационарный, линейный, квадратичный сигнал и тд.). Анализ результатов экспериментального исследования нейрона с обратной связью, частично представленных на рис 12.24 -12.29, позволил сделать следующие выводы:
1. Введение положительной или отрицательной обратной связи в разомкнутой системе (К*>О или К*<0 в контуре настройки коэффициента ак) приводит к одинаковым результатам настройки системы по величине а0 и суммарному порогу aI=a0(n) + ак(п) хк(п-1), но различным по знаку и одинаковым по модулю коэффициентам ак.
Рис. 12.24. Исследование динамики настройки нейрона с обратной связью (т=20; К*=-0,5):
' - идеальный
случай (a0=2t + 3);
- без обратной «язи; —-------с поло-
жительной обратной связью при К*,=0,5 и отрицательной обратной связью при ¦К*,=0,5; - X - - с положительной обратной
Связью при К*,=-0,5;----------идеальный случай (a0=0,5t+3);---------- без
обратной связи и с положительной обратной связью при К*,=0,5; • -----с
Отрицательной обратной связью при К*,=-0,5; — XX----с положительной об-
ратной связью при К*,=-0,5
Рис. 12.25. Исследование динамики Настройки нейрона с Обратной связью:
~¦ — идеальный случай (a0=2t+3);
----- - без обратной
связи;--------с поло-
жительной обратной связью при К*,=0,5 и Отрицательной обрат-вой связью при КТ=-0,5; — х — - с положительной обратной Связью при К*,=-0,5;
----- - идеальный случай (a0=0,5t+3); — • • - - без обратной связи;
' - • _ - с положительной обратной связью при К‘^0,5 и отрицательной
обратной связью при К*,=-0,5; - XX-------с положительной обратной связью
При К*,=-0,5
2. При достаточно большой памяти системы в блоке настройки (порядка тп=20) характер изменения а„ и ак является колебательным. При уменьшении памяти (до mn=5) колебательность процесса настройки коэффициента ак резко возрастает, а коэффициента а„ - падает.
Рис. 12.26. Исследование динамики настройки нейрона с обратной связью при т=5; К*=~0,5). ------идеальный случай (a0=2t+3);------
без обратной связи;
- • - - с положительной обратной связью при К*,=0,5 и отрицательной обратной связью при K*j = -0,5;
- х---с положитель-
ной обратной связью при К*,=-0,5; — ¦ ¦ — -
без обратной связи;--------с отрицательной обратной связью при К* =>-
0,5 и с положительной обратной связью------при К*,=-0,5; — XX — - с положительной обратной связью при К*,=-0,5;--------идеальный случай (a0=0,5t+3)
Рис. 12.27. Исследование динамики настройки нейрона с обратной связью. ------идеальный случай (a0=2t+3);--------
без обратной связи;
- ----с положитель-
ной обратной связью при К*,=0,5 и отрицательной обратной связью при K*j=-0,5; идеальный случай (a0=0,5t+3);------
без обратной связи; ----------------------------------------------------------------с положительной обратной связью при К*,=-0,5 и с отрицательной обратной связью при K*j=-0,5; - ххх - - с положительной обратной связью при К*,=-0,5
3. Систематическая ошибка настройки коэффициента а„ увеличивается при увеличении памяти системы, а также при введении обратной связи в структуру разомкнутой системы. Систематическая ошибка настройки суммарного порога нейрона практически равна нулю. Это - положительное свойство нейронной сети с обратной связью по сравнению с нейронной сетью без обратной связи.
Рис. 12.28. Исследование динамики настройки нейрона с обратной связью при тп=20; К*=-0,5 (К* - коэффициент настройки порога а0, К*, - коэффициент настройки порога ак).
Для идеального случая (oe=2t+3): -х - с положительной обратной связью при К*,=-0,5;
------- с отрицательной обратной
связью при К*, =0,5;---------с по-
ложительной обратной связью при К*,=0,5;
Для идеального случая (a0=0,5t+3): - хх — с положительной обратной связью при К*,=-0,5; ----------с положительной обратной связью при К’^0,5; - — -с отрицательной обратной связью при К*,=-0,5
