Физика процессов эволюции - Эбилинг В.
Скачать (прямая ссылка):
С физической точки зрения ассоциативная память представляет собой динамическую систему с большим числом аттракторов, представляющих хранимую в памяти информацию. Любое распределение информации — содержимое памяти — окружено некоторой областью притяжения, определяемой конкретной динамикой системы (рис. 12.10), в силу чего начальная конфигурация, лежащая в окрестности того или иного аттрактора, под действием динамики системы асимптотически стремится к аттрактору. Тем самым частичная информация выступает в роли стимула, инициирующего выдачу полной информации, хранящейся в памяти (Hogg, Hubermann, 1985; Николис, 1987). Если мы хотим, исходя из этих совершенно общих представлений, провести физические исследования ассоциативной памяти, то нам необходима какая-то конкретная модель, которая с одной стороны допускала бы подробный математический анализ, а с другой стороны позволяла бы воспроизводить как можно больше известных явлений из области биологии и психологии. Одна из таких моделей была предложена в 1982 г. Дж. Дж. Хопфилдом (Hopfield, 1982; Hopfleld et al., 1983). Модель Хопфилда существенно использует некоторые аналогии с проблематикой спиновых стекол, рассмотрению которой посвящен разд. 10.2. Проведенные за последние годы исследования модели Хопфилда позволили получить ряд интересных результатов. К изложению некоторых из них мы сейчас перейдем.
Мостик к спиновым стеклам возникает прежде всего в силу мультимодальносги функции Гамильтона (10.2) спинового стекла и четко выраженному бистабильному характеру нейронов. Нейроны могут находиться в двух различных состояниях — в активном состоянии и в состоянии покоя, которые могут быть соспоставлены спиновой переменной Изинга S, = ±1. В том же грубом приближении динамика может быть описана с помощью простой пороговой динамики. Каждый нейрон
Рис. 12.10. Области притяжения аттракторов динамической системы, действующей как ассоциативная память
t = 1,..., М получает через синапсы Jy от других нейронов j + i в зависимости от их состояния Sj потенциал
Е* = (12.1)
i?*
и сравнивает его с пороговым потенциалом Ef, который мы для простоты положили равным нулю для всех нейронов (Ef = 0). При Ei > 0 нейрон переходит в активное состояние Si = 1, при Ei < 0 — в состояние покоя. При дополнительном
предположении о симметрии синапсов
Jij = Jji (12.2)
такая динамика соответствует минимизации функции
я(ш) = -J2 E>si =J2 jvs‘sj- (12-3)
«' »W
Поскольку существуют как возбуждающие (Jij > 0), так и тормозящие (Jy < 0) синапсы, функция Гамильтона (10.3) сильно напоминает функцию Гамильтона (10.2) спинового стекла и можно ожидать, что и в случае нейронов образуется сложная структура фазового пространства с большим числом локальных минимумов. Так как эти минимумы соответствуют именно таким аттракторам в нашей динамике, нейронная система подходит в качестве ассоциативной памяти. Существенной проблемой остается задание четкого алгоритма, или «рецепта», для синаптических связей Jij, который гарантировал бы, что именно заранее заданный набор из р конфигураций {?<*}> = ±1> * = 1,..., iV; ft — I,... ,р, будет минимумами функции (12.3).
Эти конфигурации представляют собой содержание памяти, которое может быть опрошено на ассоциативной основе.
Существует большое число так называемых правил обучения Jij = Jy(ttf})> из которых мы назовем лишь несколько. Простейшее из них восходит к Хеббу и первоначально было также введено Хопфилдом. Это правило гласит:
(12-4>
Алгоритм (12.4) позволяет хранить в памяти до р и 0,15 • N ортогональных конфигураций {??} и вызывать их на ассоциативной основе, если ошибка достаточна мала (< 1,5%). До р = N неортогональных конфигураций позволяет безошибочно записать в памяти и вызывать из нее на ассоциативной основе алгоритм
JiJ = Е (12.5)
V,fi=\
где С-1 — матрица, обратная матрице перекрытий (см. гл. 10)
*
(Kartter, Sompolinsky, 1987). Для ортогональной конфигурации = <5^, и алгоритм (12.5) упрощается до (12.4).
Первые исследования такой модели спинового стекла для ассоциативной памяти носили численный характер (Hopfield, 1982; Kinzel, 1985). Существенный прорыв
в этой области наметился, когда модель Хопфилда удалось исследовать аналитическими методами теории спиновых стекол (Amit et al., 1985, 1987). Многие свойства модели Хопфилда стало возможным охарактеризовать точно. В общем случае удается записать в память информацию 0(N), т. е. число р (объем памяти) возрастает пропорционально числу нейронов N. Для отношения а — p/N существует критическое значение акрит, отделяющее режим хранения и ассоциативного вызова информации из памяти (а < а,фИТ) от так называемого состояния конфузии, или путаницы (а > акриг), в котором вся записанная в памяти информация утрачивается. Для правил обучения (12.4) и (12.5) мы в соответствии с численными результатами получаем «крит = 0,14 и а ,фИТ = 1. Обсуждались различные предложения относительно того, как избежать катастрофы перегрузки — «путаницы», или конфузии, — заменив ее направленным забыванием (Веденов, Левченко, 1985; Parisi, 1986; Nadal et al., 1986; Mez/ird et al., 1986; Hoffinann et al., 1986; Personnaz et al., 1985; Personnaz et al., 1985). Исследовалась и (возмущающая) роль «перепутанной» информации. Если в памяти хранятся одновременно несколько информаций, то возникают побочные минимумы функции (12.3) в конфигурациях, представляющих собой комбинации фрагментов хранящихся в памяти информации. Побочные минимумы нарушают функционирование запоминающего устройства и могут приводить к «ложной» памяти (ошибочным интерпретациям). Их влияние может быть в значительной мере подавлено весьма интересным способом — путем введения шумов в нейродинамику (Amit et al., 1985, 1987). Еще весьма многообещающая возможность по крайней мере частичного исключения ложной памяти — так называемое «обратное обучение», которое оказалось связанным с определенной фазой сна (Hopfleld et al., 1983; Crick, Mitchison, 1983). Изучались реакция системы на отказ определенной части (в процентах) синапсов или на стохастические ошибки в процессе обучения, а также нейронные сети с синапсами, которые могут находиться только в двух состояниях (±1), что представляет большой интерес для технических приложений. Первоначально наложенные ограничения одно за другим удалось снять. Так, исследовались ситуации, в которых пороговое значение Я? варьируется от нейрона к нейрону или синапсы несимметричны, т. е. когда соотношение (12.2) более не выполняется. Во всех случаях способность к ассоциативной памяти сохраняется, поэтому можно исходить из того, что речь идет о кооперативном эффекте, спонтанно возникающем в большой системе взаимодействующих элементов и согласно гипотезе универсальности статистической механики не зависящем от деталей подсистем. Тем самым в дальнейшем получает обоснование грубое описание неронов как двоичных переменных. Хороший обзор современного состояния исследований в этой интересной области читатель найдет в трудах конференции (van Неттеп, Morgens tern, 1987).
