Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
сдерживалось физическими ограничениями скорости распространения сигналов в схемах ЭВМ. Выход из этого «технологического» тупика предлагала «мелкозернистая» обработка, реализованная на ЭВМ с архитектурой ОКМД и МКМД типа Connection Machine, Intel Hypercube, Ncube, Meiko Computing Surface и др., в частности «нейронная» обработка.
Существуют различные подходы к выявлению параллелизма в решаемой задаче и реализации ее на параллельных процессорах:
- параллелизм подзадач или событий;
- явный алгоритмический параллелизм;
- геометрический параллелизм.
Первый тип параллелизма эффективен для программы, которая многократно выполняется с различными параметрами. В этом случае желательно представить ее множеством независимых подзадач (каждая со своими параметрами) и выполнять подзадачи параллельно на различных процессорах.
Примером реализации алгоритмического параллелизма может служить векторный процессор умножения с плавающей точкой. Здесь организация параллельной обработки заключается в назначении различных подзадач конвейеру процессоров, каждый из которых осуществляет некоторую операцию над данными и передает результат дальше. В этом случае для обеспечения эффективности работы конвейера необходимо сбалансировать загрузку и доступ к процессорам, учесть время, требуемое для перемещения данных от одной стадии обработки к другой.
Геометрический параллелизм заключается в декомпозиции данных среди процессоров таким образом, чтобы все требуемые процессору данные располагались в его оперативной памяти или в оперативной памяти процессоров непосредственного окружения. Геометрический параллелизм является стандартным подходом, используемым для ЭВМ архитектуры ОКМД. Как показывает практика, многие вычисления при моделировании нейронных сетей являются локальными, что делает подход, связанный с геометрическим параллелизмом, реальным при реализации нейронных ЭВМ. Именно поэтому нейронные ЭВМ с аппаратной и программно-аппаратной реализацией нейронного блока относятся к классам архитектур ОКМД и МОКМД, как отмечено выше.
Ярким примером математической операции, параллельная реализация которой соответствует процессам, протекающим в нейронных сетях, является умножение матрицы на вектор. Здесь вектор является входным сигналом однослойной нейронной сети, матрица представляет собой значения коэффициентов нейронов слоя, а значения выходных сигналов нейронной сети являются результатом перемножения и нелинейного преобразования.
Нейрокомпьютеры являются междисциплинарным предметом исследований. Поэтому определение нейрокомпьютера можно дать только на фоне еще нескольких определений, адекватных различным направлениям науки.
Математическая статистика. Нейрокомпьютеры - это системы, позволяющие сформировать описания характеристик случайных процессов и их совокупности, имеющих в отличие от общепринятых сложные, зачастую многомодальные или вообще априори неизвестные функции распределения.
Математическая логика и теория автоматов. Нейрокомпьютеры - это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида - нейронов с полным отказом от булевских элементов типа И, ИЛИ, НЕ. Как следствие этого введены специфические связи между элементами, являющиеся предметом отдельного рассмотрения.
Пороговая логика (50-е и 60-е годы ЭВМ на пороговой логике). Нейрокомпьютеры - это системы, в которых алгоритм решения задачи представлен в виде сети пороговых элементов с динамически перестраиваемыми коэффициентами и алгоритмами настройки, независимыми как от размерности сети так и от входного пространства пороговых элементов.
Практически все подходы, связанные с пороговой логикой, обладая внешними признаками нейронных сетей, имели ограничения, аналогичные булевским элементам и связанные с размерностью входного пространства элементов и размерностью сетей.
Теория управления. Общеизвестны трудности синтеза нелинейных динамических систем управления. В случае нейрокомпьютеров эти трудности частично обходятся тем, что в качестве объекта управления выбирается частный случай, хорошо формализуемый объект, т.е. многослойная нейронная сеть, а динамический процесс ее настройки представляет собой процессе решения задачи. При этом практически весь
аппарат синтеза адаптивных систем управления переносится на нейронные сета как частный вид объекта управления.
Вычислительная математика. В отличие от классических методов решения задач нейрокомпьютеры реализуют алгоритмы решения задач, представленные в виде нейронных сетей. Это ограничение позволяет разрабатывать алгоритмы, потенциально более параллельные, чем любая мыслимая их физическая реализация. Множество нейросетевых алгоритмов решения задач составляет новый перспективный раздел вычислительной математики, условно называемый нейроматематикой.
Вычислительная техника. С точки зрения вычислительной техники нейрокомпьютер — это вычислительная система с архитектурой MSIMD, в которой реализованы три принципиальных технических решения:
