Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
О упрощен до уровня нейрона процессорный элемент однородной структуры;
П резко усложнены связи между элементами;
? программирование вычислительной структуры перенесено на изменение весовых связей между процессорными элементами.
Общее определение нейрокомпьютера. Нейрокомпьютер - это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе.
2. Место нейронных ЭВМ в ряду
высокопроизводительных вычислительных средств
Если высокопроизводительные вычислительные средства можно условно разделить на два класса: «крупнозернистые» (с небольшим числом процессоров) и «мелкозернистые» (с большим - сотни, тысячи процессоров), то нейронные ЭВМ относятся к классу мелкозернистых ЭВМ.
Под новым классом вычислительных машин можно понимать класс машин, решающих достаточно широкий круг универсальных задач и требующих для своего решения по сравнению с прежними типами вычислительных машин новой реализации технических средств, системы программирования и алгоритмов решения задачи.
С точки зрения данного определения ЭВМ крупнозернистой обработки типа GRAY, «Эльбрус» являются новым классом вычислительных машин по сравнению с машинами фон-Неймана, ЭВМ мелкозернистой обработки с архитектурой ОКМД (один поток команд, много потоков данных) являются новым классом по сравнению с ЭВМ крупнозернистой обработки.
Каждый из перечисленных ниже классов ЭВМ является новым по отношению к предыдущему:
- машины с архитектурой фон-Неймана;
- машины крупнозернистой обработки типа GRAY, «Эльбрус»;
- машины мелкозернистой обработки с архитектурой ОКМД;
- машины мелкозернистой обработки с архитектурой МКМД (много потоков команд, много потоков данных);
- машины мелкозернистой обработки со смешанной архитектурой типа МОКМД (множественный вариант ОКМД);
- нейронные ЭВМ.
Из четырех типов мелкозернистых ЭВМ, приведенных на рис. В-1 в своем эволюционном развитии, ЭВМ с архитектурой ОКМД являются первыми, появившимися еще в середине 70-х годов. Процессор представляет собой в этом случае однобитовый процессор с некоторой локальной памятью, что делало необходимым организацию синхронной работы множества таких образований при решении достаточно сложных задач.
Рис. В-1. Эволюция развития мелкозернистых ЭВМ: ОКМД - один поток команд, много потоков данных; МКМД - много потоков команд, много потоков данных; МОКМД - множественный вариант ОКМД
Развитие технологии СБИС в начале 80-х годов послужило первопричиной появления первых промышленных образцов мелкозернистых ЭВМ с архитектурой МКМД (много потоков команд - много потоков данных), как асинхронно действующих сетей 16 и 32 разрядных микроЭВМ, в том числе транспьютерных сетей.
1 Л
В 1985 - 1988 гг. появилось несколько проектов ЭВМ со смешанной архитектурой, в которых при наличии ядра в виде сети асинхронно работающих процессоров каждый процессор такого ядра управляет синхронно работающей сетью простых процессоров с локальной памятью (иногда такую архитектуру называют множественным вариантом ОКМД -МОКМД).
Архитектура МОКМД - это повторение на новом качественном уровне (МКМД) попытки распараллеливания алгоритма на сети синхронно действующих процессоров, которая уже была реализована в структурах ОКМД.
В целом нейронные ЭВМ можно трактовать, как частный случай (или развитие) ЭВМ с архитектурой МОКМД, в котором синхронное образование при каждом «мелком зерне», работающем асинхронно, представляет собой не просто «вульгарную», с точки зрения алгоритмиста, сеть однобитовых процессоров с памятью, а осмысленное, с точки зрения алгоритмиста, синхронное образование, производящее программноаппаратную, а лучше аппаратную эмуляцию нейронного алгоритма, в простейшем случае представляющего собой операцию перемножения векторов большой размерности или матрицы на вектор, но только в простейшем случае. Нейронные ЭВМ при этом являются частным случаем структуры МОКМД, где синхронно работающая «гроздь» однобитовых процессоров имеет специальную организацию, приближенную к программно-аппаратной реализации основной части алгоритма, а в данном нейронном случае реализующая программно-аппаратно «нейронное» ядро ряда алгоритмов.
Программно-аппаратная реализация нейронных алгоритмов в синхронных образованиях нейронных ЭВМ позволяет по всей вероятности кроме всего прочего решить две дополнительные задачи:
1) минимизировать, а иногда и сделать нулевым обмен информацией в процессе решения задач между узлами асинхронного ядра нейронной ЭВМ, что практически невозможно для большинства задач в транспьютерных сетях или подобных им системах.
2) решать так называемые плохо формализуемые задачи, такие, как обучение с целью оптимального распознавания, самообучение (кластеризация) и т.п.
Необходимо отметить, что из всех применений нейрокомпьютеров в настоящее время наиболее важным является уровень супервычислений, т.е. уровень, где имеется нехватка производительности вычислительных средств при существующих ограничениях. При этом объективную необходимость появления архитектуры нейроЭВМ, как естественного развития архитектуры МКМД, можно объяснить также тем, что архитектура МКМД при естественном желании разработчика увеличить производительность узла и число узлов имеет «область тупика» в своем развитии (рис. В-2) по критерию отношения производительности к стоимости по двум причинам:
