Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
Основным формальным аппаратом построения нейронных алгоритмов является теория нейронных сетей [В1-7]. Назовем логическим базисом задачи основной набор операций, реализуемых в процессе детализации алгоритма. Таким базисом для большинства задач является базис {? ах}, к таким задачам относятся: задачи векторной алгебры; преобразование Фурье; задачи оптимизации.
К подобным задачам сводится класс задач решения обыкновенных дифференциальных уровней, уравнений Пуассона, Эйлера, Навье-Стокса, эллиптических уравнений и пр.
Логическим базисом вычислительной системы является основная группа операций, реализуемых элементами основного операционного устройства. В случае классических машин это базис И, ИЛИ, НЕ, из которого формируется во-первых, уровень несколько более сложного базиса (штрих Шеффера, многократные И, ИЛИ, НЕ и т.п.), и макроуровень -уровень микроустройств. В данном случае логический базис вычислительной системы никак не определяется логическим базисом решаемых задач, а требует наложения на него достаточно сложной системы программирования.
В случае нейронных ЭВМ логическим базисом вычислительной системы в простейшем случае является базис {2 а х, sign}, который максимально соответствует логическому базису основных решаемых задач.
При решении задач с логическим базисом, описанным выше, на нейронных ЭВМ, базис задачи соответствует базису вычислительной системы и нет искусственных сдвигов в ту или иную сторону:
- ту, когда задачи с пороговым базисом, а базис системы И, ИЛИ, НЕ;
- или ту, когда задача с базисом иным, нежели пороговый, а вычислительная система нейронная.
Предполагается, что соответствие базиса вычислительной системы и задачи обеспечивает максимальную производительность. Это заявление тривиально для специализированных ЭВМ, которые предназначены для решения данной конкретной задачи и не тривиально для таких машин, как нейронные, которые в настоящее время претендуют на звание универсальных.
При решении конкретных задач итерационными методами на нейронных ЭВМ все трудности многоэкстремального поиска конечно остаются, только здесь они как бы перекладываются с программной реализации (машины фон-Неймана, ЭВМ с архитектурой SIMD и MIMD) на аппаратную юти програм-мно-аппаратную реализацию. Короче говоря, в нейронных ЭВМ выделяется алгоритмическое ядро основного массива прикладных задач, которые удается реализовать аппаратно или программно-аппаратно с максимально возможным быстродействием. Для данного алгоритмического ядра нейронная ЭВМ - это максимально распараллеленная система. Количество циклов ее работы в процессе решения задачи (в рамках указанного алгоритмического ядра) - циклов настройки на оптимум функционала вторичной оптимизации в ней (нейронной ЭВМ) определяется не субъективной интуицией схемотехника, который раскладывает обработку по слоям схемы из булевских элементов, и не субъективными воззрениями программиста, который организует их взаимодействие, а физической сущностью и трудностью задачи.
Однородные нейронные сети обладают свойствами постепенной деградации при выходе из строя элементов. Это было отмечено еще Ф. Розенблаттом при построении трехслойного персептрона со случайными связями в первом слое, когда число элементов первого слоя было взято избыточным. При этом функция, реализуемая сетью нейронов, как бы распределяется по структуре.
Нейронные ЭВМ являются первым примером того, когда структура вычислительной машины может рассчитываться аналитически, а не строиться эмпирически исходя из неких субъективных представлений о задачах и элементной базе.
Способы реализации нейронных ЭВМ делятся в основном на три класса:
1. Программная эмуляция нейронных алгоритмов на вычислительных машинах с архитектурами ОКОД (один поток команд, один поток данных) (например, на классических ПЭВМ), ОКМД (например, Connection Machine) или МКМД (например, на транспьютерных сетях).
2. Программно-аппаратная эмуляция нейронных блоков на цифровой элементной базе, обеспечивающая ускоренное выполнение массива операций порогового базиса, в первую очередь таких, как умножение и сложение (процессоры фирмы Weitek, сигнальные процессоры типа TMS32020 и т.п.);
3. Аппаратная реализация нейронного блока на элементной базе, характерной для нейронных алгоритмов (КМОП -нейрочипа, оптические управляемые транспаранты, голография и т.п.);
Эффективность реализации нейронных алгоритмов решения конкретных задач возрастает при переходе от варианта
1 к 2 и далее к 3.
В случае аппаратной реализации нейронного блока или программно-аппаратной эмуляции нейронная ЭВМ представляет собой классическую структуру специализированной ЭВМ с ОКМД-архитектурой, а в более сложных случаях, смешанную МОКМД-архитектуру, когда ЭВМ представляет собой сеть асинхронно работающих вычислительных узлов, к каждому из которых подсоединен блок синхронно работающих элементов, реализующих фрагмент нейронного алгоритма.
СуперЭВМ, такие, как GRAY ХМР, GYBER 205 обладали громадной вычислительной мощностью, но они чрезвычайно дороги и их архитектура не соответствовала принципам нейронной обработки. Высоких скоростей обработки им позволяли достичь векторные процессоры, конвейерные спецпроцессоры и сжатое время цикла. Как правило, они были построены на основе современной технологии и достигали в своем развитии такой точки, где дальнейшее увеличение быстродействия
