Теория нейронных сетей - Галушкин А.И.
ISBN 5-93108-05-8
Скачать (прямая ссылка):
hV’jT ° W*1’ ° */))• Такая постановка зада-
как выбор N* признаков из N, обеспечивающих, в част-СТИ> максимальную вероятность правильного распознава-
Рис. 14.1. Выбор информатив-х признаков в исходном про->анстве признаков
Ц,^5| 0.9 0.85
ния, по нашему мнению, не может быть решена без решени задач в указанных выше постановках.
Рассмотрение многослойных нейронных сетей и общее пред ставление о работе человека на этапе распознавания приво дят к несколько иной постановке задачи выбора информатив ных признаков, которая заключается не в минимизации ис ходного описания, а в минимизации промежуточных описа ний, т.е. «сжатий» самой многослойной нейронной сети, в т время как исходное описание фиксировано. В частном случа в многослойных нейронных сетях с полными связями задач заключается в минимизации числа линейных пороговых эле ментов в каждом слое, причем описанный выше критери минимизации остается в силе. Обе указанные выше постанов ки задачи выбора информативных признаков объединяются общем структурном подходе к проблеме выбора информатив ных признаков, когда первый слой связей считается априор организованным так, как показано на рис. 14.1.
В связи с рассмотренными выше постановками задачи критериями выбора информативных признаков на рис. 14.
Выбор информационных признаков
I
исходного пространства
т.
Выбор информационных признаког Выбор информационных признаков
промежуточного пространства
I
Г"------------------------------------------------------------------1
Вероятность правильного распознавания (средняя функция риска)
Рис. 14.2. Классификация методов выбора информативных признако
представлена схема, отражающая пути решения задачи выбора информативных признаков. Данная схема отражает лишь основные пути, не претендует на полноту и ставит своей целью введение структурных методов выбора информативных признаков. На уровне решения задачи выбора информативных признаков исходного пространства основное развитие получили подходы, связанные с дивергенцией и условной энтропией, а также с некоторыми упрощенными их оценками. К ним относятся также подходы с применением факторного и дисперсионного анализа.
Основной задачей данной главы является рассмотрение структурных методов выбора информативных признаков, сущность которых заключается в оценке информативности признаков по результатам настройки многослойных нейронных сетей (структуре, коэффициентам и значению функционала качества). При решении задачи минимизации структуры настроенной многослойной нейронной сети метод минимизации соответственно будет зависеть от способа настройки многослойных нейронных сетей.
14.2.0 структурных методах выбора информативных признаков в многослойных нейронных сетях с фиксированной структурой
Структурные методы выбора информативных признаков предполагают оценку информативности признаков исходного пространства по параметрам и структуре оптимально настроенной многослойной нейронной сети. В данном пункте структурные методы оценки информативности иллюстрируются на примере нейрона. Показывается возможность оценки информативности признаков по соответствующим оптимальным коэффициентам нейрона. Естественно, что нейрон является практически простейшей многослойной нейронной сетью; поэтому в соответствии с тезисом 1, изложенным в п.14.1, данная процедура выбора информативных признаков имеет и свои ограничения в плане субъективизма оценки информативности признаков. Ниже будут указаны и другие ограничения, присущие нейрону в рассматриваемой процедуре.
Остановимся на многослойных нейронных сетях типа нейрона и нейрона со слоем нелинейных или нелинейно-случайных преобразований (гл.1, 2). Многослойная нейронная сеть в виде нейрона
является оптимальной для совокупностей образов, распределен ных по многомерным нормальным законам с равными ковариаци онными матрицами. Для случая единичных (с точностью до по янного множителя) ковариационных матриц степень пересече классов по каждому из признаков определяется соответств; щим углом наклона оптимальной линейной разделяющей повер~ ности (рис. 14.3). На рис. 14.3 круги — линии равных значений пл ностей Д(х) и /2(х). Если считать, как и выше, вероятность пра вильного распознавания основным критерием информативное ти признаков, то в данном случае легко показать, что i-к к~
эффициент оптимальной ли нейной разделяющей поверх ности может служить относи тельной оценкой информати ности г-го признака.
Доказательство проводит ся двумя этапами. Сначала д-казывается монотонность некотором интервале измен ния вероятности правильно распознавания в зависимое-от угла наклона гиперплоск сти к оси, соответствующе выбранному признаку, зате монотонность изменения дан ного угла в зависимости от величины соответствующего коэф фициента линейной разделяющей поверхности.
В случае ненормальных распределений коэффициенты оп тимального нейрона также могут служить оценкой инфо мативности признаков, но лишь на уровне такой структур разомкнутой многослойной нейронной сети, как нейрон. В слу чае ненормальных распределений и нелинейной многосло" ной нейронной сети, представляемой в виде последователь ного соединения слоя нелинейных преобразований с фикс рованными коэффициентами и нейрона, коэффициенты не рона в оптимальной нелинейной многослойной нейронной сет являются оценками информативности сложных признако определяемых слоем нелинейных преобразований. Аналоги ный вывод можно сделать также относительно трехслойн го персептрона Розенблатта.
