|
54 Метод каскадной корреляции, предложенный Фальманом, содержит две основные идеи [25, 97]: 1) каскадную архитектуру НС (в каждом слое находится по одному нейрону), являющейся вариантом НС, в которую новые нейроны последовательно добавляются и затем не меняются после настройки; 2) способ автоматического выбора и настройки нового нейрона. В этом методе каждому нейрону по определенным правилам приписывается некоторое число номер слоя. Добавляемый нейрон соединяется со всеми нейронами, которые имеют номер слоя, на единицу меньше, чем у добавляемого нейрона. Для улучшения работы алгоритма автор использовал несколько приемов: 1. формирование пула, представляющего набор нейронов кандидатов с различными активационными функциями. Выбирается нейрон, обеспечивающей меньшее значение ошибки Ео ; 2. поскольку веса нейронов, добавленных на предыдущем шаге построения топологии НС, не меняются, они могут быть сохранены и использованы в дальнейшем. Достоинство данного метода: автоматическое построение топологии и возможность использования различных типов нейронов (с различной функцией активации) в одной сети. Недостаток: метод работает только с НС, имеющих каскадную структуру. Эволюционные методы формирования топологии основываются на использовании генетических алгоритмов [68-70, 38]. Пространство возможных топологий НС обладает рядом свойств: • недетерминированностью процесса вычисления ошибки Ео, что приводит к многозначности и зашумленности функции, характеризующей оптимальность архитектуры НС; • пространство допустимых топологий не является числовым; • зависимость между топологией и Еобщ.1определена не явным образом (через решение оптимизационной задачи обучения НС). |
тирует сходимость. Основной недостаток подхода возможность построения топологии НС, могущей разделять только два класса. В методе динамического добавления узлов [246] не налагается никаких существенных ограничений на способ построения сети (как добавлять новые нейроны и слои, а также с какими существующими нейронами и слоями они должны быть соединены). При добавлении новых нейронов и слоев во время процедуры переобучения НС вычисляется скорость изменения ошибки, и если уменьшение скорости становится ниже заданного порога, добавляется новый нейрон в скрытый слой. Однако здесь возникают проблемы вычислительной эффективности, связанные с необходимостью переобучения НС. Метод каскадной корреляции, предложенный Фальманом [247], содержит две основные идеи: 1) каскадную архитектуру НС (в каждом слое находится по одному нейрону), являющейся вариантом МНС, в которую новые нейроны последовательно добавляются и затем не меняются после настройки; 2) способ автоматического выбора и настройки нового нейрона. В этом методе каждому нейрону по определенным правилам приписывается некоторое число номер слоя. Добавляемый нейрон соединяется со всеми нейронами, которые имеют номер слоя, на единицу меньше, чем у добавляемого нейрона. Для улучшения работы алгоритма автор использовал несколько приемов: 1) формирование пула, представляющего набор нейронов кандидатов с различными активационными функциями. Выбирается нейрон, обеспечивающей меньшее значение ошибки Е0; 2) поскольку веса нейронов, добав ленных на предыдущем шаге построения топологии НС, не меняются, они могут быть сохранены и использованы в дальнейшем. Исследования и модификации метода каскадной корреляции были проведены в серии работ [248-251]. Достоинство методов: автоматическое построение топологии и возможность использования различных типов нейронов (с различной функцией активации) в одной сети. Недостаток: метод работает только с НС, имеющих каскадную структуру. Эволюционные методы формирования топологии основываются на использовании генетических алгоритмов [234-237]. Пространство возможных топологий НС [252] обладает рядом свойств: недетерминированностью процесса вычисления ошибки Е0, что приводит к многозначности и зашумленности функции, характеризующей оптимальность архитектуры НС; пространство допустимых топологии не является числовым; зависимость между топологией и £обД. определена не явным образом (через решение оптимизационной задачи обучения НС). Наличие данных свойств обосновывает необходимость применение недетерминированных алгоритмов, к которым относятся генетические алгоритмы (ГА). При использовании ГА возникает ряд проблем: какое количество информации необходимо включать в используемое представление топологии, какие генетические операторы применять для преобразования представлений во время эволюции, как организовать схему реализации ГА. В существую112 |