|
Наличие данных свойств определяет необходимость применения недетерминированных алгоритмов, к которым относятся генетические алгоритмы (ГА). При использовании ГА возникает ряд проблем: какое количество информации необходимо включать в используемое представление топологии, какие генетические операторы применять для преобразования представлений во время эволюции, как организовать схему реализации ГА. В существующих методах формирования топологии НС с помощью ГА используются следующие способы представления топологии [48]: • максимально допустимое представление с детализацией до отдельных нейронов или межнейронных связей (прямое кодирование); • представление только некоторых, наиболее значимых параметров (параметрическое представление). Наиболее часто применяемые способы кодирования в первом случае: представление в виде битовой матрицы, в которой каждый элемент с(У) 1, если присутствует соединение нейрона I с нейроном р Недостатки такого кодирования состоят в возможности появления недопустимых архитектур в процессе работы ГА и быстрое увеличение размера описания при наращивании сети [97]. Во втором способе архитектура представляется количеством нейронов в отдельных сегментах и относительной плотностью связей между сегментами. При параметрическом представлении НС необходим набор правил, позволяющий однозначно определять архитектуру НС по неполной информации, содержащейся в представлении [97]. Как отмечает ряд авторов [48, 97 , 112], задача выбора топологии НС обладает специфической особенностью, негативно влияющей на эффективность работы ГА. Существует так называемая проблема эквивалентных представлений, состоящая в том, что в рамках заданных типов НС и способов представления топологий одна и та же топология НС может иметь разное представление. Например, при использовании битовой матрицы размерностью лю |
ленных на предыдущем шаге построения топологии НС, не меняются, они могут быть сохранены и использованы в дальнейшем. Исследования и модификации метода каскадной корреляции были проведены в серии работ [248-251]. Достоинство методов: автоматическое построение топологии и возможность использования различных типов нейронов (с различной функцией активации) в одной сети. Недостаток: метод работает только с НС, имеющих каскадную структуру. Эволюционные методы формирования топологии основываются на использовании генетических алгоритмов [234-237]. Пространство возможных топологий НС [252] обладает рядом свойств: недетерминированностью процесса вычисления ошибки Е0, что приводит к многозначности и зашумленности функции, характеризующей оптимальность архитектуры НС; пространство допустимых топологии не является числовым; зависимость между топологией и £обД. определена не явным образом (через решение оптимизационной задачи обучения НС). Наличие данных свойств обосновывает необходимость применение недетерминированных алгоритмов, к которым относятся генетические алгоритмы (ГА). При использовании ГА возникает ряд проблем: какое количество информации необходимо включать в используемое представление топологии, какие генетические операторы применять для преобразования представлений во время эволюции, как организовать схему реализации ГА. В существую112 щих методах формирования топологии НС с помощью ГА используются следующие способы представления топологии: 1) максимально допустимое представление с детализацией до отдельных нейронов или межнейронных связей (прямое кодирование) [252]; 2) представление только некоторых, наиболее значимых параметров (параметрическое представление) [253, 254]. Наиболее часто применяемые способы кодирования в первом случае представление в виде битовой матрицы, в которой каждый элемент с(1у) 1, если присутствует соединение нейрона / с нейроному. Недостатки такого кодирования состоят в возможности появления недопустимых архитектур в процессе работы ГА и быстрое увеличение размера описания при наращивании сети [255, 256]. Во втором способе архитектура представляется количеством нейронов в отдельных сегментах и относительной плотностью связей между сегментами [258, 259]. При параметрическом представлении НС необходим набор правил, позволяющий однозначно определять архитектуру НС по неполной информации, содержащейся в представлении. Как отмечает ряд авторов [252, 259, 260], задача выбора топологии НС обладает специфической особенностью, негативно влияющей на эффективность работы ГА. Существует так называемая проблема эквивалентных представлений, состоящая в том, что в рамках заданных типов НС и способов представления топологий одна и та же топология НС может иметь разное представление. Например, при использовании битовой матрицы размернопз |