|
65 Полученные результаты свидетельствуют о низком проценте экспериментов, в которых было получено значение экстремума с заданной точностью для функций со сложным ландшафтом Диксона, Жилинскаса и обобщенной функции Роджерса. Однако при оптимизации унимодальных функций FI, F2 наблюдается хорошее приближение найденных экстремумов к истинному экстремуму для всех методов. В связи с этим для повышения вероятности нахождения глобального экстремума и повышения скорости сходимости необходимо рассмотреть другие методы оптимизации. 2.7. Алгоритм обучения нейронной сети на основе генетического алгоритма и его оценка Одной из основных проблем стандартного алгоритма обучения нейронной сети Back Propagation (ВР), как было показано в 2.7, является проблема выхода из локального минимума функции ошибки обучения ПС. Алгоритм ВР, использующий в стандартном варианте градиентные методы поиска экстремума, не всегда может выйти из локального минимума или обнаружить глобальный минимум. Одним из способов, позволяющих повысить вероятность нахождения глобального минимума и тем самым повысить адаптационные возможности нейронной сети, является использование глобальных алгоритмов оптимизации, к которым относится генетический алгоритм (ГА) [68]. Проведем экспериментальное исследование ГА с целью построения эффективного алгоритма обучения НС. Рис. 2.2. Кодирование потенциальных решений Фенотип wn 1W12 ••• Wu W21 r 949 W2f Генотип *hu l h}2 99• hu hi\ l ... h2t Для минимизации ошибки обучения НС на основе генетического алгоритма каждому варианту вектора весовых коэффициентов XV(фенотипу) (рис. |
Алгоритм ВР, использующий в стандартном варианте градиентные методы поиска экстремума, не всегда может выити из локального минимума или обнаружить глобальный минимум. Одним из способов, позволяющих повысить вероятность нахождения глобального минимума и увеличить устойчивость алгоритма распознавания, является расширение размерности пространства весовых коэффициентов за счет увеличения числа скрытых слоев и числа нейронов скрытого слоя. Этот путь ведет к существенному усложнению НС. Альтернативный вариант применение недетерминированных методов поиска глобального экстремума, к которым относятся, например, эволюционные методы, случайный поиск, метод имитации отжига [234-238] Эти алгоритмы позволяют исследовать все пространство решений целиком и избегают "застревания" в области притяжения локального экстремума. Поэтому представляется целесообразным исследование свойств этих алгоритмов для повышения эффективности их применения в обучении НС. 2.3.3. Проблемы формирования топологии НС Наиболее важной проблемой синтеза НС является выбор ее топологии, которая определяет сложность НС. Сложность топологии НС определяется общим числом нейронов сети и количеством связей между ними. Для многослойного персептрона (МНС), например, оптимальная топология —это такая топология, которая обеспечивает наименьшее число слоев и наименьшее число нейронов в каждом слое при заданной ошибке обобщения. Однако, НС с малым числом нейронов будет недостаточно точно восстанавливать искомую функцию отображения Т7:Я —»У , где Я входной вектор НС, У вы106 3.2. Алгоритм обучения нейронной сети на основе генетического алгоритма и его оценка Одной из основных проблем стандартного алгоритма обучения нейронной сети Back Propagation (ВР), как было показано в главе 2, является проблема выхода из локального минимума функции ошибки обучения НС. Алгоритм ВР, использующий в стандартном варианте градиентные методы поиска экстремума, не всегда может выйти из локального минимума или обнаружить глобальный минимум. Одним из способов, позволяющих повысить вероятность нахождения глобального минимума и тем самым повысить адаптационные возможности нейронной сети, является использование глобальных алгоритмов оптимизации, к которым относится генетический алгоритм (ГА). Проведем экспериментальное исследование ГА с целью построения эффективного алгоритма обучения НС. 3.2.1. Экспериментальное исследование генетического алгоритма Представленный Конструктор ГА обладает достаточно широкими возможностями. Настроив соответствующим образом параметры системы, можно управлять процессом поиска в зависимости от поставленной задачи: поиск одного решения; определение нескольких или всех глобальных экстремумов; описание области поиска решения, включая выявление как глобальных, так и локальных экстремумов. Для решения каждой из выделенных задач необходимо определять наиболее оптимальное сочетание параметров, позволяющее построить эффективный алгоритм. 150 хромосом текущей популяции; 5) отбор хромосом в новую популяцию. Точ-зность нахождения экстремума величина порядка 10 . Критерий останова заданное число итераций. Количество хромосом в популяции -50, из которых с целью повышения устойчивости получаемых решений только 20 пар используются для скрещивания. При формировании новой популяции в отборе участвуют хромосомы текущей популяции, а также все потомки и мутанты, оцениваемые по формуле (3 .2 1 ). Остальные параметры ГА следующие: кроссинговер одноточечный; вероятность генной мутации -0.01 ; схема отбора "мягкая"; селекция "дальнее родство" с переходом на последних 10 итерациях на "ближнее родство", в качестве функции фитнесса Fit используются оптимизируемые функции. Лучшие хромосомы (по значению Fit) каждой популяции сохраняются в новой популяции. Для сравнения методов было произведено по 100 запусков каждой из тестовых задач. Полученные результаты (рис.3.26) свидетельствуют о низком проценте экспериментов, в которых было получено значение экстремума с заданной точностью для ГА и метода случайного поиска, а также и для градиентного поиска при оптимизации многоэкстремальных функций F5 и F1. Однако, как показано на рис. 3.8., при оптимизации унимодальных функций F1, F2 наблюдается хорошее приближение найденных экстремумов к истинному экстремуму для всех методов, а при оптимизации многоэкстремальных для методов ГА и случайного поиска. Действительно, из рис. 3.8. видно, что величина q, равная усредненному по исследуемым тестовым функциям значению 157 |