|
50 ся для аппроксимации некоторой функции Е, задаваемой обучающей выборкой 1, и используются критерии оценки НС: минимальная ошибка обобщения Еобщ. и минимальная сложность сети, определяемая количеством слоев НС и общим числом нейронов, обеспечивающая минимум Еобщ. Классификация различных типов НС и решаемых ими задач позволила в данной работе выбрать следующие: НС без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные комбинированные НС [16], а также интегрировать с другими технологиями для решения сложных прикладных задач. 2.4. Проблемы формирования топологии НС Наиболее важной проблемой синтеза НС является выбор ее топологии, которая определяет сложность НС. Сложность топологии НС определяется общим числом нейронов сети и количеством связей между ними. Для многослойного персептрона (МНС), например, оптимальная топология —это такая топология, которая обеспечивает наименьшее число слоев и наименьшее число нейронов в каждом слое при заданной ошибке обобщения [25]. НС с малым числом нейронов будет недостаточно точно восстанавливать искомую функцию отображения ^ :К *-»У , где К входной вектор НС, У выходной. НС с большим числом нейронов обычно слишком точно обобщает примеры обучающей выборки (эффект переобучения [31]), что снижает ее возможности аппроксимации и прогнозирования. Для вычисления введенной характеристики сложности введем следующее определение. Под сложностью Б нейронной сети будем понимать число, равное суммарному количеству вычислительных операций, необходимых для вычисления выходного вектора У по входному вектору К , зависящих только от топологии сети (числа нейронов, скрытых слоев и связей между ними) [48]. При формировании топологии ставится задача подобрать параметры сети таким образом, чтобы ошибка обобщения Еобщ. оставалась на приемлемом |
Кроме рассмотренных основных типов связей на практике используются также пирамидальные и слоистые НС, в которых могут присутствовать различные типы нейронов и функций активации. Отсутствие в настоящее время формализованных методов выбора типа НС заставляет разработчиков НС использовать накопленный опыт работы с различными типами НС. В данной работе предполагается, что НС применяется в основном для решения задач классификации и распознавания. При этом используется главный критерий оценки НС: минимальная ошибка обобщения £общ<5 (где 5заданное неотрицательное вещественное число) при заданной сложности НС. Сложность НС в работе определяется общим числом связей между всеми нейронами НС и, в свою очередь, задает вычислительную сложность сети как количество операций ЭВМ, требуемое для преобразования входного сигнала в выходной. Приведенная в первой главе классификация различных типов НС и решаемых ими задач позволила в данной работе выбрать следующие: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные комбинированные НС, а также интегрировать с другими технологиями. Рассмотрим вначале наиболее важные характеристики НС с последовательными связями Полносвязные последовательные НС Согласно определению 2.2, в случае последовательных связей выходной сигнал слоя НС является входным следующего слоя. Под полными последова93 Алгоритм ВР, использующий в стандартном варианте градиентные методы поиска экстремума, не всегда может выити из локального минимума или обнаружить глобальный минимум. Одним из способов, позволяющих повысить вероятность нахождения глобального минимума и увеличить устойчивость алгоритма распознавания, является расширение размерности пространства весовых коэффициентов за счет увеличения числа скрытых слоев и числа нейронов скрытого слоя. Этот путь ведет к существенному усложнению НС. Альтернативный вариант применение недетерминированных методов поиска глобального экстремума, к которым относятся, например, эволюционные методы, случайный поиск, метод имитации отжига [234-238] Эти алгоритмы позволяют исследовать все пространство решений целиком и избегают "застревания" в области притяжения локального экстремума. Поэтому представляется целесообразным исследование свойств этих алгоритмов для повышения эффективности их применения в обучении НС. 2.3.3. Проблемы формирования топологии НС Наиболее важной проблемой синтеза НС является выбор ее топологии, которая определяет сложность НС. Сложность топологии НС определяется общим числом нейронов сети и количеством связей между ними. Для многослойного персептрона (МНС), например, оптимальная топология —это такая топология, которая обеспечивает наименьшее число слоев и наименьшее число нейронов в каждом слое при заданной ошибке обобщения. Однако, НС с малым числом нейронов будет недостаточно точно восстанавливать искомую функцию отображения Т7:Я —»У , где Я входной вектор НС, У вы106 ходной. НС с большим числом нейронов обычно слишком точно обобщает примеры обучающей выборки (эффект переобучения), что снижает ее возможности прогнозирования *[ля вычисления введенной характеристики сложности введем следующее определение Определение 2.7. Под сложностью £ нейронной сети будем понимать число, равное суммарному количеству вычислительных операций, необходимых для вычисления выходного вектора У по входному вектору Ы , зависящих только от топологии сети (числа нейронов, скрытых слоев и связей между ними). При формировании топологии ставится задача подобрать параметры сети таким образом, чтобы ошибка обобщения Е0вщ. оставалась на приемлемом уровне при минимальной сложности сети. Всестороннее теоретическое исследование этого вопроса проведено в [58], где делается вывод, что для наиболее часто используемых на практике многослойных нейронных сетей задача оптимизация топологии (минимизация числа нейронов и числа слоев) может быть поставлена только либо в плане ликвидации избыточности числа нейронов, либо при задании ограничений на число нейронов. Соответственно в литературе по нейронным сетям широко рассматриваются два эвристических подхода к выбору топологии [126]: деструктивный (сокращение нейронов сети) и конструктивный (постепенное наращивание НС, начиная с некоторой минимальной топологии), а также исследуются статистические подходы. Менее исследованными остаются методы эволюционного поиска. 107 |