|
логия, которая обеспечивает наименьшее число слоев и наименьшее число нейронов в каждом слое при заданной ошибке обобщения [25], которые определяют размерность вектора \¥. Будем решать задачу синтеза НС в постановке, при которой задана максимально допустимая ошибка обобщения Еобщ, и требуется сформировать топологию НС с минимальным количеством межнейронных связей. Сформулированная задача относится к классу задач комбинаторной оптимизации [6], сложность которой существенно возрастает с увеличением числа слоев НС и числа нейронов в каждом слое. Проведенный в параграфе 3.1 обзор и анализ существующих методов формирования топологии НС показал, что модификации наиболее простого конструктивного подхода к решению этой задачи во многих случаях позволяют быстро найти приемлемый вариант: ниже предлагается один из вариантов такой модификации. При использовании конструктивного подхода м формированию топологии НС неизбежно возникает избыточность [25]. Один из способов модификации конструктивного подхода [48] заключается в следующем. Если при добавлении очередного нейрона в некоторый слой НС, ошибка обучения Ео. существенно изменяется в заданном диапазоне, то этот нейрон является значимым, и его необходимо включать в топологию НС, в противном случае незначимым. Связи, соединяющие значимые нейроны, остаются неизменными во время всей процедуры обучения. Межнейронные связи, которые соединяют незначимые нейроны, являются обучаемыми. Основная проблема использования метода определение момента добавления очередного нейрона или слоя. В предложенном модифицированном алгоритме решается данная проблема. Основная идея предложенного алгоритма последовательного наращивания нейронов в топологии НС заключается в том, что на каждой итерации, как и в алгоритме [48], обучается только часть связей между нейронами в сети. Это позволяет, в отличие от классического конструктивного подхода, существенно сократить время обучения. Для определения момента перехода к еле |
3.3. Алгоритмы настройки НС на решаемую задачу В соответствии с принятой в главе 2 методикой синтеза нейронной сети для решения конкретной прикладной задачи наиболее важной проблемой является формирование топологии НС, которая в значительной степени влияет на качество распознавания. Сложность топологии НС, как было показано ранее, определяется общим числом межнейронных связей. Задача выбора топологии НС в настоящей работе решается применительно к многослойному персептрону. Для многослойного персептрона (МНС) оптимальная топология это такая топология, которая обеспечивает наименьшее число слоев и наименьшее число нейронов в каждом слое при заданной ошибке обобщения [58], которые определяют размерность вектора \У. Будем решать задачу синтеза НС в постановке, при которой задана тах допустимая ошибка обобщения Е0бщ, и требуется сформировать топологию НС с минимальным количеством межнейронных связей. Сформулированная задача относится к классу задач комбинаторной оптимизации, сложность которой существенно возрастает с увеличением числа слоев НС и числа нейронов в каждом слое. Проведенный в главе 2 обзор и анализ существующих методов показал, что модификации наиболее простого конструктивного подхода к решению этой задачи во многих случаях позволяют быстро найти приемлемый вариант: ниже предлагается один из вариантов такой модификации. Более перспективным считается использование методов генетического алгоритма. Одна из самых трудных проблем использования ГА в данном случае заключает178 ся в разработке новых методов кодирования потенциальных решений, исключающих возможность получения запрещенных комбинаций и позволяющих применять на этапе формирования новой популяции стандартные генетические операторы. Представленные результаты экспериментальной проверки предложенных методов показали, что оба подхода позволяют уменьшить число межнейронных связей в заданной постановке задачи синтеза НС. 3.3.1.Модификация конструктивного метода формирования топологии НС Как было показано в главе 2, при использовании конструктивного подхода к формированию топологии НС неизбежно возникает избыточность [58]. Один из способов модификации конструктивного подхода [126, 248] заключается в следующем. Если при добавлении очередного нейрона в некоторый слой НС, ошибка обучения Еа_существенно изменяется в заданном диапазоне, то этот нейрон является значимым, и его необходимо включать в топологию НС, в противном случае незначимым. Связи, соединяющие значимые нейроны, остаются неизменными во время всей процедуры обучения. Межнейронные связи, которые соединяют незначимые нейроны, являются обучаемыми. Основная проблема использования метода определение момента добавления очередного нейрона или слоя. В предложенном модифицированном алгоритме решается данная проблема. Основная идея предложенного алгоритма последовательного наращивания нейронов в топологии НС заключается в том, что на каждой итерации, 179 как и в алгоритме [248], обучается только часть связей между нейронами в сети. Это позволяет, в отличие от классического конструктивного подхода, существенно сократить время обучения. Для определения момента перехода к следующей модификации НС вычисляется скорость изменения ошибки Е0, и, если она становится ниже установленного порога, а значение ошибки не достигло нужного значения, производится дальнейшее наращивание НС. Алгоритм сводится к выполнению следующей последовательности шагов. Шаг 1. Задание числа слоев р и максимального числа нейронов п в каждом слое. Шаг 2. Инициализация процедуры обучения НС: /:=1; Л?:=1, где /текущая итерация, ¡оначало работы НС, задание экспертом: /количество итераций, при котором ошибка сети меняется несущественно (/ > 1), е допустимый порог изменения ошибки обучения, 8заданная ошибка обучения. Шаг 3. Обучение НС только по обучаемым связям (в начальной топологии сети все связи обучаемы); /:=/+!. Шаг 4. Проверка условия продолжения обучения \Ео(0 ~ Е0{У\ ЕМ) < ¿ 7 , (3.10) где и номер текущей итерации; Е0(() ошибка обучения на текущей итерации; /1 = / /. Шаг 5. Если условие (3.10) не выполняется, то перейти к шагу 3, иначе к следующему шагу. Шаг б. Проверка условия останова обучения 180 |