|
tlномер текущего такта обучения; 0 = const, 0 < 0 <1 и задается экспертом. Коэффициент 0 определяет скорость изменения ошибки обучения. Шаг 8. Если условие (2.7) не выполняется, то коэффициенты межнейронных связей нейронов, добавленных после момента tO, фиксируются и при дальнейшем обучении НС не изменяются, иначе, если скорость изменения ошибки обучения невелика, то нейроны, добавленные после tO, не внесли существенного улучшения в качество обучения, поэтому они участвуют в дальнейшем обучении. Связи нейронов последнего (выходного) слоя с нейронами скрытых слоев всегда являются обучаемыми. Шаг 9. Добавление нового нейрона в слой с наименьшим номером р, для п < «Г*которого р р . Шаг 10. Переход к шагу 3. Шаг 11. Конец. Таким образом, данный алгоритм позволяет выявить значимые и незначимые нейроны в процессе их добавления в структуру сети, производить обучение только для незначимых нейронов*и тем самым сократить время формирования топологии НС. Несмотря на существенное сокращение количества обучаемых нейронов при использовании данного подхода, метод последовательного наращивания сохраняется. Исследование эффективности разработанного метода проведено в главе 4. 2.5. Влияние алгоритма обучения на эффективность использования НС Поскольку обучение НС основывается на минимизации значения некоторой функции, показывающей отклонение результатов, которые выдает сеть на данном обучающем множестве, от идеальных требуемых, то необходимо выбирать соответствующую оценку. Обычно>в качестве такой оценки берется средняя квадратичная*ошибка.ошибка обучения Ео или MSE (Mean Squared Error), которая определяется как сумма квадратов разностей между желаемой величиной выхода di и реально полученными на сети значениями yi для каждого примера i : |
вается нейроном первого порядка, в противном случае говорят о нейронах высших порядков. В этом случае коэффициенты разложения отрезка многомерного ряда Тейлора образуют вектор весовых коэффициентов \У. Дискриминантная функция нейрона первого порядка имеет вид: п пе/,(X,УУ) = уу0+ где \У = (и’0,и’,,...и'п) вектор весовых коэффициентов нейрона; т и = (1, л:,, дг2, ...л:я) расширенный вектор входа нейрона, а X] у-ая компонента пмерного входного вектора X. Для нейрона второго порядка дискриминантная функция равна п ие/2(Х, \У) = и>0+ У ^ х + IVкх;хк, /=1 *=1 где уг0, , н»*,у = 1,и , &= 1,у компоненты вектора, а расширенный входной вектор имеет вид: и — (1,^, . . . ДГЯ , Х 2Х ,...Х )2 \ Т (2.5) Компоненты вектора и могут быть более сложными функциями, чем функции в (2.5), образующие отрезок ряда Тейлора, что позволяет создавать НС с различными математическими свойствами [58 -64]. 2.3.2. Влияние алгоритма обучения на эффективность НС Поскольку обучение основывается на минимизации значения некоторой функции, показывающей отклонение результатов, которые выдает сеть на данном обучающем множестве, от идеальных требуемых, то необходимо вы97 E0it)<5. Если это условие выполняется, то переход к ш.11, иначе перейти к следующему шагу. Шаг 7. Проверка условия допустимости скорости изменения ошибки обучения: Е.(>,)-£ДУ0) Е0(Jo) < 0 , (3.11) где tQномер итерации, на которой была изменена топология сети путем добавления нового нейрона из тех, которые соединяются обучаемыми связями; /г номер текущего такта обучения; 0 = const, 0 < в <1 и задается экспертом. Коэффициент в определяет скорость изменения ошибки обучения. Шаг 8 . Если условие (3.11) не выполняется, то коэффициенты межнейронных связей нейронов, добавленных после момента /о>фиксируются и при дальнейшем обучении НС не изменяются, иначе, если скорость изменения ошибки обучения невелика, то нейроны, добавленные после /о>не внесли существенного улучшения в качество обучения, поэтому они участвуют в дальнейшем обучении. Связи нейронов последнего (выходного) слоя с нейронами скрытых слоев всегда являются обучаемыми. Шаг 9. Добавление нового нейрона в слой с наименьшим номером /?, для которого п < пmax Шаг 10. Переход к шагу 3. Шаг 11. Конец. 181 Таким образом, в отличие от метода, рассмотренного в [126], данный алгоритм позволяет выявлять значимые и незначимые нейроны в процессе их добавления в структуру сети, производить обучение только для незначимых нейронов, используя выражение (3.11) с учетом ограничений, налагаемых на скорость изменения ошибки обучения, и тем самым сократить время формирования топологии НС. Несмотря на существенное сокращение количества обучаемых нейронов при использовании данного подхода, методика последовательного наращивания нейронов сети сохраняется. Устранение недостатков последовательной процедуры наращивания возможно при использовании генетических алгоритмов. 3.3.2. Формирование топологии нейронных сетей с помощью генетического алгоритма Оценим вычислительную сложность генетического алгоритма для определения оптимальной топологии НС. В качестве фитнесс функции будем использовать выражение для вычисления ошибки обобщения (3.9). Трудоемкость ГА будет определяться трудоемкостью алгоритма обучения НС, например, обратного распространения ошибки, результатом работы которого и является величина Еобщ. Для алгоритма обратного распространения ошибки это величина порядка O(W), где W вектор межнейронных связей в НС. Число межнейронных связей для полносвязной НС можно оценить сверху как: 1Ц ( л 2 + ••• + tip ) + w 2 ( W j + . . . + п р ) + . . . + n i ( я 2 + . . . + П р ) + . . . + / I , и , 182 |