|
сети при различных видах функции активации (1-5) представлены на рисунке 3.15. Рисунок 3.15. Средняя относительная ошибка при использовании в нейронной сети различных функций активации Следующим этаном была проверка точности восстановления в зависимости от числа слоев в нейронной сети (рисунок 3.16) Рисунок 3.16. Средняя относительная ошибка при использовании в нейронной сети различных функций активации Таким образом, наиболее подходящей для решения задачи является трехслойная сеть с неотрицательной сигмовидной функцией. Обучение сетей с большим количеством слоев не дало существенного выигрыша в точности. В качестве метода обучения использовался метод обратного распространения ошибки, данный метод при своей стандартной реализации позволял обучить нейронные сети с двумя и тремя слоями для решения задачи количественного анализа, при этом обладал медленной сходимостью. Потому были применены модификации: случайное изменение весовых коэффициентов во время обучения, увеличение начальных значений весовых коэффициентов, значения 127 |
Графики ошибок восстановления при обучении двухслойной нейронной сети при различных видах функции активации (1-5) представлены на рисунке 3.14. Рисунок 3.14 Средняя относительная ошибка при использовании в нейронной сети различных функций активации Следующим этаном была проверка точности восстановления в зависимости от числа скрытых слоев в нейронной сети (рисунок 3.15) Рисунок 3.15 Средняя относительная ошибка при использовании в нейронной сети различного количества скрытых слоев 96 Таким образом, наиболее подходящей для решения задачи является трехслойная сеть с неотрицательной сигмовидной функцией. Обучение сетей с большим количеством слоев не дало существенного выигрыша в точности. В качестве метода обучения использовался метод обратного распространения ошибки, данный метод при своей стандартной реализации позволял обучить нейронные сети с двумя и тремя слоями для решения задачи количественного анализа, при этом обладал медленной сходимостью. Потому были применены модификации: случайное изменение весовых коэффициентов во время обучения, увеличение начальных значений весовых коэффициентов, значения входов и выходов выборки приводились к интервалу [0, 1], что увеличивало также и точность работы сети. Осуществлялось предварительное обучение однослойного перссптрона и использование его весовых коэффициентов в качестве первого слоя для двухслойной и трехслойной сетей. К сожалению, такие приемы не дают полной гарантии обучения. Потому далее были рассмотрены другие алгоритмы и методики. Применение подхода с выбором оптимального шага обучения не дало положительного результата. Было решено использовать модификацию данного метода с использованием генетического алгоритма. Сам генетический алгоритм имеет тот недостаток, что необходимо рассчитывать функцию ошибки сети для всех примеров в выборке, что очень снижает скорость работы данного алгоритма. Поэтому было решено использовать данный алгоритм для малой части выборки, содержащей примеры, имеющие наиболее сильный разброс, тогда скорость алгоритма существенно повышалась. Алгоритм состоит в том, что поочередно используется генетический алгоритм и метод обратного распространения. При этом, когда метод обратного распространения снижает ошибку на очень малую величину, управление передается на генетический алгоритм, который передает управление обратно методу обратного распространения через определенное число циклов обучения. Другая модификация метода состояла в использования в качестве операторов мутации шага в направлении 97 |