|
входов и выходов выборки приводились к интервалу [0..1], что увеличивало также и точность работы сети. Осуществлялось предварительное обучение однослойного персептрона и использование сто весовых коэффициентов в качестве первого слоя для двухслойной и трехслойной сетей. К сожалению, такие приемы не дают полной гарантии обучения. Потому далее были рассмотрены другие алгоритмы и методики. Применение подхода с выбором оптимального шага обучения не дало положительного результата. Было решено использовать модификацию данного метода с использованием генетического алгоритма. Сам генетический алгоритм имеет тот недостаток, что необходимо рассчитывать функцию ошибки сети для всех примеров в выборке, что очень снижает скорость работы данного алгоритма. Поэтому было решено использовать данный алгоритм для малой части выборки, содержащей примеры, имеющие наиболее сильный разброс, тогда скорость алгоритма существенно повышалась. Алгоритм состоит в том, что поочередно используется генетический алгоритм и метод обратного распространения. При этом, когда метод обратного распространения снижает ошибку на очень малую величину, управление передается на генетический алгоритм, который передает управление обратно методу обратного распространения через определенное число циклов обучения. Другая модификация метода состояла в использования в качестве операторов мутации шага в направлении антиградиента и малого случайного шага. Недостатком реализованного метода обучения стала малая скорость работы (5-8 часов) и проигрыш в точности. На следующем этапе сокращалось число связей в нейронной сети. В связи с этим, разработан пошаговый алгоритм редукции сети с учетом конкуренции связей нейронов между собой: Шаг 1. Задание исходных значений для каждого элемента (нейрона). Шаг 2. Ввод значений возбуждающих весовых коэффициентов степень связи, с которой i-ый нейрон связан с у'-ым нейроном следующего 128 |
Таким образом, наиболее подходящей для решения задачи является трехслойная сеть с неотрицательной сигмовидной функцией. Обучение сетей с большим количеством слоев не дало существенного выигрыша в точности. В качестве метода обучения использовался метод обратного распространения ошибки, данный метод при своей стандартной реализации позволял обучить нейронные сети с двумя и тремя слоями для решения задачи количественного анализа, при этом обладал медленной сходимостью. Потому были применены модификации: случайное изменение весовых коэффициентов во время обучения, увеличение начальных значений весовых коэффициентов, значения входов и выходов выборки приводились к интервалу [0, 1], что увеличивало также и точность работы сети. Осуществлялось предварительное обучение однослойного перссптрона и использование его весовых коэффициентов в качестве первого слоя для двухслойной и трехслойной сетей. К сожалению, такие приемы не дают полной гарантии обучения. Потому далее были рассмотрены другие алгоритмы и методики. Применение подхода с выбором оптимального шага обучения не дало положительного результата. Было решено использовать модификацию данного метода с использованием генетического алгоритма. Сам генетический алгоритм имеет тот недостаток, что необходимо рассчитывать функцию ошибки сети для всех примеров в выборке, что очень снижает скорость работы данного алгоритма. Поэтому было решено использовать данный алгоритм для малой части выборки, содержащей примеры, имеющие наиболее сильный разброс, тогда скорость алгоритма существенно повышалась. Алгоритм состоит в том, что поочередно используется генетический алгоритм и метод обратного распространения. При этом, когда метод обратного распространения снижает ошибку на очень малую величину, управление передается на генетический алгоритм, который передает управление обратно методу обратного распространения через определенное число циклов обучения. Другая модификация метода состояла в использования в качестве операторов мутации шага в направлении 97 антиградиента и малого случайного шага. Недостатком реализованного метода обучения стала малая скорость работы (5-8 часов) и проигрыш в точности. На следующем этапе сокращалось число связей в нейронной сети. В связи с этим, разработан пошаговый алгоритм редукции сети с учетом конкуренции связей нейронов между собой. Шаг 1. Задание исходных значений для каждого элемента (нейрона). Шаг 2. Ввод значений синаптических весовых коэффициентов Wt} — степень связи, с которой /-ый нейрон связан с у'-ым нейроном следующего слоя. Шаг 3. Вычисление значений каждого нейрона по формулам: (3-19) j-1 где Б,— сумма произведений всех синаптических весов /-ого нейрона на значение соответствующего этому весу у-ого нейрона следующего слоя, gj величина /-ого элемента следующего слоя, К коэффициент, который используется для обновления значений нейронов предыдущего слоя; х. величина у го элемента следующего слоя. Шаг 4. Обновление значений синаптических весов: Wu = где fV',j значения синаптических весов предыдущей итерации. Шаг 5. Сокращение количества конкурируемых между собой нейронов. Нели Wij < 0,001, то Wij = 0. Шаг 6. Вычисление обновленных значений по формулам (3.18) и (3.19). 98 |