|
Обучение многослойной сети с применением градиентных методов требует определения вектора градиента относительно весов всех слоев сети, что необходимо для правильного выбора направления р(w). Эта задача имеет очевидное решение только для весов выходного слоя. Для других слоев создана специальная стратегия, которая в теории искусственных нейронных сетей называется алгоритмом обратного распространения ошибки (англ.: error backpropagatiori) [46, 51], отождествляемым, как правило, с процедурой обучения сети. В соответствии с этим алгоритмом в каждом цикле обучения выделяются следующие этапы [46]. 1. Анализ нейронной сети в прямом направлении передачи информации при генерации входных сигналов, составляющих очередной вектор х. В результате такого анализа рассчитываются значения выходных сигналов нейронов скрытых слоев и выходного слоя, а также соответствующие производные df{um) dF[um) dF(и'"0) ~du^~’~d^r""’ du<-> ’I I i функции активации каждого слоя (т количество слоев сети). 2. Создание сети обратного распространения ошибок путем изменения направлений передачи сигналов, замена функций активации их производными и подача на бывший выход (а в настоящий момент -вход) сети возбуждения в виде разности между фактическим и ожидаемым значением. Для определенной таким образом сети необходимо рассчитать значения требуемых обратных разностей. 5. Уточнение весов (обучение сети) производится но предложенным выше формулам на основе результатов, полученных в шагах 1 и 2, для оригинальной сети и для сети обратного распространения ошибки. 4. Описанный на шаге 1, 2 и 3 процесс следует повторить для всех обучающих выборок, продолжая его вплоть до выполнения условия остановки алгоритма. Действие алгоритма завершается в момент, когда норма градиента 111 |
Обучение многослойной сети с применением градиентных методов требует определения вектора градиента относительно весов всех слоев сети, что необходимо для правильного выбора направления p(w). Эта задача имеет очевидное решение только для весов выходного слоя. Для других слоев создана специальная стратегия, которая в теории искусственных нейронных сетей называется алгоритмом обратного распространения ошибки (англ.: error backpropagatiori) [46, 51], отождествляемым, как правило, с процедурой обучения сети. В соответствии с этим алгоритмом в каждом цикле обучения выделяются следующие этапы [46]. 1. Анализ нейронной сети в прямом направлении передачи информации при генерации входных сигналов, составляющих очередной векгор х. В результате такого анализа рассчитываются значения выходных сигналов нейронов скрытых слоев и выходного слоя, а также соответствующие производные с1р(и(М) df{um) dF(u[m>) ~dJir’^r’'"’^d^r'I I I функции активации каждого слоя (т количество слоев сети). 2. Создание сети обратного распространения ошибок путем изменения направлений передачи сигналов, замена функций активации их производными и подача на бывший выход (а в настоящий момент -вход) сети возбуждения в виде разности между фактическим и ожидаемым значением. Для определенной таким образом сети необходимо рассчитать значения требуемых обратных разностей. 3. Уточнение весов (обучение сети) производится на основе результатов, полученных в шагах 1 и 2, для оригинальной сети и для сети обратного распространения ошибки. 4. Описанный на шаге 1, 2 и 3 процесс следует повторить для всех обучающих выборок, продолжая его вплоть до выполнения условия остановки алгоритма. Действие алгоритма завершается в момент, когда норма градиента упадет ниже априорно заданного значения е (ошибки обучения), характеризующего точность процесса обучения. 88 |