|
ЭЕ н2> (3.10) Компоненты градиента относительно нейронов скрытого слоя определяются по тому же принципу, однако они описываются другой, более сложной зависимостью, следующей из существования функции, заданной в виде: дЕ _ j лс1ук du, э<> S0'* k)du dWy (3.11) После конкретизации отдельных составляющих этого выражения получаем: м I *=]э*?> h[ k к) dvm h dvm ' (3.12) Введем обозначение м... ,dF{ym) mdF{vm) S‘ ' ~dk ^~d^~ Wh ~d^~’ (3.13) тогда получим выражение, определяющее компоненты градиента относительно весов нейронов скрытого слоя в виде В обоих случаях (формулы (3.10) и (3.14)) описание градиента имеет аналогичную структуру и представляется произведением двух сигналов: первый соответствует начальному узлу данной взвешенной связи, а второй величине погрешности, перенесенной на узел, с которым эта связь установлена. Определение вектора градиента очень важно для последующего процесса уточнения весов. В классическом алгоритме обратного распространения ошибки факторp(w), учитываемый в выражении (3.6), задает направление отрицательного градиента, поэтому Aw = —1} • p(w). 113 (3.15) |
Компоненты градиента относительно нейронов скрытого слоя определяются по тому же принципу, однако они описываются другой, более сложной зависимостью, следующей из существования функции, заданной в виде: M—f(v -d \—к d u ‘ dk)du <Н1) ’ (3.11) После конкретизации отдельных составляющих этого выражения получаем: OWi’ 4=1 dv ,(2) Wti dvm Xj к (ЗЛ2) Введем обозначение (3.13) тогда получим выражение, определяющее компоненты градиента относительно весов нейронов скрытого слоя в виде В обоих случаях (формулы (ЗЛО) и (ЗЛ4)) описание градиента имеет аналогичную структуру и представляется произведением двух сигналов: первый соответствует начальному узлу данной взвешенной связи, а второй величине погрешности, перенесенной на узел, с которым эта связь установлена. Определение вектора 1радиента очень важно для последующего процесса уточнения весов. В классическом алгоритме обратного распространения ошибки фактор p(w), учитываемый в выражении (3.6), задаетнаправление отрицательного градиента, поэтому Aw = -ij • p(w). (3.15) Таким образом, алгоритм обучения состоит из следующих шагов: 1. Выбрать очередной вектор из обучающего множества и подать его на 90 вход сети. |