|
3. Рассчитываем выход слоя Кохонена Dm ,p и определяем номер выигравшего нейрона Ш о, выход которого максимален, m0:maxDm ,p т 4. Корректируем веса только выигравшего нейрона то: wmo:=wm o+ (xP“ wm (> ) (3-17) Коррекция записана в виде векторного выражения (вектор весов wm < 1нейрона то имеет столько компонент, сколько их у входного вектора х1 *). а скорость обучения, малая положительная величина. Часто используют расписание с обучением, когда а = a(t) монотонно убывает. Веса корректируются так, что вектор весов приближается к текущему входному вектору. Скорость обучения управляет быстротой приближения ядра класса (вектора весов) ко входному вектору хр. Алгоритм выполняется до тех пор, пока веса не перестанут меняться. Рассмотрим метод выпуклой комбинации. Этот метод полезен при обучении, чтобы правильно распределить плотность ядер классов (векторов весов) в соответствии с плотностью входных векторов в пространстве X. 1. Присваиваем всем весам одно и то же начальное значение: w ” = -)= , Vn n= dim X. Вектора весов получают длину, равную единице, как требует нормировка. Все вектора весов одинаковы. 2. Задаем обучающее множество {хр} и проводим обучение, но не с векторами хр, а с векторами (t)xp+-—7 =-^, где t время обучения, P(t) монотонно vn возрастающая функция, меняющаяся от 0до 1по мере обучения. В начале обучения p(t) = 0 и все обучающие вектора одинаковы и равны начальному значению весов. По мере обучения P(t) растет и обучающие вектора расходятся из точки с координатами — и приближаются к своим конечным Vn значениям хр, которые достигаются при p(t) = 1. Каждый вектор весов "захватывает" группу или один обучающий вектор и отслеживает его по мере роста р. 102 |
54 Обычно начальные значения в нейронных сетях выбираются малыми случайными числами. Для слоя Кохонена такой выбор возможен, но имеет недостатки. Разумеется, если ядра классов норми рованы, то и начальные значения нужно нормировать. Если веса инициализируются случайными значениями с равномерным распределением, то воз никает проблема. Когда ядра распределяются равномерно, то в областях пространства X, где мало входных векторов, ядра будут использоваться редко, т.к. мало будет похожих векторов. В тех облас тях, где входных векторов много, плотность ядер окажется недостаточной, и непохожие объекты будут активировать один и тот же нейрон, т.к. более похожего ядра не найдется. Для устранения проблемы можно выделять ядра в соответствии с плотностью входных векторов. Но распределение входных векторов часто бывает заранее неизвестно. В этом случае помогает метод выпуклой комби нации, рассмотренный ниже. 2. Обучение сети Если число входных векторов равно числу ядер (т.е. нейронов), то обучение не нужно. Достаточно присвоить ядрам значения входных векторов, и каждый вектор будет активировать свой нейрон Кохонена. Но чаще всего количество классов меньше числа входных векторов. В этом случае веса сети настраиваются итеративным алгоритмом. Алгоритм аналогичен исходному алгоритму классификации, но коррекции весов проводятся пос ле предъявления каждого входного вектора, а не после предъявления всех, как требует исходный алгоритм. Сходимость при этом сохраняется. 1. Присваиваем начальные значения весовым коэффициентам. 2. Подаем на вход один из векторов p x . 3. Рассчитываем выход слоя Кохонена, Dm,p , и определяем номер выигравшего нейрона m0 , вы ход которого максимален, , 0 : max m p m m D . 4. Корректируем веса только выигравшего нейрона m0 : ( )0 0 0 : α= + −p m m mw w x w () — коррекция записана в виде векторного выражения (вектор весов 0mw нейрона 0m имеет столько компонент, сколько их у входного вектора p x ). α — скорость обучения, малая положительная вели чина. Часто используют расписание с обучением, когда ( )tα α= монотонно убывает. Требования к ( )tα те же, что и в случае многослойного перцептрона. Веса корректируются так, что вектор весов приближается к текущему входному вектору. Скорость обучения управляет быстротой приближения ядра класса (вектора весов) ко входному вектору p x . Алгоритм выполняется до тех пор, пока веса не перестанут меняться. Метод выпуклой комбинации Этот метод полезен при обучении, чтобы правильно распределить плотность ядер классов (векто ров весов) в соответствии с плотностью входных векторов в пространстве X. 1. Присваиваем всем весам одно и то же начальное значение: 1 , dimm iw n X n = = . Вектора ве сов получают длину, равную единице, как требует нормировка. Все вектора весов одинаковы. 2. Задаем обучающее множество { }p x и проводим обучение, но не с векторами p x , а с вектора ми ( ) ( )1p t t n β β − +x , где t — время обучения, ( )tβ — монотонно возрастающая функция, меняю щаяся от 0 до 1 по мере обучения. |