|
100 IF IE становятся малой величиной без изменения знака за несколько последних итераций (задается пользователем), THEN величину h следует увеличить. IF происходит изменение знака IE для нескольких последовательных итераций, THEN величину h следует уменьшить, независимо от значений НЕ. IF IE становится очень малой величиной AND НЕ становится очень малой величиной без изменения знака за несколько последних итераций, TFIEN величину h и коэффициент инерционности к следует увеличить. Чтобы определить, изменялось ли значение градиента и градиента второго порядка на некоторой итерации, введем параметр изменения знака: Var(t) = 1l/2(s/gn(IE(/‘-1) + s/g?7(IE(/))) (3.5) где знаковая функция, а множитель 1/2 будет гарантировать, что Уаг будет равен либо О -в случае отсутствия изменения знака на некоторой итерации ^ либо 1, если есть изменение знака. Тогда некоторое значение накопленной суммы 8ит(Уаг) за определенное количество итераций (например, за последние три итерации) можно использовать для интерпретации поведения алгоритма обучения с использованием средств нечеткой логики: $ит(Уаг^)) Уаг{1) + Уаг{( ~ 1)+ Раг(/ 2) ^ 6) где Бит будет определять частоту изменения знака. В работе [15] проведено исследование стандартного алгоритма ВР, использующего градиентный спуск. На основе данных этого анализа построены функции принадлежности (рис. 3.5.) для нечетких переменных 1Е и НЕ. Определены следующие нечеткие множества: ИВ отрицательное большое; N8 отрицательное малое; 1Е нуль; Р8 положительное малое; РВ положительное большое. |
В нечетких котроллерах для регулирования параметров управления используются средства нечеткой логики [133,134]. С помощью экспертов также можно сформулировать правила регулирования к и я, которые будут использовать информацию об изменении значений градиента ошибки £ -1Еи информацию о градиенте второго порядка (изменение 1Е НЕ), связанного с ускорением сходимости. Примеры нечетких правил, в которых 1Е и НЕ являются нечеткими переменными, могут быть представлены следующим образом: Ш 1Е становятся малой величиной без изменения знака за несколько последних итераций (задается пользователем), THEN величину h следует увеличить IF происходит изменение знака IE для нескольких последовательных итераций, THEN величину h следует уменьшить, независимо от значений НЕ. IF IE становится очень малой величиной AND НЕ становится очень малой величиной без изменения знака за несколько последних итераций, THEN величину h и коэффициент инерционности п следует увеличить. Чтобы определить, изменялось ли значение градиента и градиента второго порядка на некоторой итерации, введем параметр изменения знака: Var[t) = 1-l/2(ífgw(IE(í -1) + j/g«(IE(/))), (4.2) где 5/£и(*) знаковая функция, а множитель 1/2 будет гарантировать, что Var будет равен либо О -в случае отсутствия изменения знака на некоторой итерации /, либо 1, если есть изменение знака. Тогда некоторое значение на195 копленной суммы Sum(Vaг) за определенное количество итераций (например, за последние три итерации) можно использовать для интерпретации поведения алгоритма обучения с использованием средств нечеткой логики: Sum(Var(t)) = Var(t) + Var(t —1) + Var{t —2 ), (4.3) где Sum будет определять частоту изменения знака. Рис.4.2. Функции принадлежностей для нечетких переменных IE и НЕ В работе [135] проведено всестороннее исследование стандартного алгоритма ВР, использующего градиентный спуск. На основе данных этого анализа построены функции принадлежности (рис.4.2.) для нечетких переменных IE и НЕ. Определены следующие нечеткие множества: NB —отрицательное большое; NS —отрицательное малое; ZE —нуль; PS —положительное малое; РВ положительное большое. Суммарное количество изменений знака к моменту времени t за г+1 последних итерации запишем в следующем виде : 196 |