|
99 Рис.3.4 Схема подстройки параметров обучения НС Правило обновления весовых коэффициентов в стандартном алгоритме обратного распространения в общем виде представляется формулой: Ди$(/) = + яДтг,”(/ -1 ), (3.4) J ^ с1$ где ^ ,а Е ошибка обучения; Ь скорость обучения и я коэффициент инерционности; г текущая итерация; п номер слоя; х\ значение входа ¡-о нейрона в слое п. Основная проблема получения более быстрой сходимости состоит в автоматической подстройке параметров обучения Ь и я, влияющих на процесс сходимости. В нечетких когроллерах для регулирования параметров управления используются средства нечеткой логики [48]. С помощью экспертов также можно сформулировать правила регулирования Ь и я, которые будут использовать информацию об изменении значений градиента ошибки Е 1Е и информацию о градиенте второго порядка (изменение 1Е НЕ), связанного с ускорением сходимости. Примеры нечетких правил, в которых 1Е и НЕ являются нечеткими переменными, могут быть представлены следующим образом: |
стройки параметров обучения НС с помощью нечеткой логики представлена на рис. 4.1. Нечеткая база правил, содержащая экспертные знания, используется для адаптивного изменения значений параметров обучения, в зависимости от состояния сети и реального значения параметров обучения. Обучающая выборка Нечеткие правила изменения парамет ров обучения -----------*-----------Адаптированный параметр обучения Выход Рис.4.1. Схема подстройки параметров обучения НС Правило обновления весовых коэффициентов в стандартном алгоритме обратного распространения в общем виде представляется формулой: Ату,у(/) = -И б ^х” + /гАн^(/ -1 ), (4.1) где дЕ Ф; дуубб] , а Е —ошибка обучения; Лскорость обучения и д коэффициент инерционности; t текущая итерация; п номер слоя; лг/ значение входа /-о нейрона в слое п. Основная проблема получения более быстрой сходимости состоит в автоматической подстройке параметров обучения Ии л, влияющих на процесс сходимости. 194 В нечетких котроллерах для регулирования параметров управления используются средства нечеткой логики [133,134]. С помощью экспертов также можно сформулировать правила регулирования к и я, которые будут использовать информацию об изменении значений градиента ошибки £ -1Еи информацию о градиенте второго порядка (изменение 1Е НЕ), связанного с ускорением сходимости. Примеры нечетких правил, в которых 1Е и НЕ являются нечеткими переменными, могут быть представлены следующим образом: Ш 1Е становятся малой величиной без изменения знака за несколько последних итераций (задается пользователем), THEN величину h следует увеличить IF происходит изменение знака IE для нескольких последовательных итераций, THEN величину h следует уменьшить, независимо от значений НЕ. IF IE становится очень малой величиной AND НЕ становится очень малой величиной без изменения знака за несколько последних итераций, THEN величину h и коэффициент инерционности п следует увеличить. Чтобы определить, изменялось ли значение градиента и градиента второго порядка на некоторой итерации, введем параметр изменения знака: Var[t) = 1-l/2(ífgw(IE(í -1) + j/g«(IE(/))), (4.2) где 5/£и(*) знаковая функция, а множитель 1/2 будет гарантировать, что Var будет равен либо О -в случае отсутствия изменения знака на некоторой итерации /, либо 1, если есть изменение знака. Тогда некоторое значение на195 |