103 по вычисленным по формуле (3.12) значениям изменения градиента ошибки Е(IE) на текущей итерации и приращения IE (НЕ) осуществляется фазификация IE и НЕ (рис. 3.4.); из таблиц, интерпретирующих нечеткие правила (с учетом значения Sum (Var)), в зависимости от реализуемой версии алгоритма, либо сразу извлекаются четкие значение ДЬ и Ал, либо производится извлечение нечетких приращений параметров обучения (табл. 3.1) с последующей дефазификацией нечетких ДЬ и Дл. Аналогичные действия проводятся на ш. 3. В конкретной реализации модифицированного алгоритма BP (ВР2) с коррекцией параметров обучения h и л использовалось три нечетких множества: NS, ZE, PS. Результаты моделирования стандартного ВР и модифицированных ВР1 (алгоритм ВР с динамическим выбором шага обучения) и ВР2 при решении тестовых задач распознавания рекламных баннеров [121J представлены на рис. 3.7. 1000 2000 5000 10000 Число итераций Рис. 3.7. Зависимость процента ошибок от числа итераций ВР стандартный алгоритм Back Propagation ВР1алгоритм ВР с динамическим шагом ВР2 модифицированный ВР с коррекцией h и л Проведенные эксперименты показали, что алгоритмы ВР1 и ВР2 с нечетким управлением обеспечивают существенно более быструю сходимость, чем классический ВР. |
проверка условия изменения знака, а перед вычислением 4 ° по формуле (4.1) в текущей итерации на ш.2 проводятся следующие действия: 1) подсчитывается сумма Sum (Var), по значению которой определяется факт изменения знака Ш и НЕ, который влияет на выбор правил вычисления параметров обучения; 2) по вычисленным по формуле (4.3) значениям изменения градиента ошибки Е(1Е) на текущей итерации и приращения IE (НЕ) осуществляется фазификация IE и НЕ (рис. 4.3.); 3) из таблиц, интерпретирующих нечеткие правила (с учетом значения Sum (Var)), в зависимости от реализуемой версии алгоритма, либо сразу извлекаются четкие значение Ah и Ал, либо производится извлечение нечетких приращений параметров обучения (табл. 4.1) с последующей дефазификацией нечетких Ah и Ал. Аналогичные действия проводятся на ш. 3. В конкретной реализации модифицированного алгоритма BP (ВР2) с коррекцией параметров обучения h и л [228] использовалось три нечетких множества: NS, ZE, PS. Результаты моделирования стандартного ВР и модифицированных ВР1 (алгоритм ВР с динамическим выбором шага обучения) и ВР2 при выборе топологии корпоративной сети [136] представлены на рис. 4.4. Проведенные эксперименты показали, что алгоритмы ВР1 и ВР2 с нечетким управлением обеспечивают существенно более быструю сходимость, чем классический ВР. 199 40 35 30 25 20 о Q. С 15 10 5 0 1000 2000 5000 10000 ВР ИВР1 □ ВР2 Число итераций Рис. 4.4. Зависимость процента ошибок от числа итераций ВР стандартный алгоритм Back Propagation ВР1алгоритм ВР с динамическим шагом ВР2 модифицированный ВР с коррекцией h и п Достижение той же ошибки обучения (25 %) было достигнуто для ВР2 при числе итераций в пять раз меньше, а для ВР1 в три раза меньше. 4.1.2. Комбинированный алгоритм обучения МНС с использованием генетического алгоритма и имитации отжига В данном разделе разрабатывается комбинированный алгоритм обучения МНС: на основе генетического алгоритма (ГА) и алгоритма имитации отжига. Создание такого алгоритма открывает возможность динамически менять скорость сходимости ГА на различных этапах поиска оптимума с целью снижения временных затрат и повышения вероятности нахождения глобального экстремума (минимальной ошибки сети). Алгоритм имитации отжига (АИО) основывается на понятии тепловой энергии, введенной С. Кирпатриком [119]. Автор алгоритма использовал "тепловой шум" для выхода из локальных минимумов и для повышения вероят200 |