|
58 дующей модификации НС вычисляется скорость изменения ошибки Ео, и, если она становится недопустимо низкой, а значение ошибки не достигло нужного значения, производится дальнейшее наращивание НС. Алгоритм сводится к выполнению следующей последовательности шагов. Шаг 1. Задание числа слоев р и максимального числа нейронов п в каждом слое. Шаг 2. Инициализация процедуры обучения НС: Ц=1; Ю:=1, где Ь текущая итерация, Юначало работы НС. Шаг 3. Обучение НС только по обучаемым связям (в начальной топологии сети все связи обучаемы); Ц=Н1. Шаг 4. Проверка условия продолжения обучения: Ео( 0 Е о(О\ Ео(0 <£, (2.16) где 1номер текущей итерации; Ео(1;) ошибка обучения на текущей итерации; и = 1 1, 1количество итераций, задаваемое экспертом, при котором ошибка сети меняется несущественно (1 >1), е допустимый порог изменения ошибки обучения. Шаг 5. Если условие (3.7) не выполняется, то перейти к шагу 3, иначе к следующему шагу. Шаг 6. Проверка условия останова обучения Е0(0 <4 (2,17) где заданная ошибка обучения. Если это условие выполняется, то переход к ш.11, иначе перейти к следующему шагу. Шаг 7. Проверка условия допустимости скорости изменения ошибки обучения: \ЕЛ0-Ео(Ц ВДо) <в, (2.18) где Юномер итерации, на которой была изменена топология сети путем добавления нового нейрона из тех, которые соединяются обучаемыми связями; |
как и в алгоритме [248], обучается только часть связей между нейронами в сети. Это позволяет, в отличие от классического конструктивного подхода, существенно сократить время обучения. Для определения момента перехода к следующей модификации НС вычисляется скорость изменения ошибки Е0, и, если она становится ниже установленного порога, а значение ошибки не достигло нужного значения, производится дальнейшее наращивание НС. Алгоритм сводится к выполнению следующей последовательности шагов. Шаг 1. Задание числа слоев р и максимального числа нейронов п в каждом слое. Шаг 2. Инициализация процедуры обучения НС: /:=1; Л?:=1, где /текущая итерация, ¡оначало работы НС, задание экспертом: /количество итераций, при котором ошибка сети меняется несущественно (/ > 1), е допустимый порог изменения ошибки обучения, 8заданная ошибка обучения. Шаг 3. Обучение НС только по обучаемым связям (в начальной топологии сети все связи обучаемы); /:=/+!. Шаг 4. Проверка условия продолжения обучения \Ео(0 ~ Е0{У\ ЕМ) < ¿ 7 , (3.10) где и номер текущей итерации; Е0(() ошибка обучения на текущей итерации; /1 = / /. Шаг 5. Если условие (3.10) не выполняется, то перейти к шагу 3, иначе к следующему шагу. Шаг б. Проверка условия останова обучения 180 E0it)<5. Если это условие выполняется, то переход к ш.11, иначе перейти к следующему шагу. Шаг 7. Проверка условия допустимости скорости изменения ошибки обучения: Е.(>,)-£ДУ0) Е0(Jo) < 0 , (3.11) где tQномер итерации, на которой была изменена топология сети путем добавления нового нейрона из тех, которые соединяются обучаемыми связями; /г номер текущего такта обучения; 0 = const, 0 < в <1 и задается экспертом. Коэффициент в определяет скорость изменения ошибки обучения. Шаг 8 . Если условие (3.11) не выполняется, то коэффициенты межнейронных связей нейронов, добавленных после момента /о>фиксируются и при дальнейшем обучении НС не изменяются, иначе, если скорость изменения ошибки обучения невелика, то нейроны, добавленные после /о>не внесли существенного улучшения в качество обучения, поэтому они участвуют в дальнейшем обучении. Связи нейронов последнего (выходного) слоя с нейронами скрытых слоев всегда являются обучаемыми. Шаг 9. Добавление нового нейрона в слой с наименьшим номером /?, для которого п < пmax Шаг 10. Переход к шагу 3. Шаг 11. Конец. 181 |