|
53 Существенным недостатком деструктивного подхода, использующего метод "ослабления", является сложность выбора константы г\, что вызывает необходимость проведения большого числа экспериментов на НС для определения ее величины при решении конкретной задачи. Основная идея конструктивного подхода [25] состоит в том, что структура НС наращивается путем постепенного добавления нейронов в начальную структуру до тех пор, пока все примеры обучающей выборки не будут правильно распознаваться (при использовании метода интерпретации «победитель забирает все» [31] экспертом задается максимальная величина превышения сигнала нейрона-победителя над всеми остальными сигналами нейронов входного слоя). В этом методе для НС должно быть задано максимальное число скрытых слоев и нейронов в этих слоях, и некоторые другие параметры обучения. В [48] описан алгоритм автоматического построения НС. Идея алгоритма заключается в последовательном добавлении нейронов таким образом, чтобы заданная Ео уменьшалась на каждом шаге итерации, при этом всякий раз, когда очередной нейрон добавлен и обучен, его весовые коэффициенты связей с другими нейронами сети становятся необучаемыми на следующих итерациях. При подобном способе построения каждый новый нейрон будет устранять хотя бы одну ошибку предыдущего нейрона, что гарантирует сходимость. Основной недостаток подхода возможность построения топологии НС, могущей разделять только два класса. В методе динамического добавления узлов [48] не налагается никаких существенных ограничений на способ построения сети (как добавлять новые нейроны и слои, а также с какими существующими нейронами и слоями они должны быть соединены). При добавлении новых нейронов и слоев:во время процедуры переобучения НС вычисляется:скорость измененияюшибки, и если уменьшение скорости становится ниже заданного порога, добавляется новый нейрон в скрытый слой. Однако здесь возникают проблемы вычислительной эффективности, связанные с необходимостью переобучения НС. |
В результате подсчета оценки по формуле (2.16) малые весовые коэффициенты убывают быстрее, чем большие, и соответствующие им связи между нейронами фактически удаляются. Существенным недостатком деструктивного подхода, использующего метод "ослабления", является сложность выбора константы г, что вызывает необходимость проведения большого числа экспериментов на НС для определения ее величины при решении конкретной задачи Основная идея конструктивного подхода [58] состоит в том, что структура НС наращивается путем постепенного добавления нейронов в начальную структуру до тех пор, пока все примеры обучающей выборки не будут правильно распознаваться (при использовании метода интерпретации «победитель забирает все» [62] экспертом задается максимальная величина превышения сигнала нейрона-победителя над всеми остальными сигналами нейронов входного слоя). В этом методе для НС должно быть задано максимальное число скрытых слоев и нейронов в этих слоях, и некоторые другие параметры обучения. В [245] предлагается алгоритм автоматического построения НС. Идея алгоритма заключается в последовательном добавлении нейронов таким образом, чтобы заданная Е0уменьшалась на каждом шаге итерации, при этом всякий раз, когда очередной нейрон добавлен и обучен, его весовые коэффициенты связей с другими нейронами сети становятся необучаемыми на следующих итерациях. При подобном способе построения каждый новый нейрон будет устранять хотя бы одну ошибку предыдущего нейрона, что гаранпо тирует сходимость. Основной недостаток подхода возможность построения топологии НС, могущей разделять только два класса. В методе динамического добавления узлов [246] не налагается никаких существенных ограничений на способ построения сети (как добавлять новые нейроны и слои, а также с какими существующими нейронами и слоями они должны быть соединены). При добавлении новых нейронов и слоев во время процедуры переобучения НС вычисляется скорость изменения ошибки, и если уменьшение скорости становится ниже заданного порога, добавляется новый нейрон в скрытый слой. Однако здесь возникают проблемы вычислительной эффективности, связанные с необходимостью переобучения НС. Метод каскадной корреляции, предложенный Фальманом [247], содержит две основные идеи: 1) каскадную архитектуру НС (в каждом слое находится по одному нейрону), являющейся вариантом МНС, в которую новые нейроны последовательно добавляются и затем не меняются после настройки; 2) способ автоматического выбора и настройки нового нейрона. В этом методе каждому нейрону по определенным правилам приписывается некоторое число номер слоя. Добавляемый нейрон соединяется со всеми нейронами, которые имеют номер слоя, на единицу меньше, чем у добавляемого нейрона. Для улучшения работы алгоритма автор использовал несколько приемов: 1) формирование пула, представляющего набор нейронов кандидатов с различными активационными функциями. Выбирается нейрон, обеспечивающей меньшее значение ошибки Е0; 2) поскольку веса нейронов, добав |