|
52 непосредственно по обучающей выборке и оценивающих некоторые характеристики аппроксимирующей функции [48]. Для этого на наборе типовых примеров строится регрессионная модель для предсказания Еобщ.. Недостатки подхода: 1) модель зависимости Еобщ. от статистических характеристик выборки должна строиться для каждой топологии НС; 2) отсутствие методики построения обучающей выборки, по которой строится регрессионная модель, оценивающая ошибку Еобщ.. Несмотря на отмеченные недостатки, статистический подход представляется перспективным, поскольку вычислительная сложность алгоритма формирования топологии НС значительно ниже, чем в других методах [24]. При использовании деструктивного подхода происходит либо "ослабление" весовых коэффициентов для разных слоев, либо удаление связей и нейронов. Ослабление весов является подмножеством методов регуляризации [30, 115] и предотвращает чрезмерный рост весовых коэффициентов. В функцию оценки вводится дополнительный элемент штрафное слагаемое, которое определенным образом "заставляет" уменьшаться веса. Обычно штраф это сумма квадратов весов, умноженная на константу ослабления [10]: где ц<1 (выбирается экспертом). Штрафной член при ослаблении весов вынуждает большие веса стремиться к меньшей абсолютной величине: В результате подсчета оценки по формуле (2.15) малые весовые коэффициенты убывают быстрее, чем большие, и соответствующие им связи между нейронами фактически удаляются. (2.13), %(^ + 1) = 0 -? 7 Н (0 (2.14), где I текущая итерация. Пример введения штрафа для исключения весов [48]; |
В статистических методах [239-242] исследуются проблемы связи между собой таких параметров сети, как сложность НС, количество примеров в обучающей выборке, ошибка обучения Е0(training error), ошибка обобщения £<>бщ. (generalization error). Суть статистического подхода определить взаимосвязанность между собой перечисленных выше параметров НС на основе статистических методов. В [241] выводится зависимость Е0би1= /( Е 0, число нейронов и связей), при этом предполагается, что обучающая выборка должна быть не менее 100 примеров. В [240] определяется сложность организации однослойного персептрона: £0бЩ. ограничена О \ + 0 { j j llofiW* где h число нейронов внутреннего слоя персептрона, N число примеров в обучающей выборке. В [243] для определения достаточности размера НС сравнивается оценка константы Липшица для функций, реализующих НС, и константа Липшица, вычисленная по заданной обучающей выборке из аппроксимирующей функции. Авторами [244] разработан метод, оценивающий Е0бщ-. Предложен метод оценки статистических характеристик выборки интегральных атрибутов, вычисляемых непосредственно по обучающей выборке и оценивающих некоторые характеристики аппроксимирующей функции. Для этого на наборе типовых примеров строится регрессионная модель для предсказания ^обш,Недостатки подхода: 1) модель зависимости £0бщ. от статистических характеристик выборки должна строиться для каждой топологии НС; 2) отсутствие 108 методики построения обучающей выборки, по которой строится регрессионная модель, оценивающая ошибку £0бт.Несмотря на отмеченные недостатки, статистический подход представляется перспективным, поскольку вычислительная сложность алгоритма формирования топологии НС значительно ниже, чем в других методах При использовании деструктивного подхода происходит либо "ослабление” весовых коэффициентов для разных слоев, либо удаление связей и нейронов. Ослабление весов является подмножеством методов регуляризации [64, 140, 145] и предотвращает чрезмерный рост весовых коэффициентов. В функцию оценки вводится дополнительный элемент штрафное слагаемое, которое определенным образом "заставляет" уменьшаться веса Обычно штраф —это сумма квадратов весов, умноженная на константу ослабления [145]: Е 1 Рых 27.] где г<1 (выбирается экспертом). Штрафной член при ослаблении весов вынуждает большие веса стремиться к меньшей абсолютной величине Щ (Г + 1) = (1 7])Щ (0 ,!/ где I текущая итерация. Пример введения штрафа для исключения весов [145 ] р Е -У ,)2 * ” ^ /=1 IV2 V 1+ IV2 (2.16) V 109 В результате подсчета оценки по формуле (2.16) малые весовые коэффициенты убывают быстрее, чем большие, и соответствующие им связи между нейронами фактически удаляются. Существенным недостатком деструктивного подхода, использующего метод "ослабления", является сложность выбора константы г, что вызывает необходимость проведения большого числа экспериментов на НС для определения ее величины при решении конкретной задачи Основная идея конструктивного подхода [58] состоит в том, что структура НС наращивается путем постепенного добавления нейронов в начальную структуру до тех пор, пока все примеры обучающей выборки не будут правильно распознаваться (при использовании метода интерпретации «победитель забирает все» [62] экспертом задается максимальная величина превышения сигнала нейрона-победителя над всеми остальными сигналами нейронов входного слоя). В этом методе для НС должно быть задано максимальное число скрытых слоев и нейронов в этих слоях, и некоторые другие параметры обучения. В [245] предлагается алгоритм автоматического построения НС. Идея алгоритма заключается в последовательном добавлении нейронов таким образом, чтобы заданная Е0уменьшалась на каждом шаге итерации, при этом всякий раз, когда очередной нейрон добавлен и обучен, его весовые коэффициенты связей с другими нейронами сети становятся необучаемыми на следующих итерациях. При подобном способе построения каждый новый нейрон будет устранять хотя бы одну ошибку предыдущего нейрона, что гаранпо |