|
5! уровне при минимальной сложности сети. Всестороннее теоретическое исследование этого вопроса проведено в [25!], где делается вывод, что для наиболее часто используемых на практике многослойных нейронных сетей задача оптимизация топологии (минимизация числа нейронов и числа слоев) может быть поставлена только либо в плане ликвидации избыточности числа нейронов, либо при задании ограничений на число нейронов. Соответственно в литературе по нейронным сетям широко рассматриваются два эвристических подхода к выбору топологии [45, 48]: деструктивный (сокращение нейронов сети) и конструктивный (постепенное наращивание НС, начиная с некоторой минимальной топологии), а также исследуются статистические подходы. Менее исследованными остаются методы эволюционного поиска. В статистических методах исследуются проблемы связи между собой таких параметров сети, как сложность НС, количество примеров в обучающей * выборке, ошибка обучения Ео (training error), ошибка обобщения Еобщ. (generalization error). Суть статистического подхода определить взаимосвязанность между собой перечисленных выше параметров НС на основе статистических методов. В [48] выводится зависимость Еобщ.=f (Ео), число нейронов и связей), при этом предполагается, что обучающая выборка должна быть не менее 100 примеров. В [25] определяется сложность организации однослойного персептрона: Еобщ. ограничена: где Ь -число нейронов внутреннего слоя персептрона, N число примеров в обучающей выборке. В [31] для определения достаточности размера НС сравнивается оценка константы Липшица для функций, реализующих НС, и константа Липшица, вычисленная по заданной обучающей выборке из аппроксимирующей функции. Разработан метод, оценивающий Еобщ. Предложен метод оценки статистических характеристик выборки интегральных атрибутов, вычисляемых (2.12), |
ходной. НС с большим числом нейронов обычно слишком точно обобщает примеры обучающей выборки (эффект переобучения), что снижает ее возможности прогнозирования *[ля вычисления введенной характеристики сложности введем следующее определение Определение 2.7. Под сложностью £ нейронной сети будем понимать число, равное суммарному количеству вычислительных операций, необходимых для вычисления выходного вектора У по входному вектору Ы , зависящих только от топологии сети (числа нейронов, скрытых слоев и связей между ними). При формировании топологии ставится задача подобрать параметры сети таким образом, чтобы ошибка обобщения Е0вщ. оставалась на приемлемом уровне при минимальной сложности сети. Всестороннее теоретическое исследование этого вопроса проведено в [58], где делается вывод, что для наиболее часто используемых на практике многослойных нейронных сетей задача оптимизация топологии (минимизация числа нейронов и числа слоев) может быть поставлена только либо в плане ликвидации избыточности числа нейронов, либо при задании ограничений на число нейронов. Соответственно в литературе по нейронным сетям широко рассматриваются два эвристических подхода к выбору топологии [126]: деструктивный (сокращение нейронов сети) и конструктивный (постепенное наращивание НС, начиная с некоторой минимальной топологии), а также исследуются статистические подходы. Менее исследованными остаются методы эволюционного поиска. 107 В статистических методах [239-242] исследуются проблемы связи между собой таких параметров сети, как сложность НС, количество примеров в обучающей выборке, ошибка обучения Е0(training error), ошибка обобщения £<>бщ. (generalization error). Суть статистического подхода определить взаимосвязанность между собой перечисленных выше параметров НС на основе статистических методов. В [241] выводится зависимость Е0би1= /( Е 0, число нейронов и связей), при этом предполагается, что обучающая выборка должна быть не менее 100 примеров. В [240] определяется сложность организации однослойного персептрона: £0бЩ. ограничена О \ + 0 { j j llofiW* где h число нейронов внутреннего слоя персептрона, N число примеров в обучающей выборке. В [243] для определения достаточности размера НС сравнивается оценка константы Липшица для функций, реализующих НС, и константа Липшица, вычисленная по заданной обучающей выборке из аппроксимирующей функции. Авторами [244] разработан метод, оценивающий Е0бщ-. Предложен метод оценки статистических характеристик выборки интегральных атрибутов, вычисляемых непосредственно по обучающей выборке и оценивающих некоторые характеристики аппроксимирующей функции. Для этого на наборе типовых примеров строится регрессионная модель для предсказания ^обш,Недостатки подхода: 1) модель зависимости £0бщ. от статистических характеристик выборки должна строиться для каждой топологии НС; 2) отсутствие 108 |