|
4.3. Обзор программ для имитации работы нейронных сетей Существует множество программных систем реализующих имитацию работы и обучение нейронных сетей. Они служат для ностроения и изучения той или иной сети при решении какой-либо задачи пользователя. Данные программы предлагают исследователю набор алгоритмов обучения и средств оценки ошибок работы сети, при этом исследователь сам должен задать предварительно обучающие выборки (обычно в специализированных входных файлах) и саму сеть, выбрать количество нейронов, слоев, виды активационных функций. Это такие пакеты как Statistica Neural Networks, NeuroSolutions, NeuroWindows и др. Данные пакеты относятся к так называемым универсальным пакетам, позволяющим пользователю решать любые свои задачи, функциональность нейронной сети задается в обучающих выборках. При этом такие пакеты часто не позволяют учесть многие аспекты присуще данной предметной области. Кроме того, обладают меньшей мобильностью и компактностью, чем специализированные пакеты, которые предназначены для решения конкретных задач, например, задач распознавания образов, классификации, экономических задач, задач прогнозирования и т.д. Проведен анализ существующих подходов заложенных в известных программных продуктах. Были рассмотрены следующие программные средства: NeuroOffice, Neural Bench, Ncurolterator, Neuro Wizard и др. Данные программы позволяют создавать сети типа многослойный персептрон, и в целом характеризуются различными возможностями по выбору активационных функций нейронов и алгоритмов обучения. В качестве алгоритмов обучения в основном используются градиентные методы. Программа NeuroBench позволяет создать нейронную сеть типа многослойный персептрон, для этого указывается число слоев нейронной сети, для каждого слоя указывается число нейронов и задается функция активации. При этом программа автоматически создает все связи, нейрон последующего слоя соответственно имеет число входов равное числу 134 |
127 % %Рисунок 4.16Окно для слежения за процессом обучения нейронной сети 4.3.1 Обзор программ для имитации работы нейронных сетей Существует множество программных систем реализующих имитацию работы и обучение нейронных сетей. Они служат для построения и изучения той или иной * сети при решении какой-либо задачи пользователя. Данные программы предлагают исследователю набор алгоритмов обучения и средств оценки ошибок работы сети, при этом исследователь сам должен задать предварительно обучающие выборки (обычно в специализированных входных файлах) и саму сеть, выбрать количество нейронов, слоев, виды активационных функций. Это такие пакеты как Statistica Neural Networks, NeuroSolutions, NeuroWindows и др. Данные пакеты относятся к так называемым универсальным пакетам, позволяющим пользователю решать любые свои задачи, функциональность нейронной сети задается в обу► чающих выборках. При этом такие пакеты часто не позволяют учесть многие аспекты присущие данной предметной области. Кроме того, обладают меньшей мобильностью и компактностью, чем специализированные пакеты, которые предна значены для решения конкретных задач, например, задач распознавания образов, классификации, экономических задач, задач прогнозирования и т.д. Нами проведен анализ существующих подходов заложенных в известных программных продуктах. Были рассмотрены следующие программные средства: NeuroOfficc, Neural Bench, Neuroiterator, NeuroWizard и др. Данные программы позволяют создавать сети типа многослойный персептрон, и в целом характеризуются различными возможностями по выбору активационных функций нейронов и алгоритмов обучения. В качестве алгоритмов обучения в основном используются градиентные методы. Программа NeuroBench позволяет создать нейронную сеть типа многослойный персептрон, для этого указывается число слоев нейронной сети, для каждого слоя указывается число нейронов и задается функция активации. При этом программа автоматически создает все связи, нейрон последующего слоя соответственно имеет число входов равное числу нейронов предыдущего слоя. Возможно создание семи слоев в нейронной сети с максимальным числом нейронов в слое 128. Число нейронов в первом слое соответствует числу входов нейронной сети, каждый нейрон входного слоя имеет один вход. Обучающую выборку должен сформировать исследователь и записать в специальный входной файл. Кроме того, для проверки работы сети создается тестовая выборка. Результаты работы программы записываются в специальный выходной файл. В данном файле тестовому входному сигналу соответствует выходной сигнал, генерируемый сетью. Программа позволяет оцепить общую среднюю ошибку работы сети, обучить сеть выбранным методом. В качестве методов обучения использованы градиентные методы обучения с применением различных правил (дельта, дельта с чертой). Программа не позволяет менять параметры активационных функций и просмотреть их поведение на графике. Нет возможности задания начальных значений весовых коэффициентов и просмотра коэффициентов, полученных при обучении. Невозможно просмотреть динамику изменения ошибки сети по всем входным данным. Проведенные опыты показали, что при создании трехслойной и двухслойной сети и обучении ее на тестовых примерах (толща и концентрация) сеть выдает решение с большой относительной ошибкой. 131 Программа Statistica Neural Networks позволяет обучать и тестировать нейронные сети Коханена, многослойного персептрона, радиально базисные сети. В качестве методов обучения используются методы сопряженных градиентов, Ле^ венбсрга-Марквардта, обратного распространения ошибки. Рекомендуемым алгоритмом является метод сопряжегшых градиентов. Алгоритм ЛевенбергаМарквардта дает в некоторых случаях лучшие результаты, но имеет ограничения на конструкцию нейронной сети один выход и 20-50 нейронов в скрытом слое. Особенностями процедур обучения является кросс-проверка (проверка сети на дополнительной выборке для устранения эффекта переобучения), возможность зада^ ния различных условий остановки обучения (число итераций, уровень ошибки, число итераций, на протяжении которых ошибка начинает увеличиваться или до момента, когда ошибка уменьшаться на величину меньшую заданной). Также установка штрафов на количество элементов в сети, чтобы выбрать наиболее оптимальную сеть, автоматическое сохранение лучшей сети, автоматический конструктор сети позволяющий создать, сеть наилучшим образом решающую данную задачу (хотя, данная процедура занимает длительное время). Включен генетический отбор наиболее информативных данных (подбор наиболее оптимальных входов и удаление менее информативных), данная процедура также занимает длительное время, она основана на скрещивании и мутации множества битовых строк , входов и последующего выбора оптимального варианта. Рассмотренные выше программы позволяют создавать сети типа многослойный персептрон, и в целом характеризуются различными возможностями по выбору активационных функций нейронов и алгоритмов обучения. В качестве алгоритмов обучения в основном используются градиентные методы. Но данные программные продукты не подходят для решения нашей задачи, связанной с дифференцированием эмпирических данных. Сложность применения уже готовых программных продуктов связана с ограниченным числом нейронов в сети, либо с недостаточными возможностями по просмотру промежуточных результатов, либо со сложностью задания структуры сети, что обусловило необходимость разработки алгоритмов и программ, которые позволили бы создавать и проводить анализ работы различных конструкций нейронной сети. t |