|
На основе обучающей выборки организуется входной и выходной слой нейронной сети (в зависимости от числа входов и выходов), внутренние слои пользователь определяет сам. Обучение сети производится с помощью метода обратного распространения ошибки. Возможен просмотр результатов работы сети, ошибки сети, просмотр динамики изменения ошибки при обучении. Программа Visual Neural Network Designer предназначена для имитации и работы нейронных сетей для распознавания образов. В качестве сети используется двумерная нейронная сеть и для обучения метод обратного распространения и его модификации. Программа позволяет вводить образы, которые должна распознавать сеть, просматривать результаты в виде изображений, выводить ошибки в виде графиков. Для этих же целей разработана программа Neural Networb ШЕ работающая с сетью Коханена и многослойным персептроном. При этом в программу включены различные методы обучения наряду с методом обратного распространения ошибки, метод генетического поиска, случайного поиска, стратегия двухэтажного обучения на основе генетического поиска и градиентного спуска, стратегия BFGS (использование аппроксимации к матрице вторых частных производных, к матрице Гессе в методе обратного распространения ошибки). Программа позволяет просматривать графики активности нейронов в трехмерном виде, ошибки работы сети и многие другие параметры. Программа Statistica Neural Networks позволяет обучать и тестировать нейронные сети Коханена, многослойного персептрона, радиально базисные сети. В качестве методов обучения используются методы сопряженных градиентов, Левенберга-Марквардта, обратного распространения ошибки. Рекомендуемым алгоритмом является метод сопряженных градиентов. Алгоритм Левенберга—Марквардта дает в некоторых случаях лучшие результаты, но имеет ограничения на конструкцию нейронной сети один выход и 20-50 нейронов в скрытом слое. Особенностями процедур обучения является кросс-проверка (проверка сети на дополнительной выборке для 137 |
ходных откликов сети на входной сигнал и ошибку сети в табличном виде, а также просмотр графиков и таблиц активности нейронов. Возможно задание нейронной сети и обучающих выборок в файлах специализированного формата. Программа NeuroWizard позволяет создать многослойную нейронную сеть с прямыми связями. Нейроноподобный элемент может иметь только одну сигмовидную активационную функцию, но есть возможность варьирования крутизны ее наклона. Обучающая выборка содержится в специальном файле. На основе обучающей выборки организуется входной и выходной слой нейронной сети (в зависимости от числа входов и выходов), внутренние слои пользователь определяет сам. Обучение сети производится с помощью метода обратного распространения ошибки. Возможен просмотр результатов работы сети, ошибки сети, просмотр динамики изменения ошибки при обучении. Программа ЛОКНЭС является специализированным программным пакетом, предназначенным для проектирования локальных вычислительных сетей. Для обучения сети применяется метод обратного распространения ошибки и РагТап (градиентный, анти-овражный) метод. Программа позволяет тестировать сеть, просматривать результаты и ошибки работы в виде графиков и таблиц. Программа Visual Neural Network Designer предназначена для имитации и работы нейронных сетей для распознавания образов. В качестве сети используется двумерная нейронная сеть и для обучения метод обратного распространения и его модификации. Программа позволяет вводить образы, которые должна распознавать сеть, просматривать результаты в виде изображений, выводить ошибки в виде графиков. Для этих же целей разработана программа Neural Networks ЮЕ работающая с сетью Коханена и многослойным персептроном. При этом в программу включены различные методы обучения наряду с методом обратного распространения ошибки, метод генетического поиска, случайного поиска, стратегия двухэтапного обучения на основе генетического поиска и градиешиого спуска, стратегия BFGS (использование аппроксимации к матрице вторых частных производных, к матрице Гессе в методе обратного распространения ошибки). Программа позволяет просматривать графики активности нейронов в трехмерном виде, ошибки работы сети и многие другие параметры. 131 Программа Statistica Neural Networks позволяет обучать и тестировать нейронные сети Коханена, многослойного персептрона, радиально базисные сети. В качестве методов обучения используются методы сопряженных градиентов, Ле^ венбсрга-Марквардта, обратного распространения ошибки. Рекомендуемым алгоритмом является метод сопряжегшых градиентов. Алгоритм ЛевенбергаМарквардта дает в некоторых случаях лучшие результаты, но имеет ограничения на конструкцию нейронной сети один выход и 20-50 нейронов в скрытом слое. Особенностями процедур обучения является кросс-проверка (проверка сети на дополнительной выборке для устранения эффекта переобучения), возможность зада^ ния различных условий остановки обучения (число итераций, уровень ошибки, число итераций, на протяжении которых ошибка начинает увеличиваться или до момента, когда ошибка уменьшаться на величину меньшую заданной). Также установка штрафов на количество элементов в сети, чтобы выбрать наиболее оптимальную сеть, автоматическое сохранение лучшей сети, автоматический конструктор сети позволяющий создать, сеть наилучшим образом решающую данную задачу (хотя, данная процедура занимает длительное время). Включен генетический отбор наиболее информативных данных (подбор наиболее оптимальных входов и удаление менее информативных), данная процедура также занимает длительное время, она основана на скрещивании и мутации множества битовых строк , входов и последующего выбора оптимального варианта. Рассмотренные выше программы позволяют создавать сети типа многослойный персептрон, и в целом характеризуются различными возможностями по выбору активационных функций нейронов и алгоритмов обучения. В качестве алгоритмов обучения в основном используются градиентные методы. Но данные программные продукты не подходят для решения нашей задачи, связанной с дифференцированием эмпирических данных. Сложность применения уже готовых программных продуктов связана с ограниченным числом нейронов в сети, либо с недостаточными возможностями по просмотру промежуточных результатов, либо со сложностью задания структуры сети, что обусловило необходимость разработки алгоритмов и программ, которые позволили бы создавать и проводить анализ работы различных конструкций нейронной сети. t |