|
61 навливая для этого соответствующий вес [101]. Кроме того, эту оценку целесообразно использовать для того, чтобы уравновесить различные группы примеров в задачах классификации. С этой целью необходимо назначать веса Кд так, чтобы суммарный вес обучающих примеров в каждом классе не зависел от класса (например, можно назначить для любого примера Кл = 1/т, где \ номер класса, т число примеров в классе). В случае нечеткой экспертной оценки "учителя" отдельных вариантов примеров при формировании обучающей выборки также целесообразно увеличить вес этих вариантов, чтобы они могли влиять на процесс обучения сети. Поскольку задача обучения нейронной сети является задачей поиска минимума функции ошибки (2.20) [25] в пространстве весовых коэффициентов связей между нейронами, задаваемыми матрицей \У, то для ее решения могут быть использованы стандартные методы теории оптимизации, а также разработаны новые, обеспечивающие лучшее приближение к экстремальному значению ошибки обучения: 2*6. Сравнительный анализ квазиньютоновских методов обучения НС Целью обучения нейронной сети является подстройка ее весовых коэффициентов таким образом, чтобы ошибка на выходе сети стремилась к минимуму. Например, при обучении с учителем на вход сети подается один из векторов обучающей выборки, а ошибка вычисляется как среднеквадратичное отклонение вектора выхода и заранее известного вектора результата для данного входного вектора [80]. Таким образом, при обучении решается задача минимизации многомерной функции зависимости ошибки от значений весовых коэффициентов. Наиболее распространенным методом оптимизации таких функций является-метод градиентного спуска [25].-Его главным, достоинством является простота. Однако для повышения скорости и точности обучения, целесообразно рассмотреть применение других градиентных методов, а также их комбинированное применение совместно с генетическим алгоритмом. |
ся. Этот факт можно использовать для обеспечения ускоренного обучения сети: целесообразно при вычислении оценки по формуле (2.7) использовать только такие выходные сигналы (множество правильных ответов), интерпретация которых не меняется при изменении их значений на величину, меньшую Е. Оценку Е0можно обобщить, если использовать суммирование квадратов разностей (а, —у,) с соответствующими весами: где Кх вес /-го примера в обучающей выборке. Использование оценки (2.8) позволяет выделить наиболее важные примеры из обучающей выборки, устанавливая для этого соответствующий вес. Кроме того, эту оценку целесообразно использовать для того, чтобы уравновесить различные группы примеров в задачах классификации. С этой целью необходимо назначать веса К\ так, чтобы суммарный вес обучающих примеров в каждом классе не зависел от класса (например, можно назначить для любого примера ЛТ/= 1/т, где / —номер класса, т число примеров в классе). В случае нечеткой экспертной оценки "учителя" отдельных вариантов примеров при формировании обучающей выборки также целесообразно увеличить вес этих вариантов, чтобы они могли влиять на процесс обучения сети. Поскольку задача обучения нейронной сети является задачей поиска минимума функции ошибки (2.6) в пространстве весовых коэффициентов (2.8) 99 |