Проверяемый текст
Никонов Вячеслав Викторович. Методика и информационно-вычислительный комплекс интеллектуальной поддержки принятия решений на основе механизма немонотонного логического вывода и нейросетевых технологий (Диссертация 2010)
[стр. 108]

К неградиентным методам обучения относится метод Нелдера-Милда, основанный на построении симплексов.
Данный метод существенно увеличивает время обучения из-за необходимости расчета симплекса в пространстве неизвестных, достигающих по количеству сотен тысяч для нашего случая.
Метод случайного
ноиска, основан на том, что, имея, случайный вектор вместо градиента делается шаг с определенным весом h в направлении данного вектора, если текущая ошибка уменьшилась, то вес увеличивается и делается новый шаг.
Нели ошибка увеличилась, то на основе предыдущих двух ошибок, текущей и значений шагов, строится парабола, следующий шаг делается в направлении вершины параболы, также при увеличении ошибки может меняться значение вектора на малую случайную величину.
Значительная часть времени вычислений тратится на расчет ошибки обучения.
Для обучения ИНС вида многослойный
иерсептрон наиболее подходящими являются градиентные алгоритмы обучения, построенные на основе локальной оптимизации целевой функции ошибки с вычислением частных производных (первого и второго порядка).
Классическим алгоритмом обучения многослойной ИНС является алгоритм обратного распространения ошибки (его модификации), в котором распространение сигналов ошибки происходит от выходов нейронной сети к ее входам (в направлении, обратном прямому распространению сигналов в обычном режиме работы).
Данный алгоритм имеет солидное математическое обоснование.
Классический алгоритм обратного распространения это итерационный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных ИНС с последовательными связями.
Алгоритм обратного распространения ошибки определяет стратегию подбора весов многослойной сети с применением градиентных методов оптимизации [47].
Его основу составляет целевая функция, формулируемая, как правило, в виде квадратичной суммы разностей между фактическими и ожидаемыми
108 ’
[стр. 81]

Способность к обучению является фундаментальным свойством НС, необходимым для решения задачи установления концентрации вредных веществ в воздушной среде .
Процесс обучения НС может рассматриваться как коррекция взвешенных межнейрониых связей сети, образующих распределенное информационное поле НС, в соответствии с требуемой функциональной зависимостью выходного вектора от значений входного вектора НС [48 50].
Коррекции подлежат веса взвешенных связей.
Настройка синаптических весов в трехслойной сети осуществляется на основе множества обучающих примеров.
В качестве надежного алгоритма обучения сети определим алгоритм обратною распространения ошибки.
Обучение сети представляет собой оптимизационную задачу настройки синаптических весов таким образом, чтобы минимизировался квадрат ошибки между выходом сети у и требуемым значением & К неградиентным методам обучения относится метод Нелдера-Милда, основанный на построении симплексов.
Данный метод существенно увеличивает время обучения из-за необходимости расчета симплекса в пространстве неизвестных, достигающих по количеству сотен тысяч для нашего случая.
Метод случайного
поиска, основан на том, что, имея случайный вектор вместо градиента, делается шаг с определенным весом h в направлении данного вектора, если текущая ошибка уменьшилась, то вес увеличивается и делается новый шаг.
Если ошибка увеличилась, то на основе предыдущих двух ошибок, текущей и значений шагов, строится парабола, следующий шаг делается в направлении вершины параболы, также при увеличении ошибки может меняться значение вектора на малую случайную величину Значительная часть времени вычислений тратится на расчет ошибки обучения.
Для обучения ИНС вида многослойный
псрсептрон наиболее подходящими являются градиентные алгоритмы обучения [193-195], построенные на основе локальной оптимизации целевой функции ошибки с 81

[стр.,82]

вычислением частных производных (первого и второго порядка).
Классическим алгоритмом обучения многослойной ИНС является алгоритм обратного распространения ошибки (его модификации), в котором распространение сигналов ошибки происходит от выходов нейронной сети к ее входам (в направлении, обратном прямому распространению сигналов в обычном режиме работы).
Данный алгоритм имеет солидное математическое обоснование.
Классический алгоритм обратного распространения это итерационный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных ИНС с последовательными связями.
Алгоритм обратного распространения ошибки определяет стратегию подбора весов многослойной сети с применением градиентных методов оптимизации [47].
Его основу составляет целевая функция, формулируемая, как правило, в виде квадратичной суммы разностей между фактическими и ожидаемыми
значениями выходных сигналов.
В случае единичной обучающей выборки (х, d) целевая функция определяется в виде: (3-4) где Мколичество данных в обучающей выборке.
При большем количестве обучающих выборок j (j~l,2, z) целевая функция превращается в сумму по всем выборкам: £Н = -1 Нл,--^)2.
(3-5) Z J=\ А=I где z количество обучающих выборок.
Уточнение весов может проводиться после предъявления каждой обучающей выборки, либо однократно после предъявления всех обучающих выборок составляющих цикл обучения.
В последующем изложении используется целевая функция вида (3.4), которая соответствует актуализации весов после предъявления каждой выборки.
82

[Back]