|
значениями выходных сигналов. В случае единичной обучающей выборки (.х, d) целевая функция определяется в виде: 1 м -> E (w )=-'L{yk~d k) ■ (3-4) ^ *=1 При большем количестве обучающих выборок j Q-1,2, z) целевая функция превращается в сумму по всем выборкам: 1 г м Е М=~'Е'Е.(Ук-dt ) (3-5) ^ j=)k=l Уточнение весов может проводиться после предъявления каждой обучающей выборки, либо однократно после предъявления всех обучающих выборок составляющих цикл обучения. В последующем изложении используется целевая функция вида (3.4), которая соответствует актуализации весов после предъявления каждой выборки. Для упрощения можно считать, что цель обучения состоит в таком определении значений весов нейронов каждого слоя сети, чтобы при заданном входном век-горе получить на выходе значения сигналов у,, совпадающие с требуемой точностью с ожидаемыми значениями d, при i =1,2,..., М. Обучение сети с использованием алгоритма обратного распространения ошибки проводится в несколько этапов. На первом из них предъявляется обучающая выборках: и рассчитываются значения сигналов соответствующих нейронов сети. При заданном векторе л' определяются вначале значения выходных сигналов и, скрытого слоя, а затем значения yj нейронов выходного слоя. Для расчета применяются формулы (3.2) и (3.3). После получения значений выходных сигналов у„ становится возможным рассчитать фактическое значение целевой функции E(w)y заданной выражением (3.4). На втором этапе минимизируется значение этой функции. Упрощенная структура алгоритма обратного распространения ошибки представлена на рис. 3.11. 109 |
вычислением частных производных (первого и второго порядка). Классическим алгоритмом обучения многослойной ИНС является алгоритм обратного распространения ошибки (его модификации), в котором распространение сигналов ошибки происходит от выходов нейронной сети к ее входам (в направлении, обратном прямому распространению сигналов в обычном режиме работы). Данный алгоритм имеет солидное математическое обоснование. Классический алгоритм обратного распространения это итерационный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущих от требуемых выходов многослойных ИНС с последовательными связями. Алгоритм обратного распространения ошибки определяет стратегию подбора весов многослойной сети с применением градиентных методов оптимизации [47]. Его основу составляет целевая функция, формулируемая, как правило, в виде квадратичной суммы разностей между фактическими и ожидаемыми значениями выходных сигналов. В случае единичной обучающей выборки (х, d) целевая функция определяется в виде: (3-4) где Мколичество данных в обучающей выборке. При большем количестве обучающих выборок j (j~l,2, z) целевая функция превращается в сумму по всем выборкам: £Н = -1 Нл,--^)2. (3-5) Z J=\ А=I где z количество обучающих выборок. Уточнение весов может проводиться после предъявления каждой обучающей выборки, либо однократно после предъявления всех обучающих выборок составляющих цикл обучения. В последующем изложении используется целевая функция вида (3.4), которая соответствует актуализации весов после предъявления каждой выборки. 82 Для упрощения можно считать, что цель обучения состоит в таком определении значений весов нейронов каждого слоя сети, чтобы при заданном входном векторе получить на выходе значения сигналов у,, совпадающие с требуемой точностью с ожидаемыми значениями d, при / = 1,2,3,..., М. Генетический алгоритм 197] поиска минимума основан на моделировании процесса природной эволюции и относится к так называемым эволюционным методам поиска [68]. При практической реализации данного метода используют операции, аналогами из живого мира которым служат мутация и скрещивание. Операции производятся над множеством решений (популяцией), и их результатом являются потомки (новые решения), которые также включаются в популяцию. Наряду с созданием потомков из популяции удаляются неприспособленные особи (худшие решения). В результате многократного повторения данных операций в популяции останутся самые приспособленные особи. Для минимизации ошибки работы нейронной сети алгоритм генетического поиска можно определить следующим образом. Создается конечное множество векторов весовых коэффициентов возможных оптимальных решений. Для каждого решения вычислена функция пригодности к тому, что решение может быть оставлено в выборке. В качестве такой функции чаще всего используется функция ошибки работы сети. В качестве хромосом выступают веса нейронов, в качестве генов последовательность битового кода весовых коэффициентов, при большом количестве нейронов и весовых коэффициентов можно в качестве хромосомы использовать весь нейрон и в качестве генов значения весовых коэффициентов. Из популяции выбирается два или более решений, и над ними проводится операция скрещивания (кроссинговера), в результате образуется новое решение потомок. Операция кроссинговера процесс перемешивания, перекомпоновки хромосом родителей. Ее можно осуществить различными 83 Шаг 6. Осуществляется мутация. Случайным образом происходит выбор весового коэффициента. Затем к значению весового коэффициента прибавляется случайная величина, максимальное отклонение которого выбирается случайным образом из массива (1,0.1,0.01,0.001) Шаг 7. Вычисляется ошибка полученного решения. Если она меньше максимальной ошибки в массиве ошибок, то данная особь записывается вместо самой неприспособленной особи. Переход на Шаг 2. Кроме того, с помощью генетического алгоритма может быть решена проблема оптимизации нейронной сети, когда в качестве изменяемых параметров являются не только веса, но также и топология сети: количество слоев, количество нейронов в слое, тип активационной функции. Для повышения эффективности генетического алгоритма можно развивать одновременно несколько параллельных популяции, и через определенное число итераций или при падении скорости обучения в одной из популяций проводить скрещивание между особями этой и других популяций. 3.4.2. Алгоритм обучения нейронной сети для решения задачи определения концентрации вредных веществ в воздушной среде Обучение сети с использованием алгоритма обратного распространения ошибки проводится в несколько этапов. На первом из них предъявляется обучающая выборка х: и рассчитываются значения сигналов соответствующих нейронов сети. При заданном векторе х определяются вначале значения выходных сигналов щ скрытого слоя, а затем значения у\ нейронов выходного слоя. Для расчета применяются формулы (3.2) и (3.3). После получения значений выходных сигналов yh становится возможным рассчитать фактическое значение целевой функции E(w)9 заданной выражением (3.4). На втором этапе минимизируется значение этой функции. 86 |