Проверяемый текст
И. В. Заенцев, Нейронные сети: основные модели // Воронеж, 1999
[стр. 96]

96 OUT =■ (3.8) Здесь суммирование производится по всем нейронам данного слоя сети.
Такой выбор функции обеспечивает сумму выходов слоя, равную единице при любых значениях сигналов NET* данного слоя.
Это позволяет трактовать
OUTj как вероятности событий, совокупность которых (все выходы слоя) образует полную группу.
Это полезное свойство позволяет применить SOFTMAXфункцию в задачах классификации, проверки гипотез, распознавания образов и во всех других, где требуются выходы-вероятности.
7.
Участки синусоиды:
OUT = sin (NET), (3.9) для NET = [ j ,у] или NET = [-7i,7t] 8.
Гауссова кривая (рис.
3.7): (N E T -m ) OUT = 1 V T(3.10) jNET -s _ о “* 5 ю Рис.
3.7.
Гауссова кривая Применяется в случаях, когда реакция нейрона должна быть максимальной для некоторого определенного значения NET.
9.
Линейная функция: OUT = К •NET, (3.11) где К константа.
[стр. 22]

22 ры рассчитываются по формулам, в противоположность обучению, когда параметры подстраивают ся итеративно.
2.
Логистическая функция (сигмоида, функция Ферми, рис.
.): 1 1 NET OUT e− = + Применяется очень часто для многослойных перцептронов и других сетей с непрерывными сиг налами.
Гладкость, непрерывность функции — важные положительные качества.
Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки).
Функция симметрична относительно точки (NET=0, OUT=1/2), это делает равноправными зна чения OUT=0 и OUT=1, что существенно в работе сети.
Тем не менее, диапазон выходных значений от 0 до 1 несимметричен, из за этого обучение значительно замедляется.
Данная функция — сжимающая, т.е.
для малых значений NET коэффициент передачи K=OUT/ NET велик, для больших значений он снижается.
Поэтому диапазон сигналов, с которыми нейрон работает без насыщения, оказывается широким.
Значение производной легко выражается через саму функцию.
Быстрый расчет производной ус коряет обучение.
3.
Гиперболический тангенс (рис.
): th( ) NET NET NET NET e e OUT NET e e − − − = = + Тоже применяется часто для сетей с непрерывными сигналами.
Функция симметрична относи тельно точки (0,0), это преимущество по сравнению с сигмоидой.
Производная также непрерывна и выражается через саму функцию.
4.
Пологая ступенька (рис.
): ( ) 0, , 1, NET NET OUT NET NET θ θ θ θ θ ≤  − = ≤ < + ∆ ∆ ≥ + ∆  Рассчитывается легко, но имеет разрывную первую производную в точках NET θ= , NET θ= + ∆ , что усложняет алгоритм обучения.
5.
Экспонента: NET OUT e − = .
Применяется в специальных случаях.
6.
SOFTMAX функция: i NET NET i e OUT e = ∑ Здесь суммирование производится по всем нейронам данного слоя сети.
Такой выбор функции обеспечивает сумму выходов слоя, равную единице при любых значениях сигналов NETi данного слоя.
Это позволяет трактовать
OUTi как вероятности событий, совокупность которых (все выходы слоя) образует полную группу.
Это полезное свойство позволяет применить SOFTMAX функцию в задачах классификации, проверки гипотез, распознавания образов и во всех других, где требуются выходы вероятности.
7.
Участки синусоиды:
sin( )OUT NET= для , 2 2 NET π π  = −   или [ ],NET π π= − 8.
Гауссова кривая (рис.
):

[Back]