Проверяемый текст
Терещенко Вадим Владиславович. Разработка и реализация новых принципов автоматического распознавания рукописных документов в компьютерных системах обработки данных (Диссертация 2000)
[стр. 36]

отнести возможность легко управлять степенью уменьшения размерности набора признаков.
Многоуровневый персептрон Среди большого количества нейронных сетей, описанных в литературе, особого внимания заслуживает многоуровневый персептрон (МЬР), обучаемый методом обратного распространения ошибок.
Его классический вариант был описан в
[28].
Впоследствии было предложено много разновидностей и улучшений этого метода.
В настоящее время многоуровневый персептрон является доминирующим типом нейронных
сетей, применяемых при распознавании символов.
В качестве базового строительного блока сети выступает нейрон, который вычисляет линейную комбинацию своих входов и модифицирует результат с помощью нелинейной,
обычно сигмоидальной, функции: ои1, = ст[Ыаз; +^Г.
ил.ш.).
Все нейроны, зависящие от одного набора входных значений, называются слоем.
Вся сеть, как можно догадаться из названия, состоит из нескольких таких слоев.
Для упрощения нотации часто рассматривают смещение Ыаз) как еще один вес, вводя фиктивный вход, всегда равный единице.
С учетом этого уравнение многоуровневого персептрона можно записать в следующей компактной форме:
Входом нейронной сети является вектор признаков.
Соответственно, первый слой сети называют «входным».
На выходе нейронная сеть должна выдать вектор, описывающий принятое решение.
Соответствующий слой называют «выходным».
Остальные слои называются «скрытыми».
При реализации многоуровневого персептрона необходимо выбрать его конфигурацию, наиболее подходящую для решаемой задачи: число скрытых слоев, число нейронов в каждом слое и вид нелинейной функции нейрона.

(2.6) 36
[стр. 19]

первоначальной матрицей, не пересчитывая признаки для всей обучающей выборки.
Кроме того, при больших размерах обучающей выборки матрица моментов занимает гораздо меньше места, чем массив признаков.
Существенным недостатком полиномиального классификатора является быстрый рост числа улучшенных признаков при использовании мультипликативных комбинаций высокого порядка.
Для борьбы с этим эффектом используется несколько приемов.
Можно, например, вычислять не все комбинации высокого порядка, а только те, в которые входят признаки с хорошей различительной способностью.
Оценить ее можно, например, построив линейный классификатор и ранжировав признаки по сумме абсолютных значений коэффициентов при конкретном признаке.
Другой (и часто лучший) подход состоит в целенаправленном уменьшении размерности пространства улучшенных признаков.
Для этого может быть применено хорошо известное преобразование Карунена-Лоева [19], которое заменяет признаки на их линейные комбинации, являющиеся собственными векторами автокорреляционной матрицы.
К преимуществам использования этого преобразования можно отнести возможность легко управлять степенью уменьшения размерности набора признаков.
Многоуровневый персептрон Среди большого количества нейронных сетей, описанных в литературе, особого внимания заслуживает многоуровневый персептрон (МЬР), обучаемый методом обратного распространения ошибок.
Его классический вариант был описан в
[29].
Впоследствии было предложено много разновидностей и улучшений этого метода.
В настоящее время многоуровневый персептрон является доминирующим типом нейронных
сегей, применяемых при распознавании символов.
В качестве базового строительного блока сети выступает нейрон, который вычисляет линейную комбинацию своих входов и модифицирует результат с помощью нелинейной
функции, обычно сигмоидальной: ои^ = а (Ыа$; + I; щ нц).
Все нейроны, зависящие от одного набора входных значений, называются слоем.
Вся сеть, как можно догадаться из названия, состоит из нескольких таких слоев.
Для упрощения нотации часто рассматривают смещение ЫаЗз как еще один вес, вводя фиктивный вход, всегда равный единице.
С учетом этого уравнение многоуровневого персептрона можно записать в следующей компактной форме:
19

[стр.,20]

аМ1р(у) = а (\УТ<Н> ...
Ст ( №т<1> V) ) (2.6) Входом нейронной сети является вектор признаков.
Соответственно, первый слой сети называют «входным».
На выходе нейронная сеть должна выдать вектор, описывающий принятое решение; соответствующий слой называют «выходным».
Остальные слои называются «скрытыми».
При реализации многоуровневого персептрона необходимо выбрать его конфигурацию, наиболее подходящую для решаемой задачи: число скрытых слоев, число нейронов в каждом слое и вид нелинейной функции нейрона.

Веса сети определяются в процессе обучения таким образом, чтобы минимизировать среднеквадратическое отклонение выхода сети от правильного решения: Е{ у с!М1.р(у)2 } = лип (2.7) Так как аналитического решения для определения весов сети в общем виде не существует, обычно используется итеративное обучение с градиентной коррекцией коэффициентов.
Ъа** да*» дсо^ ’ 1 '* где Р(>.) = у(л) б(уХ)2 определяет вклад изображения X из обучающей выборки; щ активационное значение (взвешенная сумма входов) нейрона); о, = <т (ар) выход нейрона).
Учитывая, что а*"' •о,<Л>, последний множитель формулы (2.8) можно переписать следующим образом: да <к> дсо,<Л> = 0 <Л-1> ) (2.9) Для сигмоидальной функции а (х) = 1/(1+е-х) второй множитель формулы (2.8) может быть упрощен до: л <:*> (2.10) Первый множитель формулы (2.8) может быть легко вычислен в явном виде для выходного уровня сети, но вычисление его для других уровней сеги требует рекурсивного применения процедуры: 20

[Back]