|
91 росети не обладали такой способностью, они были бы лишь механизмом запоминания, а не обработки информации. Но важнейшее качество нейросетей способность дать хороший результат для векторов, с которыми сеть раньше не встречалась. Условия и предпосылки для успешного обобщения Обобщенный выходной вектор у(х) для известных сейчас сетей никогда не бывает принципиально новым. Он является результатом неявных допущений об отображении X — » ■Y. Типичное допущение непрерывность и дифференцируемость функции у(х). Оно вводится, когда выбирается функция активации в виде гиперболического тангенса или сигмоиды. Т.к. функция активации гладкая, то и у(х) будет гладкой. Кроме этого, обобщенный результат всегда оказывается простейшим в некотором смысле, в зависимости от конструкции сети. Неизвестные входные вектора должны не слишком отличаться от векторов обучающего множества. Аппроксимированная функция F*(x) совпадает с исходной F(x) на рабочем участке, но по мере удаления от исходного интервала, точность аппроксимации падает (рис. 3.1). Рис. 3.1. Созданная сетью (непрерывная линия) F*(x) и исходная F(x) (пунктир) |
47 неизвестных сети словах. Если учесть скромность затрат на реализацию эксперимента, по сравне нию с коммерческими синтезаторами, то этот результат очень хорош. Динамическое добавление нейронов Адекватный выбор количества нейронов и слоев — серьезная и нерешенная проблема для ней ронных сетей. Основным способом выбора остается прямой перебор различного количества слоев и определение лучшего. Для этого требуется каждый раз по новому создавать сеть. Информация, на копленная в предыдущих сеансах обучения, теряется полностью. Начинать перебор количества ней ронов можно как с заведомо избыточного, так и с недостаточного. Независимо от этого, новая соз данная сеть с другим количеством нейронов требует полного переобучения. Динамическое добавление нейронов состоит во включении нейронов в действующую сеть без утра ты ее параметров и частично сохраняет результаты, полученные в предыдущем обучении. Сеть начинает обучение с количеством нейронов, заведомо недостаточным для решения задачи. Для обучения используются обычные методы. Обучение происходит до тех пор, пока ошибка не перестанет убывать и не выполнится условие: ( ) ( ) ( )0 0 T E t E t E t t t δ δ − − < ∆ ≥ + () где t — время обучения; T∆ — пороговое значение убыли ошибки; δ — минимальный интервал времени обучения между добавлениями новых нейронов; t0 — момент последнего добавления; Когда выполняются оба условия (), добавляется новый нейрон. Веса и порог нейрона инициали зируются небольшими случайными числами. Обучение снова повторяется до тех пор, пока не будут выполнены условия (). Типичная зависимость ошибки от времени обучения приведена на рис. . Моменты добавления новых нейронов отмечены пунктиром. После каждого добавления ошибка сначала резко возрастает, т.к. параметры нейрона случайны, а затем быстро сходится к меньшему значению. Рис. . Типичная зависимость ошибки от времени обучения при добавлении нейронов. Интересно, что общее время обучения (от момента нач до кон) обычно оказывается лишь в 1,4 раза больше, чем если бы в сети сразу было нужное количество нейронов. Эта цифра показывает, что информация, накопленная в сети, не теряется полностью при добавлении нейрона со случайными параметрами. Способность нейронных сетей к обобщению Обобщение — способность сети давать близкий к правильному результат для входных векторов, которых не было в обучающем множестве. Если бы нейросети не обладали такой способностью, они были бы лишь механизмом запоминания, а не обработки информации. Но важнейшее качество ней росетей — способность дать хороший результат для векторов, с которыми сеть раньше не встреча лась. Условия и предпосылки для успешного обобщения: 1. Обобщенный выходной вектор y(x) для известных сейчас сетей никогда не бывает принципи ально новым. Он является результатом неявных допущений об отображении X Y→ . Типичное допущение — непрерывность и дифференцируемость функции y(x). Оно вводится, когда выби 48 рается функция активации в виде гиперболического тангенса или сигмоиды. Т.к. функция активации гладкая, то и y(x) будет гладкой. Кроме этого, обобщенный результат всегда оказы вается простейшим в некотором смысле, в зависимости от конструкции сети. 2. Неизвестные входные вектора должны не слишком отличаться от векторов обучающего мно жества. Пример — график рис. . Аппроксимированная функция F*(x) совпадает с исходной F(x) на рабочем участке, но по мере удаления от исходного интервала, точность аппроксима ции падает. 3. Основной закон, по которому сетью должно быть проведено обобщение, не должен быть скрыт несущественными закономерностями в обучающем множестве. Поэтому входы и выхо ды сети должны быть подготовлены так, чтобы максимально выявить закон, по которому они должны быть обобщены. Шум, например, полезно отфильтровать, а двоичное кодирование данных заменить кодированием по номеру канала, принятому в нейросетях. Обучение без учителя Обратное распространение хорошо работает во многих случаях. Но, как и во всех алгоритмах с учителем, для обратного распространения нужны известные входные и выходные вектора, а эта ин формация не всегда доступна. Вопрос о биологической правдоподобности обучения с учителем также открыт. Конечно, алго ритма, подобного обратному распространению, в биологических сетях не существует. Нейроны зри тельной коры, например, учатся реагировать на световые импульсы лишь под действием самих им пульсов, без внешнего учителя. Однако высшие этапы обучения, например, у детей, невозможны без "учителя" в лице его родителя. Кроме того, отдельные области в мозге вполне могут выполнять роль "учителей" для других, управляя их активностью. Поэтому нельзя однозначно сказать, какой тип обучения биологически правдоподобнее, с учителем или без. В биологических сетях передача сигналов направленная, поэтому обратное распространение ошибки возможно только с помощью обратных связей. Кроме того, в сети отсутствует единый "супервизор", управляющий коррекциями параметров. Таким образом, обратное распространение биологически неправдоподбно. Важный принцип, по которому строятся биологические нейронные сети — локальность при обра ботке информации. Выход нервной клетки определяется только ее внутренним состоянием и вход ными сигналами. Существует глобальное управление биологической нейросетью, например, гормо нальная регуляция. Встречается модуляция и синхронизация деятельности скоплений специальны ми нервными центрами. Эти механизмы не нарушают принципа локальности и непосредственно не являются "учителем". Внешняя среда может выступать "учителем" для живой нейронной сети, хотя и косвенно. Среда обычно не дает правильного решения, к которому сеть должна прийти сама, а лишь направляет дей ствия, "поощряя" и "наказывая" животное в зависимости от правильности реакции. При обучении без учителя сеть имеет для обучения лишь известные входные вектора. Правильные значения выходных векторов неизвестны. Какие вектора будут сформированы на выходе, зависит от алгоритма обучения. Обучающее множество состоит из S известных входных векторов { }s x , 1...s S= , в процессе обучения сеть учится формировать выходные вектора s y для каждого вектора из обучаю щего множества { }s x . Сеть с линейным поощрением Созданы сети, промежуточные по отношению к обучению с учителем и без него. В качестве такой модели рассмотрим сеть с линейным поощрением. Эта модель обучается с учителем, т.е. требует зна ния и выходных, и входных векторов при обучении. Однако в обратном направлении распространя ется ограниченный объем информации, меньший, чем при обратном распространении. |