|
90 • гибкая модель для нелинейной аппроксимации многомерных функций; • средство прогнозирования во времени для процессов, зависящих от многих переменных; • классификатор по многим признакам, дающий разбиение входного пространства на области; • средство распознавания образов; • инструмент для поиска по ассоциациям; • модель для поиска закономерностей в массивах данных. К задачам, успешно решаемым НС на данном этапе их развития относятся: • распознавание зрительных, слуховых образов; огромная область применения: от распознавания текста и целей на экране радара до систем голосового управления; • ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка; • формирование моделей и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени: применение на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов; • системы управления и регулирования с предсказанием; управление роботами, другими сложными устройствами • разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы; • принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере.. Обобщение способность сети давать близкий к правильному результат для входных векторов, которых не было в обучающем множестве. Если бы ней |
5 Параллельность обработки и реализуемость НС Быстродействие современных ЭВМ составляет около 100 Mflops (flops операция с плавающей запятой в секунду). В мозгу содержится примерно 10^11 нейронов. Время прохождения одного нер вного импульса около 1 мс, и можно считать, что производительность одного нейрона порядка 10 flops. Эквивалентное быстродействие мозга составит 10^11 * 10 = 10^12 flops. Если рассмотреть зада чи, решаемые мозгом, и подсчитать требуемое количество операций для их решения на обычных ЭВМ, то получим оценку быстродействия до 10^12..10^14 flops. Разница в производительности меж ду обычной ЭВМ и мозгом — 4..6 порядков! Чем это объясняется? Во многом этот выигрыш обусловлен параллельностью обработки информации в мозге. Следова тельно, для повышения производительности ЭВМ необходимо перейти от принципов фон Нейма на к параллельной обработке информации. Тем не менее, параллельные компьютеры пока не полу чили распространения по нескольким причинам: 1. Тирания межсоединений. Каждый процессор в параллельной системе связан с большим коли чеством других. Количество связей занимает намного больший объем, чем сами процессоры. Такая плотность связей не реализуется в обычных интегральных схемах. 2. Трехмерность структуры связей между процессорами. Существуют различные типы связности процессоров в параллельной системе. Обычно требуются трехмерные связи. Технологически такие связи тоже пока невыполнимы. 3. Сложность программирования. Пока не создано единых способов программирования парал лельных ЭВМ и средств для написания программ. Несмотря на перспективность параллельных ЭВМ и, в частности, нейронных сетей, для их созда ния нет элементной базы. Поэтому, вместо моделирования НС на параллельных машинах, большая часть исследований проводится двумя способами: 1) моделирование НС на обычных последовательных ЭВМ; 2) создание специализированных нейроплат и нейропроцессоров для ускорения работы ЭВМ с нейронными сетями. Первый способ дает проигрыш в быстродействии даже по сравнению с обычной ЭВМ, а второй способ не позволяет переходить от одной модели нейросети к другой, т.к. модель определяется ис пользуемой нейроплатой или нейропроцессором, и требуется сменить нейропроцессор, чтобы сме нить модель. Попытки использовать оптические, химические, биологические и другие технологии для созда ния НС, несмотря на перспективность, пока не имеют практического применения. Место нейронных сетей среди других методов решения задач Нейронные сети превосходят последовательные машины в решении тех же задач, в которых ма шину превосходит человек. Задачи, требующие большого объема вычислений или высокой точно сти лучше выполняются обычной ЭВМ. К задачам, успешно решаемым НС на данном этапе их развития относятся: — распознавание зрительных, слуховых образов; огромная область применения: от распознава ния текста и целей на экране радара до систем голосового управления; — ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; форми рование естественного языка; — формирование моделей и различных нелинейных и трудно описываемых математически сис тем, прогнозирование развития этих систем во времени: применение на производстве; прогнозирование развития циклонов и других природных про цессов, прогнозирование изменений курсов валют и других финансовых процессов; 6 — системы управления и регулирования с предсказанием; управление роботами, другими слож ными устройствами — разнообразные конечные автоматы: системы массового обслуживания и коммутации, телеком муникационные системы; — принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере; Уникальное свойство нейросетей — универсальность. Хотя почти для всех перечисленных задач существуют эффективные математические методы решения и несмотря на то, что НС проигрывают специализированным методам для конкретных задач, благодаря универсальности и перспективно сти для решения глобальных задач, например, построения ИИ и моделирования процесса мышле ния, они являются важным направлением исследования, требующим тщательного изучения. Биологический нейрон Как видно из предыдущего параграфа, моделирование биологических нейронных сетей обосно ванно и перспективно. Но для исследования НС необходимо иметь математическую модель биоло гического нейрона и биологической нейронной сети. Центральная нервная система имеет клеточное строение. Единица – нервная клетка, нейрон. Ней рон имеет следующие основные свойства: 1. Участвует в обмене веществ и рассеивает энергию. Меняет внутреннее состояние с течением времени, реагирует на входные сигналы и формирует выходные воздействия и поэтому является активной динамической системой. 2. Имеет множество синапсов – контактов для передачи информации. 3. Нейрон взаимодействует путем обмена электрохимическими сигналами двух видов: электро тоническими (с затуханием) и нервными импульсами (спайками), распространяющимися без зату хания. Существуют два подхода к созданию искусственных нейронных сетей. Информационный подход: безразлично, какие механизмы лежат в основе работы искусственных нейронных сетей, важно лишь, чтобы при решении задач информационные процессы в НС были подобны биологическим. Биоло гический: при моделировании важно полное биоподобие, и необходимо детально изучать работу биологического нейрона. Крупные работы в исследованиях биологических нейронных сетей принадлежат Эндрю Хаксли, Алану Ходжкину, Бернарду Катцу, Джону Экклзу, Стивену Куффлеру. 47 неизвестных сети словах. Если учесть скромность затрат на реализацию эксперимента, по сравне нию с коммерческими синтезаторами, то этот результат очень хорош. Динамическое добавление нейронов Адекватный выбор количества нейронов и слоев — серьезная и нерешенная проблема для ней ронных сетей. Основным способом выбора остается прямой перебор различного количества слоев и определение лучшего. Для этого требуется каждый раз по новому создавать сеть. Информация, на копленная в предыдущих сеансах обучения, теряется полностью. Начинать перебор количества ней ронов можно как с заведомо избыточного, так и с недостаточного. Независимо от этого, новая соз данная сеть с другим количеством нейронов требует полного переобучения. Динамическое добавление нейронов состоит во включении нейронов в действующую сеть без утра ты ее параметров и частично сохраняет результаты, полученные в предыдущем обучении. Сеть начинает обучение с количеством нейронов, заведомо недостаточным для решения задачи. Для обучения используются обычные методы. Обучение происходит до тех пор, пока ошибка не перестанет убывать и не выполнится условие: ( ) ( ) ( )0 0 T E t E t E t t t δ δ − − < ∆ ≥ + () где t — время обучения; T∆ — пороговое значение убыли ошибки; δ — минимальный интервал времени обучения между добавлениями новых нейронов; t0 — момент последнего добавления; Когда выполняются оба условия (), добавляется новый нейрон. Веса и порог нейрона инициали зируются небольшими случайными числами. Обучение снова повторяется до тех пор, пока не будут выполнены условия (). Типичная зависимость ошибки от времени обучения приведена на рис. . Моменты добавления новых нейронов отмечены пунктиром. После каждого добавления ошибка сначала резко возрастает, т.к. параметры нейрона случайны, а затем быстро сходится к меньшему значению. Рис. . Типичная зависимость ошибки от времени обучения при добавлении нейронов. Интересно, что общее время обучения (от момента нач до кон) обычно оказывается лишь в 1,4 раза больше, чем если бы в сети сразу было нужное количество нейронов. Эта цифра показывает, что информация, накопленная в сети, не теряется полностью при добавлении нейрона со случайными параметрами. Способность нейронных сетей к обобщению Обобщение — способность сети давать близкий к правильному результат для входных векторов, которых не было в обучающем множестве. Если бы нейросети не обладали такой способностью, они были бы лишь механизмом запоминания, а не обработки информации. Но важнейшее качество ней росетей — способность дать хороший результат для векторов, с которыми сеть раньше не встреча лась. Условия и предпосылки для успешного обобщения: 1. Обобщенный выходной вектор y(x) для известных сейчас сетей никогда не бывает принципи ально новым. Он является результатом неявных допущений об отображении X Y→ . Типичное допущение — непрерывность и дифференцируемость функции y(x). Оно вводится, когда выби |