|
X, и объект хр будет отнесен к одному из классов Ш о, если хр е Ст0. В общем случае X и С различны. Определим ядра классов {ст} = с1 ,...^ 1 " в пространстве классов С, как объекты, типические для своего класса.. Очевидно, что близость объекта к ядру необходимо оценивать численно. Введем меру близости d(xp, с**)скалярную функцию от объекта и ядра класса, которая тем меньше, чем больше объект похож на ядро класса. Могут потребоваться вспомогательные меры близости, определенные для двух объектов, d( х Р , х Р2), и для двух ядер классов, d(cm >,с“ 2) Чаще всего применяется евклидова мера: d(x,y) =X ( xi y i ) 2 (ЗЛ2) i Функция ш(р), определяющая номер класса по индексу р множества объектов {хр}, задает разбиение на классы и является решением задачи классификации. Если для классификации применять нейронные сети, необходимо формализовать задачу. Самый очевидный способ: выберем в качестве входных данных вектор параметров единственного объекта. Результатом работы сети будет код класса, к которому принадлежит предъявленный на входе объект. В нейросетях принято кодирование номером канала. Поэтому сеть будет иметь М выходов, по числу классов, и чем большее значение принимает выход номер т0, тем больше "уверенность" сети в том, что входной объект принадлежит к классу т0. Полезно применить функцию активации SOFTMAX, тогда сумма выходов всегда будет равна единице. Каждый выход можно будет трактовать как вероятность того, что объект принадлежит данному классу. Все выходы образуют полную группу, т.к. сумма выходов равна единице, и объект заведомо относится к одному из классов. Выберем евклидову меру близости. В этом случае ядро класса, минимизирующее сумму мер близости для объектов этого класса, совпадает с центром тяжести объектов: 98 |
50 Задача классификации Сети Кохонена Задача классификации заключается в разбиении объектов на классы, когда основой разбиения слу жит вектор параметров объекта. Объекты в пределах одного класса считаются эквивалентными с точки зрения критерия разбиения. Сами классы часто бывают неизвестны заранее, а формируются динамически (как, например, в сетях Кохонена). Классы зависят от предъявляемых объектов, и по этому добавление нового объекта требует корректирования системы классов. Будем характеризовать объекты, подлежащие классификации, вектором параметров p X∈x , име ющим N компонент, компоненты обозначаем нижним индексом: ( )1 ,..., Tp p p Nx x=x . Вектор парамет ров — единственная характеристика объектов при их классификации. Введем множество классов { }1 ,..., M m C C C= в пространстве классов С: ( )1 2 ... M C C C C∪ ∪ ⊂ Пространство классов может не совпадать с пространством объектов X и иметь другую размер ность. В простейшем случае, когда пространства классов и объектов совпадают, X = C, классы пред ставляют собой области пространства X, и объект xp будет отнесен к одному из классов m0 , если 0mp C∈x . В общем случае X и C различны. Определим ядра классов { } 1 ,...,m m =c c c в пространстве классов C, как объекты, типические для своего класса. К примеру, если для классификации по национальности выбрать параметры {цвет глаз, рост, цвет волос}, то ядро класса "русский" может иметь параметры {голубоглазый, рост 185, волосы русые}, и к этому классу можно отнести объект с параметрами {светло голубоглазый, рост 182, волосы темно русые}, т.к. из ядер "русский", "эстонец", "киргиз" параметры объекта больше все го похожи на ядро "русский". Очевидно, что близость объекта к ядру необходимо оценивать численно. Введем меру близости ( ),p m d x c — скалярную функцию от объекта и ядра класса, которая тем меньше, чем больше объект похож на ядро класса. Могут потребоваться вспомогательные меры близости, определенные для двух объектов, ( )1 2 ,p p d x x , и для двух ядер классов, ( )1 2 ,m m d c c . Чаще всего применяется эвклидова мера: ( ) ( ) 2 , i i i d x y= −∑x y или "city block": ( ), i i i d x y= −∑x y Задавшись числом классов M, можно поставить задачу классификации: найти M ядер классов { }m c и разбить объекты { }p x на классы { }m C , т.е. построить функцию m(p) таким образом, чтобы мини мизировать сумму мер близости: ( ) ( )min , m pp p D d = ∑ x c Функция m(p), определяющая номер класса по индексу p множества объектов { }p x , задает разби ение на классы и является решением задачи классификации. 52 Результат этого этапа — новый набор ядер { }m c . Сеть Кохонена Если для классификации применять нейронные сети, необходимо формализовать задачу. Самый очевидный способ: выберем в качестве входных данных вектор параметров единственного объекта. Результатом работы сети будет код класса, к которому принадлежит предъявленный на входе объект. В нейросетях принято кодирование номером канала. Поэтому сеть будет иметь M выходов, по числу классов, и чем большее значение принимает выход номер m0 , тем больше "уверенность" сети в том, что входной объект принадлежит к классу m0 . Полезно применить функцию активации SOFTMAX, тогда сумма выходов всегда будет равна единице. Каждый выход можно будет трактовать как вероят ность того, что объект принадлежит данному классу. Все выходы образуют полную группу, т.к. сумма выходов равна единице, и объект заведомо относится к одному из классов. Выберем евклидову меру близости (). В этом случае ядро класса, минимизирующее сумму мер близости для объектов этого класса, совпадает с центром тяжести объектов: ( ) ( ) 0 0:0 1m p p m p mN m = = ∑c x где ( )0N m — число объектов p x в классе m0 . При разбиении на классы должна быть минимизирована суммарная мера близости для всего мно жества { }p x входных объектов: ( ) ( ) 2 m pp i i p i D = − =∑∑ x c ( ) ( ) ( ) ( ) ( ) ( ), 2 , , m p m p m pp p p p = − + ∑ x x x c c c — расписано скалярное произведение. В этой сумме два слагаемых не зависят от способа разбие ния и постоянны: ( ) ( ) ( ), const m p m p p =∑ c c , ( ), constp p p =∑ x x Поэтому задача поиска минимума D эквивалентна поиску максимума выражения: ( ) min max m pp i i p i D x c→ ∑∑ Запишем вариант алгоритма классификации для поиска максимума этой функции: 1. Цикл: для каждого вектора p x { 2. Цикл: для каждого m { 3. Рассчитать ,p m m p i i i x c D=∑ . } // конец цикла 4. Находим m0 , для которого { }, 0 : max m p m m D 5. Относим объект к классу m0 . } // конец цикла Такой алгоритм легко реализуется в виде нейронной сети. Для этого требуется M сумматоров, на ходящих все ,m p D , и интерпретатора, находящего сумматор с максимальным выходом. |