|
Далее вся сеть целиком может быть подвергнута глобальной оптимизации методом градиентного спуска. Аналогичный подход описан в [47]. Классификация по ближайшему соседу Классификация по ближайшему соседу [48], несомненно, является одним из важнейших базовых методов построения классификатора и имеет многолетнюю историю успешного применения ко многим задачам классификации. Для начала рассмотрим базовый вариант классификатора по ближайшему соседу. Входной вектор признаков сравнивается с набором векторов эталонных изображений, про которые известно, к какому классу они принадлежат. Выходной класс определяется по классу ближайшего (по евклидову расстоянию) эталонного вектора: «* ю<с (у) = с1а58{г,} о пйпЦу Г(2. (2.15) В базовой схеме этап обучения фактически отсутствует. Все вектора из обучающей выборки становятся эталонными. Правило выбора ближайшего соседа в некотором смысле является попыткой непосредственно оценить апостериорную вероятность Р(ук V), так как относительные вероятности появления эталонных векторов в окрестности данного вектора определяются именно апостериорной вероятностью. Такой подход тесно связан с другим подходом, при котором вероятности оцениваются путем подсчета числа событий в определенных фиксированных интервалах, т. е. с помощью гистограмм. Принципиальный недостаток использования гистограмм заключается в том, что конфигурацию системы (число, положение и размер ячеек) необходимо определять заранее. Правило выбора ближайшего соседа элегантно избегает этих проблем, выбирая размер ячейки (окрестности) динамически, опираясь на входной вектор. |
Классификация по ближайшему соседу Классификация по ближайшему соседу [47] несомненно является одним из важнейших базовых методов построения классификатора и имеет многолетнюю историю успешного применения ко многим задачам классификации. Для начала рассмотрим базовый вариант классификатора по ближайшему соседу. Входной вектор признаков сравнивается с набором векгоров эталонных изображений, про которые известно, к какому классу они принадлежат. Выходной класс определяется по классу ближайшего (по евклидову расстоянию) эталонного вектора: * л«с (у) = с1а^} <=> т1п1у " Г/1 (2.15) В базовой схеме этап обучения фактически отсутствует все вектора из обучающей выборки становятся эталонными. Правило выбора ближайшего соседа в некотором смысле является попыткой непосредственно оценить а постер иорную вероятность Р(^ку), так как относительные вероятности появления эталонных векторов в окрестности данного определяются именно апостериорной вероятностью. Это правило также тесно связано с подходом, при котором вероятности оцениваются путем подсчета числа событий в определенных фиксированных интервалах, т. е. с помощью гистограмм. Принципиальный недостаток использования гистограмм заключается в том, что конфигурацию системы (число, положение и размер ячеек) необходимо определять заранее. Правило выбора ближайшего соседа элегантно избегает этих проблем, выбирая размер ячейки (окрестности) динамически, опираясь на входной вектор. Правило с выбором одного ближайшего соседа естественным образом обобщается на случай N ближайших соседей. Итоговое решение принимается с помощью какойнибудь схемы голосования. Также имеется возможность сформулировать правила для отказа от классификации в ситуациях, когда четкое предпочтение отдать невозможно. Доказано [48], что классификация по ближайшему соседу при наличии бесконечного числа обучающих векгоров дает не более чем удвоенную ошибку по сравнению с оптимальным Байесовским классификатором: Р < э. ргсггог,МНС~^гетг,Вау*х (2.16) Классификатор по ближайшему соседу1 часто используется для быстрой оценки сложности задачи, так как его достаточно просто реализовать и он позволяет оценить 25 |