|
принимает следующий вид: H(V)-»min; Ь;(У)<У), i = Ш (2.5) G J(v) = ej, j = uПостановка задачи оптимизации распознающей системы совпадает с классической постановкой задачи оптимизации систем [60, 6] и для ее решения применимы стандартные методы оптимизации. При этом в классической постановке задачи ограничения могут описывать как внешние условия, налагаемые на систему, так и функциональные связи между переменными, существующие внутри нее. В задаче оптимизации распознающей системы (2.5) ограничения на затраты, достоверность распознавания, объемы выборок и размерность признакового пространства являются внешними условиями, задаваемыми потребителями. Внутренние зависимости между параметрами распознающей системы определяются, во-первых, тем, что, как было отмечено выше, размерность признакового пространства р и объемы выборок (обучающих гщ, i = 1, К и контрольной п) непосредственно влияют на достоверность распознавания, а, во-вторых, тем, что, очевидно, достоверность распознавания определяется также степенью отличия характеристик признаков Х,,Х2,...,Хр у классов s,, s2,..., sK, проявляющейся в обобщенном виде в межклассовых расстояниях d(r, £,г =1, К [см. (2.2)]. Таким образом, центральное место в задаче оптимизации распознающих систем наряду с определением критерия оптимальности занимает получение в удобной для практического использования форме зависимости достоверности распознавания от других параметров распознающей системы и межклассовых расстояний. Обзор методов оптимизации параметров распознающих систем в случае параметрической априорной неопределенности Рассмотрим основные результаты по оптимизации временных и пространственных параметров систем распознавания, полученные в рамках развития статистической теории распознавания образов [85, 82]. В указанной 46 |
принимаемых решений, либо жесткими требованиями на время обучения и распознавания, либо ограниченными возможностями по затратам на получение наблюдений, либо и тем, и другим, и третьим. В то же время отмеченный выше сложный характер взаимосвязей между параметрами распознающей системы приводит к тому, что нередко удовлетворить всем налагаемым на них ограничениям можно при различных соотношениях между этими параметрами. В этих условиях появляется возможность выбора таких значений параметров р, , п и D, которые удовлетворяют всем налагаемым на них ограничениям и являются наилучшими (оптимальными) с точки зрения некоторого критерия, т. е. появляется возможность оптимизации распознающей системы. Как указывается в [82], сложная взаимосвязь между параметрами распознающей системы принципиально не позволяет одновременно минимизировать объемы выборок и число признаков и максимизировать достоверность. Поэтому в принципе возможны разные постановки задачи оптимизации: минимизация вероятностей ошибок распознавания при заданных ограничениях на объемы и размерность признакового пространства, минимизация затрат на проведение измерений и вычислений при заданных ограничениях на достоверность распознавания, минимизация времени обучения при заданных ограничениях на размерность признакового пространства, достоверность и время распознавания, минимизация времени распознавания при заданных ограничениях на размерность признакового пространства, время обучения и достоверность распознавания, минимизация размерности признакового пространства при заданных ограничениях на время обучения и распознавания и достоверность решений и т.п. Сформулируем общую постановку задачи оптимизации, заимствованную в [82, (1.3)], которая характеризуется вектором ее основных параметров V(mj,..., mK, n, р, D) е G , где G область допустимых значений параметров, и заключается в выборе из всех допустимых значений параметров таких, которые минимизировали бы некоторый критерий H(V). Как правило, область допустимых значений параметров задается системой неравенств (V) < yi5 i = 1, Q и равенств Gj(V) = 0j, j = 1, J , в качестве которых могут рассматриваться, например, неравенства D > D0, р < Р0 и равенства = М, j = j,,..., jr, n = N. В итоге задача оптимизации принимает следующий вид: Н(У) -> min; 33 Gi(V) = 0j, j=l,J. Постановка задачи оптимизации распознающей системы совпадает с классической постановкой задачи оптимизации систем [60, 6] и для ее решения применимы стандартные методы оптимизации. При этом в классической постановке задачи ограничения могут описывать как внешние условия, налагаемые на систему, так и функциональные связи между переменными, существующие внутри нее. В задаче оптимизации распознающей системы (1.7) ограничения на затра 34 ты, достоверность распознавания, объемы выборок и размерность признакового пространства являются внешними условиями, задаваемыми потребителями. Внутренние зависимости между параметрами распознающей системы определяются, во-первых, тем, что, как было отмечено выше, размерность признакового пространства р и объемы выборок (обучающих Ш;, i = 1, К и контрольной п) непосредственно влияют на достоверность распознавания, а, во-вторых, тем, что, очевидно, достоверность распознавания определяется также степенью отличия характеристик признаков X,, Х2, ..., Хр у классов s,, s2, ..., sK, проявляющейся в обобщенном виде в межклассовых расстояниях d€r, £, г = 1, К [см. (1.4)]. Таким образом, центральное место в задаче оптимизации распознающих систем наряду с определением критерия оптимальности занимает получение в удобной для практического использования форме зависимости достоверности распознавания от других параметров распознающей системы и межклассовых расстояний. 1.6. Статистические методы распознавания 1.6.1. В [85, 82] произведен подробный анализ различных методов распо знавания с позиций оптимизации. Рассмотрены детерминистские методы распознавания, основанные на использовании потенциальных функций и перцептронных алгоритмов [80], методы синтаксического (структурного, лингвистического) распознавания [74, 80, 86], логические распознающие системы [28, 29] и алгоритмы логического распознавания, основанные на вычислении оценок [40, 74], алгебраические методы [40]. При этом сделан вывод о том, что статистические методы распознавания [14, 35, 65, 85, 87] позволяют в полной мере отразить тонкую структуру и все особенности проявления распознаваемых объектов через описывающие их признаки как при обучении, так и при принятии решений с учетом всех дестабилизирующих факторов (что особенно важно при исследовании шумоподобных сигналов), а также количественно описать указанные процессы с использованием хорошо развитых методов математической статистики. В некоторых случаях это может создавать основу для количественного выражения основных параметров распознающего процесса: размерности признакового пространства р, времени обучения и принятия решения через главный показатель качества системы достоверность распознавания. Это, в свою очередь, позволяет реализовать в системах статистического распознавания общую постановку задачи оптимизации (1.7). В [82] рассматриваются следующие возможности постановки задачи оптимизации. Для определения размерности р признакового пространства в системах статистического распознавания можно использовать: верхнюю границу Чернова ошибки классификации [87]; общее выражение вероятности ошибки классификации через размерность признакового пространства р, объем контрольной выборки п и межклассовые расстояния (например расстояние Махаланобиса [85]); обобщенную асимптотику Колмогорова, позволяющую выразить вероятности ошибок распознавания через асимптотически возрастающие объемы обучающих и кон чае параметрической априорной неопределенности. Как уже мыло отмечено ранее, возможны различные подходы к выбору критерия оптимальности НСV) и ограничений hj(V) Однако, как правило, при синтезе распознающих систем основным является требование обеспечения гарантированного уровня достоверности принимаемых решений, состоящее в том, что вероятности ошибок распознавания а к и {Зк, к = 1, К не должны пре40 вышать некоторых заданных значений а и Р ни для одного из имеющихся классов s,,..., sK. При этом в качестве критерия оптимальности системы распознавания естественно принимать затраты на обеспечение заданного уровня достоверности (стоимостные, временные и т.д.). Так, если С, стоимость измерения j-ro признака, как правило, одинаковая для всех классов, а b количество актов распознавания, которые необходимо произвести за заданный промежуток времени, то стоимость распознавания [82] к н Т с . Т Х + Ьп (1.12) j=l чк=1 При Ъ= 1 и Cj = Сдля всех j = 1, р , опуская постоянный множитель в критерии (1.12), задачу оптимизации распознающей системы (1.7) можно записать в виде: к р Y m k + п _ > m i n ; k=l a k < а ,p k (1.13) Фактически (1.13) означает минимизацию числа измерений признаков, необходимых для того, чтобы обеспечить непревышение вероятностями ошибок распознавания a k и Зк заданных значений а* и р* соответственно ни для одного из распознаваемых классов. |