|
можно разделить на два типа. Первый, связанный со случайными и/или преднамеренными ошибками. Очевидно, что канализация субъективного влияния по этому направлению нежелательно (если, конечно, создатель оценочной Модели заведомо не ставит манипуляционных целей). Проявление такого типа субъективного влияния в значительной мере можно ослабить за счет использования специальных организационных методов. Частично ошибки такого рода можно демпфировать, формируя особые конструктивные свойства информационной модели. Модель должна быть робастной, она должна иметь «защиту от дурака». Второй тип влияния субъективного фактора зависит от качества реализации самой методики. Обсуждение этого аспекта «субъективизма» должно иметь совсем другую, «позитивную» тональность, так как сама система оценки, в конечном итоге, создается в интересах субъекта оценки. В процедуре конструирования оценочной модели, в свою очередь можно выделить два аспекта рассмотрения: «качественный» и «количественный». Первый связан с выбором вида и конструкции модели. В этом случае важны структурные свойства модели, последовательность и алгоритм вычислений, используемые операции. Второй, «количественный» аспект, завязан на определение внутренних параметров модели весов, коэффициентов и так далее. Полезным продуктом анализа оценочных систем может выступить типизация используемых в них операций. Список типичных процедур включает в себя: измерение, то есть получение оценки первичных показателей (в том числе, с использованием «человеческих датчиков» экспертов), масштабирование, обеспечивающее сопоставимость разномасштабных параметров, нормализацию, обеспечивающую сопоставимость разнородных параметров, свертку, связанную с уменьшением размерности пространства 49 |
проявляться в любой методике оценки и в любом смысле нежелательно. Специально мы его рассматривать не будем, так как эта проблема носит общий характер. Вторым «каналом» влияния субъективного фактора является процедура конструирования оценочной модели. Здесь есть два аспекта рассмотрения: «качественный» и «количественный». Первый связан с выбором вида и конструкции модели. Здесь важны структурные свойства модели, последовательность и алгоритм вычислений, используемые операции и преобразования. Второй, «количественный» аспект, завязан на определение внутренних параметров модели весов, коэффициентов и так далее в условиях, когда ее основная конструкция зафиксирована. Обсуждение второго аспекта «субъективизма» должно иметь совсем другую «позитивную» тональность. Так как сама система оценки в конечном итоге создается в интересах субъекта оценки, то ее «субъективизм» является естественным. Действительно, система оценки может являться инструментом трансляции целей ее основателя (владельца) в отношении объектов оценки. Веса коэффициентов, характер учета отдельных параметров указывают объектам оценки (например, образовательным учреждениям), что сейчас важнее для внешнего субъекта, производящего оценку. Если, объекты оценки не имеют собственных целей и полностью подчиняются целям внешнего субъекта, то вопрос состоит только в том, насколько оценочная модель соответствует целям этого субъекта. Если объекты оценки имеют собственные цели и используют (глубина охвата) + ++ +++ Техническая простота +++ + + Примечание: +++ высокая (хорошая в пользовательском смысле) оценка, ++ средняя оценка, + низкая (плохая в пользовательском смысле) оценка Полезным продуктом анализа оценочных систем может выступить типизация используемых в них операций. Список типичных процедур включает в себя: измерение, то есть получение оценки первичных показателей (в том числе, с использованием «человеческих датчиков» экспертов), масштабирование, обеспечивающее сопоставимость разномасштабных параметров, нормализацию, обеспечивающую сопоставимость разнородных параметров, свертку, связанную с уменьшением размерности пространства переменных (реализуется отображением этого пространства на пространство меньшей размерности), критериальную оценку, вводящую в конечную оценку субъективную компоненту. В этом списке не представлены некоторые важные операции, связанные с конечным представлением результатов оценки, которые могут значительно повысить их практическую ценность. Проведенный анализ оценочных систем будет учтен при конструирования оценочного механизма проектируемой системы мониторинга. |