|
направлению можно интерпретировать как качество первичного «датчика». Даже в технических системах любой измерительный прибор имеет свою точность и надежность. При реализации измерения в социальных системах, непредвзятые ошибки «человеческих датчиков» (экспертов) могут быть сопоставлены классическим погрешностям измерительных приборов. Однако здесь может присутствовать и преднамеренное искажение данных поставщиком информации, если результаты оценки в конечном итоге влияют на его целевую деятельность. Полностью устранить такой эффект невозможно, хотя можно предпринять некоторые шаги в этом направлении. Можно, например, минимизировать такие ошибки организационным путем (специальные процедуры сбора информации и штрафы за предоставление искаженной информации). «Объективизировать» сбор информации можно и на этапе конструирования модели оценки. Для этого модель оценки должна иметь, так называемый, робастный характер, при котором точность результатов оценки в минимальной степени зависит от точности входных данных. Другим направлением повышения робастности становится использование таких методов, в которых исказить исходные данные трудно. Например, этого можно достичь путем «загрубления» шкал, используемых для измерения первичных показателей объекта оценки. Нужно максимально использовать порядковые (ранговые) и номинальные шкалы [28]. Основной недостаток такого подхода связан с тем, что для порядковых и номинальных данных математико-статистический аппарат разработан хуже, чем для традиционных данных. Однако в последнее время в этой области наблюдается значительный прогресс. Можно минимизировать сам эффект от возможных ошибок путем использования соответствующих алгоритмов (например, таких, которые задействуют многократные внутренние перекрестные проверки, исходя из логики функционирования самой предметной области). Таким образом, влияние субъективного фактора на этапе подготовки исходных данных можно разделить на два типа. Первый, связанный со случайными ошибками и преднамеренными 15 |
субъективизма. Так сложилось, что в российском коллективизированном менталитете слово «субъективность» носит определенно негативный оттенок. Однако, это слово происходит от существительного «субъект» некто, кто наблюдает, исследует, принимает решения, то есть занимает активную позицию по отношению к реальной действительности, «отображает» ее в своем сознании. Система мониторинга в первую очередь решает прагматические задачи, то есть обслуживает интересы некоторого субъекта и с этой точки зрения по определению исходно субъективна. Таким образом, для нас важно только прояснить вопрос: где канализируется субъективность в оценочном механизме, как она влияет на конечный результат оценки и донести все это до любого субъекта, существование которого зависит от этой оценки. Характер влияния субъективного фактора на результат оценки по первому направлению можно интерпретировать как качество первичного «датчика». Даже в технических системах любой измерительный прибор имеет свою точность и надежность. При реализации измерения в социальных системах, непредвзятые ошибки «человеческих датчиков» (экспертов) могут быть сопоставлены классическим погрешностям измерительных приборов. Однако, здесь может присутствовать и преднамеренное искажение данных поставщиком информации, если результаты оценки в конечном итоге влияют на его целевую деятельность. Полностью устранить такой эффект невозможно, хотя можно предпринять некоторые шаги в этом направлении. Можно, например, минимизировать такие ошибки организационным путем (допустим, специальные процедуры сбора информации и штрафы за предоставление искаженной информации). «Объективизировать» сбор информации можно и на этапе конструирования модели оценки. Для этого модель оценки должна иметь, так называемый, робастный характер, при котором точность результатов оценки в минимальной степени зависит от точности входных данных. Другим направлением повышения робастности становится использование таких методов, в которых исказить исходные данные трудно. Например, этого можно достичь путем «загрубления» шкал, используемых для измерения первичных показателей объекта оценки. Нужно максимально использовать порядковые (ранговые) и номинальные шкалы. Основной недостаток такого подхода связан с тем, что для порядковых и номинальных данных математико-статистический аппарат разработан хуже, чем для традиционных данных и, в целом, они менее богаты в смысле аналитических выводов, которые из них можно извлечь. Однако, здесь наблюдается определенный прогресс. Можно минимизировать эффект от возможных ошибок путем использования соответствующих алгоритмов (например, таких, которые задействуют многократные внутренние перекрестные проверки и восстановление данных, исходя из логики устройства отображаемой предметной области). Таким образом, влияние субъективного фактора на этапе подготовки исходных данных можно разделить на два типа. Первый, связанный со случайными ошибками и преднамеренными ошибками, которые могут быть устранены за счет организационных методов. Появление таких ошибок может |