|
Качество экспертных оценок определяется степенью согласованности мнений экспертов в группе. Результаты экспертного опроса считаются надежными, если согласованность мнений экспертов высокая, чему соответствуют значения коэффициента конкордации рангов Кендалла более 0,7 [64, с . 6]. При значении этого показателя менее 0,3 согласованность мнений экспертов признается неудовлетворительной. В случае средних значений показателя конкордации следует воспользоваться статистическими критериями, в частности, использовать квантили специального распределения коэффициента конкордации при численности группы до семи экспертов включительно и квантили распределения Пирсона при численности хруппы более семи экспертов [186, с. 25]. Усреднение экспертных оценок производится лишь в случае статистической значимости меры согласованности мнений экспертов в группе, принимаемой, как правило, на уровне доверительной вероятности (надежности) 95%. Как известно, в трактовке метода аналитических иерархий ее автором — Т. Саати вопрос определения степени согласованности мнений экспертов в группе вообще отсутствует, поскольку предполагается консенсус хруппы экспертов, т.е. при обсуждении соотношений между элементами иерархии одного уровххя эксперты приходят к единому суждению [163. с. 6]. Однако, как справедливо отмечают В.В. Давние и В.И. Тинякова в монографии [47, с. 4], сформировать однородную группу экспертов практически невозможно, более того, однородная группа далеко не всегда обеспечивает необходимый уровень объективности результатов экспертизы: результаты опроса такой группы могут оказаться смешенными. В монографии [215, с. 4] высказана близкая точка зрения, что более рациональным является подход, при котором предусматривается возможность выявления мнения каждого эксперта уникального носителя экспертных знаний. Поэтому задача оценки согласованного мнения экспертов по-прежнему является актуальной. 297 |
значительной части группы) па мнение эксперта и взаимодействия между отдельными экспертами в процессе определения оценок. Поскольку чаще всего измерения экспертных оценок проводятся по порядковой шкале, для расчета согласованности мнений экспертов используются различные критерии ранговой корреляции, основными из которых являются коэффициенты ранговой корреляции Спирмена и Кендалла. Эти критерии могут применяться для расчета парной корреляции двух последовательностей рангов, т.е. для выявления согласованности экспертных оценок двух экспертов. Для оценки согласованности экспертных оценок большего числа экспертов, т.е. множественной корреляции не двух, а нескольких последовательностей рангов, используют коэффициент конкордации (согласованности) рангов Кендалла, который, в отличие от коэффициентов ранговой корреляции Спирмена и Кендалла, изменяющихся от -1 до +1, принимает только положительные значения в пределах от 0 до 1, причем максимальная величина коэффициента конкордации рангов Кендалла отвечает совпадению всех ранжировок [93]. Качество экспертных оценок определяется степенью согласованности мнений экспертов в группе. Результаты экспертного опроса считаются надежными, если согласованность мнений экспертов высокая, чему соответствуют значения коэффициента конкордации рангов Кендалла более 0,7 [73]. При значении этого показателя менее 0,3 согласованность мнений экспертов признается неудовлетворительной. В случае средних значений показателя конкордации следует воспользоваться статистическими критериями, в частности, использовать квантили специального распределения коэффициента конкордации при численности группы до семи экспертов включительно и квантили распределения Пирсона при численности группы более семи экспертов [176]. Усреднение экспертных оценок производится лишь в случае статистической значимости меры согласованности мнений экспертов в группе, принимаемой, как правило, на уровне доверительной вероятности (надежности) 95 %. |