|
ства» экспертов является назначение веса эксперта, в зависимости от занимаемой им должности и ученой степени [186, с. 6]. К числу слабо разработанных сторон экспертных методов относится также вопрос численности экспертной группы. Обычно в практике экспертизы группа насчитывает 7-13 человек, причем численность группы определяется в первую очередь требуемой точностью оценки [186, с. 6]. Имеются и другие подходы к решению данного вопроса [163, с. 7J. Следующий фактор качества экспертной группы «эффект взаимодействия». В.Н. Спицнадель предлагает группу рассматривать как совокупность взаимосвязанных объектов (а точнее, субъектов), обладающих целесообразным поведением и общностью среды [186, с. 6], т.е. как систему. Тогда применимы как статистические методы расчета согласованности мнений экспертов, так и психологические методы учета воздействия группового мнения (или мнения значительной части группы) на мнение эксперта и взаимодействия между отдельными экспертами в процессе определения оценок. Поскольку чаще всего измерения экспертных оценок проводятся но порядковой шкале, для расчета согласованности мнений экспертов используются различные критерии ранговой корреляции, основными из которых являются коэффициенты ранговой корреляции Спирмена и Кендалла [85, с. 25]. Эти критерии могут применяться для расчета парной корреляции двух последовательностей рангов, т.е. для выявления согласованности экспертных оценок двух экспертов. Для оценки согласованности экспертных оценок большего числа экспертов, т.е. множественной корреляции не двух, а нескольких последовательностей рангов, используют коэффициент конкордации (согласованности) рангов Кендалла, который, в отличие от коэффициентов ранговой корреляции Спирмена и Кендалла, изменяющихся от -1 до 1, принимает только положительные значения в пределах от 0 до 1, причем максимальная величина коэффициента конкордации рангов Кендалла отвечает совпадению всех ранжировок [85, с. 25]. 296 |
В.Н. Спицнадсль [176] отмечает значительные трудности в подборе группы экспертов, обладающих всеми этими способностями, равно как и несовершенность методов оценки «качества» самих экспертов — компетентности, способности к аналитическому мышлению. В качестве критериев отбора экспертов часто используются достаточно простые способы и приемы. Один из них состоит в составлении специальных анкет, отвечая на которые, кандидаты в эксперты демонстрируют свою эрудицию и аналитические способности. Ответ на каждый из поставленных вопросов дается в короткое время, около 10 минут; кроме того, делается самооценка. Оценки эксперта могут быть переведены в количественную форму путем присвоения каждой из них определенного балла. Другой способ оценки «качества» эксперта — расчет достоверности и точности оценок эксперта по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии оказавшимся верными, т.е. подтвердившимися. Другим методом учета «качества» экспертов является назначение веса эксперта, в зависимости от занимаемой им должности и ученой степени [176, с.337]. К числу слабо разработанных сторон экспертных методов относится также вопрос численности экспертной группы. Обычно в практике экспертизы группа насчитывает 7-13 человек, причем численность группы определяется в первую очередь требуемой точностью оценки [176]. Имеются и другие подходы к решению данного вопроса [159]. Следующий фактор качества экспертной группы — «эффект взаимодействия». В.Н. Спицнадель предлагает группу рассматривать как совокупность взаимосвязанных объектов (а точнее, субъектов), обладающих целесообразным поведением и общностью среды [176], т.е. как систему. Тогда применимы как статистические методы расчета согласованности мнений экспертов, так и психологические методы учета воздействия группового мнения (или мнения значительной части группы) па мнение эксперта и взаимодействия между отдельными экспертами в процессе определения оценок. Поскольку чаще всего измерения экспертных оценок проводятся по порядковой шкале, для расчета согласованности мнений экспертов используются различные критерии ранговой корреляции, основными из которых являются коэффициенты ранговой корреляции Спирмена и Кендалла. Эти критерии могут применяться для расчета парной корреляции двух последовательностей рангов, т.е. для выявления согласованности экспертных оценок двух экспертов. Для оценки согласованности экспертных оценок большего числа экспертов, т.е. множественной корреляции не двух, а нескольких последовательностей рангов, используют коэффициент конкордации (согласованности) рангов Кендалла, который, в отличие от коэффициентов ранговой корреляции Спирмена и Кендалла, изменяющихся от -1 до +1, принимает только положительные значения в пределах от 0 до 1, причем максимальная величина коэффициента конкордации рангов Кендалла отвечает совпадению всех ранжировок [93]. Качество экспертных оценок определяется степенью согласованности мнений экспертов в группе. Результаты экспертного опроса считаются надежными, если согласованность мнений экспертов высокая, чему соответствуют значения коэффициента конкордации рангов Кендалла более 0,7 [73]. При значении этого показателя менее 0,3 согласованность мнений экспертов признается неудовлетворительной. В случае средних значений показателя конкордации следует воспользоваться статистическими критериями, в частности, использовать квантили специального распределения коэффициента конкордации при численности группы до семи экспертов включительно и квантили распределения Пирсона при численности группы более семи экспертов [176]. Усреднение экспертных оценок производится лишь в случае статистической значимости меры согласованности мнений экспертов в группе, принимаемой, как правило, на уровне доверительной вероятности (надежности) 95 %. |