|
4. Методы обработки экспертных оценок. 5. Способы определения согласованности мнений экспертов, достоверности экспертных оценок (в т.н. статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок и т.д.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса. Выбор подходов и методов зависит от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведении любых экспертных опросов. Нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении характеризуемой ниже Дельфи-процедуры и методов повышения согласованности мнений экспертов, даже могут усиливаться). Еще одна особенность заключается в том, что эксперт-лидер при организации экспертного опроса в форме Дельфи-процедуры с устным обсуждением результатов оценки между турами опроса, может постепенно «увести» группу экспертов в желаемом направлении. Эти особенности экспертных оценок приводят к необходимости разработки методов организации сложных экспертиз, которые помогают, расчленяя большую неопределенность на части, вводя критерии оценки и применяя различные формы опроса, получать более объективные и достоверные оценки. Метод «Дельфи» или метод «дельфийского оракула» первоначально был предложен JI. Хелмером и его коллегами как интерактивная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при проведении заседаний и повышению объективности результатов [134]. Однако почти одновременно Дельфи-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при сравнительном анализе составляющих «дерева целей» и при разработке «сценариев». Основные средства 32 |
2. Формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т. п.). 3. Подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, попарных сравнений и др.). 4. Методы обработки экспертных оценок. 5. Способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок и т.д.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса. Выбор подходов и методов зависит от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведении любых экспертных опросах. Нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты присущие отдельным экспертам, но и коллективносубъективные черты, которые не исчезают при обработке результатов опроса (а при применении характеризуемой ниже Дельфи-процедуры и методов повышения согласованности мнений экспертов даже могут усиливаться). Еще одна особенность заключается в том, что эксперт-лидер при организации экспертного опроса в форме Дельфи-процедуры с устным обсуждением результатов оценки между турами опроса может постепенно «увести» группу экспертов в желаемом направлении. Эти особенности экспертных оценок приводят к необходимости разработки методов организации сложных экспертиз, которые помогают, расчленяя большую неопределенность на части, вводя критерии оценки и применяя различные формы опроса, получать более объективные и достоверные оценки. Метод «Дельфи» или метод «дельфийского оракула» первоначально был предложен Л. Хелмером и его коллегами [161] как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при проведении заседаний и повышению 74 объективности результатов. Однако почти одновременно Дельфи-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при сравнительном анализе составляющих «деревьев целей» и при разработке «сценариев». Основные средства повышения объективности результатов при применении метода «Дельфи» использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. В конкретных методиках, реализующих процедуру «Дельфи», эта идея используется в разной степени. Так, в упрощенном виде организуется последовательность итеративных циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с использованием методов анкетирования, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами. В силу трудоемкости обработки результатов и значительных временных затрат первоначально предусматриваемые методики «Дельфи» не всегда удается реализовать на практике. Перспективной, считается идея развития метода экспертных оценок с использованием ЭВМ. Рассмотренные выше недостатки экспертных оценок привели к необходимости создания методов, повышающих объективность получения оценок путем расчленения большой первоначальной неопределенности проблемы, предлагаемой эксперту для оценки, на более мелкие, лучше поддающиеся осмыслению. В результате появились методы организации сложных экспертиз. В качестве простейшего из этих методов может быть рассмотрен способ усложненной экспертной процедуры, предложенный в методике ПАТТЕРН [73]. В этой методике выделяются группы критериев оценки и рекомендуется ввести весовые коэффициенты критериев. Введение критериев позволяет организовать опрос экспертов более дифференцировано, а весовые коэффициенты повышают объективность результирующих оценок. Развитием этого метода является введение коэффициентов компетентности экспертов и 75 |