|
зависит от подбора состава комиссии и уровня организации ее работы. Метод комиссий, однако, обладает следующими существенными недостатками: 1) не все эксперты в равной мере вовлекаются в процесс исследования проблемы; 2) на оценки экспертов могут оказывать влияние факторы, далекие от содержания проблемы (авторитет коллег, трудность публичного отказа от своего мнения, напористость оппонента и т.п.), т.е. группа в своих суждениях может руководствоваться элементами компромисса, а не внутренней логикой анализируемого явления. При использовании метода экспертных оценок создаются условия, исключающие непосредственное общение между членами группы. Вместо коллективного обсуждения проблемы проводится индивидуальный опрос экспертов в форме анкет, выясняется относительная важность факторов, влияющих на данное педагогическое явление или сроки свершения в будущем ряда событий (например, появление новых учебных программ, разнообразных методов и средств обучения, определенных изменений в организационной структуре системы образования и пр.). В основе метода экспертных оценок лежит принцип ограничения разнообразий. Суть его состоит в следующем. Решение проблемы есть ограничение разнообразия возможных решений исследуемой проблемы. Вместе с тем выбор решения требует наличия некоторой модели анализируемого явления. Решение, принимаемое группой экспертов, основывается на создании так называемых неопределенных моделей и сводится к некоторому ограничению разнообразия возможных решений анализируемой проблемы. Иначе говоря, группа экспертов уменьшает априорную неопределенность характера протекания исследуемого явления, но не снимает этой неопределенности полностью. Этапы работы в системе экспертных оценок в принципе совпадают с указанными на блок-схеме. Затем производится статистическая обработка анкет и формируется коллективное мнение группы, выявляются и обобщаются аргументы, 148 |
находится внутри диапазона оценок отдельных экспертов и, значит, “обобщенное” коллективное мнение более достоверно. На рис. изображена блок-схема процедуры получения коллективных экспертных оценок. Отмстим, что в различных методиках этапы проведения коллективной экспертной оценки (блоки на схеме) реализуются по-разному. В соответствии с характером взаимоотношений специалистов во время экспертизы можно выделить две группы методов коллективной экспертной оценки: открытая дискуссия и опрос при помощи анкет. К первой группе принадлежит метод комиссий, когда группа специалистов и практических работников совместно обсуждает проблему до получения определенной согласованности суждений и выявления противоположных точек зрения. Успех применения данного метода во многом зависит от подбора состава комиссии и уровня организации ее работы. Метод комиссий, однако, обладает следующими существенными недостатками: 1) не все эксперты в равной мере вовлекаются в процесс исследования проблемы; 2) на оценки экспертов могут оказывать влияние факторы, далекие от содержания проблемы (авторитет коллег, трудность публичного отказа от своего мнения, напористость оппонента и т.п.), т.е. „ группа в своих суждениях может руководствоваться элементами компромисса, а не внутренней логикой анализируемого явления. Рис.. Блок схема процедуры получения коллективных экспертных оценок 115 1 Формирование цели экспертизы и вопросов для экспертов 2 * Формирование правил проведения опроса экспертов или характера их взаимоотношений 116 При использовании метода экспертных оценок создаются условия, исключающие непосредственное общение между членами группы. Вместо коллективного обсуждения проблемы проводится индивидуальный опрос экспертов в форме анкет, выясняется относительная важность факторов, влияющих на данное педагогическое явление или сроки свершения в будущем ряда событий (например, появление новых учебных программ, разнообразных методов и средств обучения, определенных изменений в организационной структуре системы образования и пр.). В основе метода экспертных оценок лежит принцип ограничения разнообразий. Суть его состоит в следующем. Решение проблемы есть ограничение разнообразия возможных решений исследуемой проблемы. Вместе с тем выбор решения требует наличия некоторой модели анализируемого явления. Решение, принимаемое группой экспертов, основывается на создании так называемых неопределенных моделей и сводится к некоторому ограничению разнообразия возможных решений анализируемой проблемы. Иначе говоря, группа экспертов уменьшает априорную неопределенность характера протекания исследуемого явления, но не снимает этой неопределенности полностью. Этапы работы в системе экспертных оценок в принципе совпадают с указанными на блок-схеме. Затем производится статистическая обработка анкет и формируется коллективное мнение группы, выявляются и обобщаются аргументы, соответствующие различным суждениям, и вся эта информация снова в * ' форме анкет сообщается экспертам. Участников опроса просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. С полученными выводами, не указывая, от кого они исходят, знакомят остальных экспертов. Задача экспертов заключается в том, чтобы, в соответствии со своими интуитивными представлениями об относительной значимости факторов, разместить их в соответствующие оценочные интервалы. На основании полученных результатов факторам присваиваются соответствующие ранги. В процессе исследований применяют следующие метод проверки согласованности мнений экспертов, при этом: определяется степень согласованности индивидуальных экспертных оценок; определяется количественная оценка согласованности мнений экспертов коэффициент ранговой корреляции при определении согласованности . мнений двух экспертов; коэффициент конкордации при определении согласованности групповых оценок. 117 |