|
Методы анализа сложности тестовых заданий Анализ сложности тестовых заданий можно провести различными методами. Среди методов оценивания показателей сложности ТЗ выделим * экспертный, статистический, аналитический, социологический. Экспертный метод осуществляется группой экспертовспециалистов, компетентных в предметной области, на базе их опыта и интуиции. Применяется, когда задача не может быть решена никаким другим способом или другие способы являются более трудоемкими и менее точными. Рекомендуется применять при определении показателей информативности, понятности, оценки интерфейса и т.п. Статистический метод предполагает измерение или учет выделенных показателей качества и формирование оценок методами 4 статистики. Аналитические методы базируются на математических моделях, связанных с моделью знаний, семантическим графом и т.п. Социологический метод основан на обработке специальных анкетвопросников. Рассмотрим более подробно экспертно-статистический метод. Один из подходов оценивания сложности тестовых заданий состоит в предварительном выставлении экспертных оценок и последующей . корректировке этих оценок по статистическим результатам проведенного экспериментального тестирования. Этот способ чаще используют, когда априори экспертные оценки сложности носят сугубо субъективный характер и не учитывают особенности контингента обучаемых, условия тестирования и пр. Тогда окончательные итоги тестирования подводят на основе статистической обработки их результатов. Критерии построения (генерации) теста Хорошим считается тест, если он: 4 • чувствителен к угадыванию тестируемого; 103 |
некоторой степени зависит от внутренних качественных характеристик, * таких, как, например, информативность, вероятность угадывания, корректность условия, интерфейс и т.п. Для удобства этим показателям присваивается весовой коэффициент, который может быть использован для корректировки оценки сложности и вопросов включения задания в банк данных ТЗ. Все эти показатели полезно оценивать на всех этапах создания ТЗ, что позволит планировать уровень сложности, контролировать показатели сложности и качества в процессе разработки, отфильтровывать некачественные задания, выбирать базовые образцы по классам * эквивалентности. Для построения измерительной оценочной шкалы всем тестовым заданиям присваивается балл сложности от 1 ... N. Он равен среднему значению суммы экспертных баллов с учетом весовых коэффициентов по качественным показателям. Веса свойств ТЗ определяются либо экспертно, либо по результатам тестирования. Методы анализа сложности тестовых заданий Анализ сложности тестовых заданий можно провести различными методами. Среди методов оценивания показателей сложности ТЗ выделим экспертный, статистический, аналитический, социологический. * Экспертный метод осуществляется группой экспертов-специалистов, компетентных в предметной области, на базе их опыта и интуиции. Применяется, когда задача не может быть решена никаким другим способом или другие способы являются более трудоемкими и менее точными. Рекомендуется применять при определении показателей информативности, понятности, оценки интерфейса и т.п. Статистический метод предполагает измерение или учет выделенных Л показателей качества и формирование оценок методами статистики. Аналитические методы базируются на математических моделях, связанных с моделью знаний, семантическим графом и т.п. 76 Социологический метод основан на обработке специальных анкет* вопросников. Рассмотрим более подробно экспертно-статистический метод. Один из подходов оценивания сложности тестовых заданий состоит в предварительном выставлении экспертных оценок и последующей корректировке этих оценок по статистическим результатам проведенного экспериментального тестирования. Этот способ чаще используют, когда априори экспертные оценки сложности носят сугубо субъективный характер и не учитывают особенности контингента обучаемых, условия тестирования и пр. Тогда окончательные * итоги тестирования подводят на основе статистической обработки их результатов. Критерии построения (генерации) теста Хорошим считается тест, если он: • чувствителен к угадыванию тестируемого; • восприимчив к невнимательности и ошибочным действиям тестируемого; • положительно влияет на тестируемого и педагога, который использует тест. Выделяют простые и составные тесты. Составной тест целесообразно * разрабатывать при большом количестве разделов и тем, при автономных и независимых модулях знаний большого объема как совокупности простых тестов. Простой тест формируется по следующим критериям: временной критерий; критерий по баллам; критерий пропорциональности; количественный критерий; вид контроля; режим тестирования; 77 |