|
246 Выводы по главе 4 1. Система тестового контроля является неотъемлемой частью системы переподготовки. Она должна иметь развитые средства администрирования, конструирования тестовых заданий, формирования алгоритмических структур тестов и их предъявления. Кроме того, объединение форм конструирования тестовых заданий с адаптивными механизмами их предъявления даст неоспоримое преимущество системе тестового контроля. 2. Показано, что при моделировании эффективности процедуры тестового контроля наиболее информативной характеристикой является матрица ошибочной классификации. Получение численных оценок значений матрицы в некоторых случаях возможно аналитическим способом, однако, в общем случае, необходимо использование имитационного подхода. 3. Основой построения процедуры классификации является минимизация ошибочной классификации. К ним относятся байесовская модель классификации и общие регрессионные модели оценивания. Но суть одна: по результатам ответов на задачи теста необходимо дать оценку уровня, т.е. отнести тестируемого к одной из ранее сформированных (требования образовательного учреждения, проводящее тестирование) групп, которые идентифицируются классами кривых. 4. Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y, оценки градиента или направления роста и последующего перехода в другую область. Если при вычислении оценки градиента создаются помехи, то нельзя говорить о сходимости алгоритма в обычном смысле. В обычном смысле он сходится вообще не будет, а будет “блуждать” вокруг области экстремума. |
2. РАЗРАБОТКА ПРИНЦИПОВ КОНСТРУИРОВАНИЯ ТЕСТО ВЫ Х ЗАДАНИЙ И ФОРМ АЛИЗАЦИЯ КО М ПО НЕТО В СИСТЕМ Ы ТЕСТО ВОГО КОНТРОЛЯ В главе ставятся и решаются задачи формализация компонентов системы тестового контроля на базе теории нечетких множеств. Проведен анализ свойств функций принадлежности и получены операции преобразования нечетких множеств. Разработаны принципы формирования тестовых заданий и сформулированы требования к программной среде конструирования тестовых заданий. Для проведения аттестации разработана процедура классификации на базе дискриминантного анализа. 2.1. Построение формализованной модели тестового контроля 55 Система тестового контроля является неотъемлемой частью системы переподготовки. Она должна иметь развитые средства администрирования, конструирования тестовых заданий, формирования алгоритмических структур тестов и их предъявления. Кроме того, объединение форм конструирования тестовых заданий с адаптивными механизмами их предъявления даст неоспоримое преимущество системе тестового контроля.' Система моделирования тестирования. М е тод ы анализа Латентноструктурний Кластерный А о о. Н о с с с Единая база данных тестовых заданий Модель тестового задания Механизм предъявления тестовых заданий Модель группы Модель тестируемого 0 -К 0 Модель ответа тестируемого ( Проиедуры^''^. ^^^^^ассификации^^^^0 Повторные реализации Проиего-ры оценивания Рис. 2.1. 87 2.4. Дискриминантный анализ в задаче классифи1сации уровня знаний с учетом влияния коррелироваииостн ответов Основой построения процедуры классификации является минимизация ошибочной классификации. К ним относятся байесовская модель классификации и общие регрессионные модели оценивания. Но суть одна: по результатам ответов на задачи теста необходимо дать оценку уровня, т.е. отнести тестируемого к одной из ранее сформированных (требования образовательного учреждения, проводящее тестирование) групп, которые идентифицируются классами кривых. Предполагается, что имеется база тестовых заданий с заданными уровнями сложности. Процесс тестирования заключается в последовательном решении определенных задач и приписывании результату оценивания Xi=l в случае правильного ответа и Xi=0 в случае неправильного ответа. Наблюдения за выполнением тестовых заданий выбранного уровня сложности рь Р2....,Рр, определяются количеством решенных задач Х], Х2,...,Хр, которые представляют вектор: Х = ( х 1,Х 2,...,Хр). (2 .3 9 ) Предполагается что группа испытуемых с одинаковым уровнем знаний характеризуется результатом решения с многомерным нормальным распределением Жк~А(Шк0 к). где Wk=(mki, гпк2,...,ткр) математическое ожидание а = дисперсионная матрица В случае классификации на две группы ошибки могут быть в случае если: X принадлелсит но его относят к Wi, и в результате будет совершена ошибка, вероятность которой обозначим F (l[2); X принадлежит W\„ но его относят к [Гг, и в результате будет совершена ошибка, вероятность которой обозначим Р(21). Иллюстрация ошибок классификации показана на рис.2.14. 102 При формировании процедуры предъявления заданий единственное, чем можно варьировать это выбором конкретного задания из базы по результатам ответов: где Р^“^сложность задания на п-ом шаге процедуры; некоторое измеримое преобразование; ^ "'\Р ''\..., Р^"') случайная величина, моделирующая ответ на п-е задание; Задачу оценивания в результате тестирования можно рассматривать, как поиск корня функции регрессии вероятности правильного ответа на задание определенного вида сложности. Аналитические модели оценки скорости сходимости дают лишь грубые оценки. Кроме того, получение соотношений для более сложных процедур связано еще и с чисто математическими трудностями. В реальной ситуации выбор заданий при компьютерном тестировании располагает достаточным временем для расчета параметров модели на основе имитационной процедуры с требуемой точностью. Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y, оценки градиента или направления роста и последующего перехода в другую область. Если при вычислении оценки градиента создаются помехи, то нельзя говорить о сходимости алгоритма в обычном смысле. В обычном смысле он сходится вообще не будет, а будет “ блуждать” вокруг области экстремума. Реализация поискового алгоритма Рис. 3.3. |