|
сложные вопросы, а второму — легкие. Если в итоге доли правильных ответов у обоих даже совпадут, то первый наберет большее количество баллов, так как он отвечал на более сложные вопросы. При прохождении адаптивного теста возможно, что к моменту завершения испытания менее подготовленный человек может ответить на такое же количество вопросов, что и более подготовленный. Сравнение вопросов, на которые даны правильные ответы, покажет, что более подготовленный ответил правильно и на более сложные вопросы. Следовательно, он получит более высокие баллы. Количество набранных баллов не основано на количестве правильных ответов, а зависит от уровня сложности вопросов, на которые даны правильные ответы. Для объективной оценки достигнутого качества обучения, в том числе и при работе с обучающими программами, особый интерес представляют критериально-ориентированные тесты. Педагог может получить ответ на вопрос о том, какие элементы содержания учебной дисциплины усвоены конкретным испытуемым, по сути дела, только в виде вероятностной оценки. При подготовке таких тестов на основе содержания учебной дисциплины строится генеральная совокупность, т.е. однородное множество заданий для измерения качества полученных знаний, умений, навыков. Затем испытуемому предлагается тест — некая выборка заданий из этой совокупности. Наконец, на основе ответов делается вероятностный вывод о знаниях учебной дисциплины данным испытуемым. Подобные тесты в оригинале носят название Domain-Referenced Tests, что дословно означает содержательно-ориентированные тесты. Понятно, что для надежности результатов требуется основательное определение содержания изучаемой дисциплины и большое число заданий. При этом необходимо, чтобы соблюдались: а) полнота отображения материала образовательной программы при отборе содержания; б) правильность пропорций отдельных разделов и тем предмета (содержательных линий); в) полнота охвата требований государственных образовательных стандартов; г) соответствие содержания заданий 69 |
290 подобного контроля, адаптирующегося к возможностям обучаемого, следует также и из необходимости оптимизировать традиционное тестирование. Для каждого педагога очевиден тот факт, что для обучаемых с хорошей подготовкой легкие задания просто неинтересны, и, наоборот, трудные задания снижают мотивацию к обучению у обучаемых, имеющих относительно слабую подготовку. Новым шагом в этом направлении стал CAT (англ, computer adaptive testкомпьютерный адаптивный тест) [9, 338, 348, 349]. Это тест, в который заложена приспособляемость, адаптируемость к возможностям экзаменуемого. Принцип тестирования с использованием CAT состоит в следующем: при прохождении одного и того же адаптивного теста экзаменуемый с высоким уровнем подготовки и экзаменуемый с низким уровнем подготовки получат совершенно разные наборы вопросов: первому будут предложены сложные вопросы, а второму легкие. Если в итоге доли правильных ответов у обоих даже совпадут, то первый наберет большее количество баллов, так как он отвечал на более сложные вопросы. Фирма Microsoft, разрабатывающая и широко использующая такую форму тестов в своих сертификационных циклах, предлагает для иллюстрации их особенностей сопоставление с соревнованиями по прыжкам в высоту. Прыгун, независимо от его способностей, быстро достигает такого уровня планки, на котором он имеет примерно равные шансы на то, чтобы как взять высоту, так и сбить планку. «Баллом» для прыгуна является последняя взятая высота. Для получения высокого балла прыгун не должен брать каждую возможную более низкую высоту, также он не должен пытаться брать более высокий уровень планки. Пример из области образования, возможно, является более наглядным. В ходе устного экзамена педагог обычно сначала задает вопрос средней степени сложности. Далее, если испытуемый отвечает правильно, то ему 291 предлагается более сложный вопрос. В случае же первого неправильного ответа следующим задается более легкий вопрос. Этот процесс продолжается по данному сценарию, и в течение короткого периода времени у педагога складывается правильное представление о качестве знаний обучаемого. При этом педагогу не требуется задавать слишком легких или слишком сложных вопросов, а достаточно отталкиваться от того уровня сложности вопросов, на которые обучаемый дал правильные ответы. Именно таким образом должен быть организован нелинейный тест типа CAT, обеспечивая проведение контроля качества обучения на уровне квалифицированного педагога в рамках устного экзамена. В таком тесте первоначально задается вопрос средней сложности, и полученный ответ немедленно оценивается. Если ответ правильный, то предполагаемая оценка возможностей экзаменуемого повышается на определенную величину. Затем выбирается и задается более сложный вопрос. Если же ответ на этот вопрос дан неправильно, то предполагаемая оценка возможностей экзаменуемого снижается, а в качестве следующего вопроса снова предлагается более легкий. По мере того, как задаются новые вопросы, все более точной становится оценка уровня знаний экзаменуемого. Тест заканчивается, когда точность оценки достигает статистически приемлемого уровня (или когда будет задано максимальное количество вопросов). Так как точно неизвестно, когда адаптивный тест закончится, то такой тест обычно состоит из переменного количества вопросов, причем минимальное и максимальное ограничения для количества вопросов устанавливаются заранее. При оценке результатов прохождения адаптивного теста учитывается возможность того, что менее подготовленный человек может ответить на такое же количество вопросов, что и более подготовленный. Сравнение вопросов, на которые даны правильные ответы, покажет, что более подготовленный человек ответил правильно на более сложные вопросы. Следовательно, он получит более высокие баллы. Количество набранных 293 помощью меньшего количества вопросов, иногда уменьшая длину теста на 60%. Это главная причина, по которой следует отдавать предпочтение адаптивным тестам. В то же время для обучающей системы подобный критерий неуместен, даже наоборот возможность раскрыть поставленный вопрос с помощью цепочки дополнительных наводящих вопросов в тех случаях, когда обучаемый затрудняется с ответом, можно расценивать как преимущество. Критериально-ориентированные тесты Для объективной оценки знаний учащихся, в том числе и при работе с обучающими программами, особый интерес представляют критериальноориентированные тесты. Проект отраслевого терминологического стандарта Центра тестирования [204] определяет критериальноориентированный тест как частный случай теста, предназначенного для абсолютного, то есть персонального тестирования, позволяющий оценить, преодолел ли испытуемый определенный порог усвоения учебного материала. При этом результаты тестирования сравниваются с некоторым критерием уровня подготовленности. Таким образом, речь здесь идет не столько о самих тестах, сколько об интерпретации тестовых результатов. Педагог может получить ответ на вопрос о том, какие элементы содержания учебной дисциплины усвоены конкретным испытуемым, по сути дела, в виде вероятностной оценки. Действительно, при подготовке таких тестов на основе содержания учебной дисциплины строится генеральная совокупность, то есть однородное множество заданий для измерения качества полученных знаний. Затем испытуемому предлагается тест некая выборка заданий из этой совокупности. Наконец, на основе ответов делается вероятностный вывод о знаниях учебной дисциплины данным испытуемым. Подобные тесты в оригинале носят название Domain-Referenced Tests, что дословно означает содержательно-ориентированные тесты. Понятно, что |