Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
В последнем случае в работе над заданием в закрытой форме можно выделить следующие этапы: написание задания в открытой форме, экспериментальная проверка задания в нескольких клас-
116
GUNPOWDER
сах в целях получения достаточного количества различных ответов учеников, анализ ответов и выделение типичных ошибок учеников, подбор дистракторов из числа выделенных типичных ошибок.
В процессе анализа ошибок при отборе дистракторов разработчик должен проявить особую осторожность, так как наибольшую опасность представляют неправильные ответы, вводящие в заблуждение лучших, знающих учеников. Именно отсюда и появляются невалидные задания с инвертированными профилями ответов (см. разд. 2.3), в которых слабые ученики добиваются успеха, а сильные выбирают в качестве правильного не запланированный автором задания ответ. Таким образом, тестовое задание считается «хорошо работающим», если знающие ученики выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью. В первую очередь это обеспечивается ясностью формулировок основной части задания, хотя не менее важна одинаковая правдоподобность дистракторов, которые должны быть равновероятно привлекательны для слабых учеников.
Мера привлекательности оценивается после первой эмпирической проверки на любой репрезентативной выборке с помощью подсчета долей учеников, выбравших каждый из дистракторов в качестве правильного ответа. Например, если задание с четырьмя ди-стракторами и одним правильным ответом выполняли 25 учеников и 12 из них ответили на него неверно, то каждый из четырех дистракторов в качестве правильного ответа должны выбрать 3 ученика. Соответственно доля учащихся для каждого дистрактора будет 3/12, или 0,25. В этом случае все неправильные ответы к заданию равновероятно правдоподобны и, следовательно, сформулированы удачно. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться. При существенном смещении одной из долей в сторону уменьшения или увеличения задание теста подлежит переработке.
Возвращаясь к прежней теме обсуждения, хотелось бы отметить еще один негативный момент, связанный с излишним увеличением числа ответов к заданиям теста. Даже если дистракторы достаточно краткие, рост их числа сверх всякой меры неизбежно приведет к громоздкости заданий теста. В результате учащимся потребуется значительно больше времени для выполнения тех же заданий. Если время тестирования строго фиксировано, преподавателю придется уменьшить объем контролируемого материала, что, без сомнения,
117
GUNPOWDER
негативно отразится на обоснованности оценок учеников по результатам выполнения теста. В этой связи напрашивается вывод: стойкая тенденция к увеличению числа дистракторов не всегда оправданна. К тому же при выполнении громоздких заданий ухудшаются мотивация и внимание у тестируемых, что при прочих равных условиях отрицательно отражается на качестве оценок учеников. Говорить об оптимальном числе дистракторов не представляется возможным, так как оно зависит от различных условий и целей создания теста. Конечно, здесь важны талант и опыт разработчика, его умение подбирать дистракторы к заданиям теста.
В общем случае задания с четырьмя—пятью дистракторами создавать гораздо труднее, чем с одним или двумя. Однако последние, помимо несомненных достоинств, состоящих в краткости формулировок и быстроте выполнения, обладают и существенным недостатком — высокой вероятностью угадывания правильного ответа, затрудняющей объективную оценку знаний учеников при выполнении теста. Поэтому задания с двумя ответами, один из которых дистрактор, обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях по определенным разделам курса. В сфере итогового контроля задания с двумя и тремя ответами малоэффективны, и потому их никогда не включают в итоговые тесты.
Если тестирование проводится с помощью бланков, то задания закрытой формы с одним правильным ответом сопровождаются инструкцией:
обведите номер (букву) правильного ответа
При компьютерной выдаче заданий инструкция может иметь вид:
для ответа нажмите клавишу с номером (буквой)
правильного ответа
Требования к заданиям в закрытой форме
Дистракторы и основная часть заданий должны удовлетворять ряду требований, позволяющих правильно подойти к формулированию заданий теста. Часть требований носит достаточно общий характер и подходит для заданий всех форм, другая — крайне
118
GUNPOWDER
специфична и годится только для заданий закрытой формы. В случае разработки предтестовых заданий с одним правильным ответом в отечественной и иностранной литературе [33,53] к таким требованиям обычно относят следующие:
1) в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;
