Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
В этой связи возникает вопрос дифференциации систематических и случайных ошибок. Поскольку различия между первым и вторым видами ошибок не носят явно выраженного критериального характера, то вводится простое нестрогое правило, которое легко соотнести с эмпирическими результатами выполнения теста. Например, если сильный ученик отвечает неправильно на легкое задание теста, то полученный нуль является, скорее всего, результатом случайной ошибки, описки либо простой невнимательности со стороны ученика, т.е. носит исключительно случайный характер. Совсем иначе обстоит дело в том случае, когда группа сильных учеников выполняет неправильно одно и то же легкое задание теста. Тогда ошибка имеет явный систематический характер, и потому возникает вопрос о несостоятельности задания. Как правило, ошибка бывает вызвана просчетами разработчика теста. Причины несостоятельности могут быть самыми разными. Чаще всего несостоятельность порождается тем, что содержание задания допускает двусмысленное толкование у хорошо подготовленных учеников либо вообще ориентировано на выявление других знаний и умений, не относящихся к оценке значений рассматриваемой переменной измерения.
Аналогичный вывод о несостоятельности можно сделать в том случае, когда группа слабо подготовленных испытуемых успешно справляется с каким-либо трудным заданием из конца теста. Правда, здесь единичные случаи правильных ответов слабых уче-ников могут быть следствием угадывания, списывания или других форм искажения данных. Однако, как и ранее, устойчивый характер алогичных результатов учеников указывает в основном на несостоятельность содержания отдельных заданий теста. Конечно, нет никаких сомнений в том, как поступить с несостоя-
69
GUNPOWDER
тельными заданиями. Вполне понятно, что они должны быть исключены из теста.
Термин «состоятельность» в педагогической литературе нередко заменяется другим достаточно близким по смыслу. В этом случае говорят не о состоятельности, а о валидности заданий, т. е. об их пригодности служить поставленной цели измерения. Таким образом, подводя итог сказанному, можно отметить, что включение в тест невалидных заданий порождает серьезные концептуальные трудности, связанные с необходимостью искать ответ на вопрос: в какой степени допустимо измерять данным набором заданий одну и ту же характеристику знаний учеников — концептуально выделенную переменную измерения?
В целом же при создании гомогенного теста следует стремиться к поиску заданий, валидных для измерения, главным образом, одного какого-либо свойства, и минимизировать соответственно число заданий, которые могут оказаться валидными для оценки других свойств.
Визуализация истинных баллов тестируемых
Представляет интерес анализ обратной ситуации, когда после определенной работы в тесте остались только валидные задания и можно оценить состоятельность профилей ответов испытуемых, а не заданий теста. Ситуация с испытуемыми осложняется тем, что их нельзя просто и легко исключить из рассмотрения как несостоятельные задания. Ученики выполняли тест, и в любом случае они должны получить свои оценки, причем не любые, смещенные в сторону занижения или завышения, а те, которые отражают реальную картину подготовки тестируемой группы.
Проблема получения истинных баллов выглядит достаточно тривиально для случая состоятельных профилей ответов на задания теста. Однако она значительно осложняется для тех испытуемых, ответы которых не вписываются в рассматриваемую схему. Ситуация с несостоятельными профилями ответов учеников довольно сложна и требует дополнительного обсуждения.
На рис. 2.7 представлены профили ответов двух испытуемых на одни и те же 10 заданий теста, ранжированных по нарастанию трудности и расположенных вдоль оси переменной измерения. Уровень подготовки испытуемых оказался одинаковым, поскольку каждый из них выполнил по шесть заданий, однако не одних и тех же, а разных по трудности из представленных десяти заданий теста.
70
GUNPOWDER
Профиль A
I Іизкий уровень полготовки
Истинный балл испытуемого
Оценки уровня трудности заданий
?-
о
І
Легкие задания
Профиль ответов
Высокий уровень подготовки
О Трудные задания
Профиль Б
J Іизкий уровень подготовки
.. .здесь?
Истинный балл испытуемого. ...или здесь?
Оценки уровня трудности задания
О
Леї кие задания
Профиль ответов
Высокий уровень подготовки
.. .или здесь?
?i, t
о-
I Трудные задания
Рис. 2.7. Положение истинных баллов испытуемых для правильного (А) и инвертированного (Б) профилей ответов на оси переменной измерения
Профиль А отличается явной состоятельностью. В нем приведены результаты испытуемого, который выполнил правильно подряд шесть наиболее легких заданий и не справился с четырьмя более трудными заданиями теста. Для педагога подобный профиль интересен тем, что в нем наглядно представлен так называемый кумулятивный эффект, когда правильный ответ на шестое задание обеспечивает воспроизводимость правильных ответов на более легкие предшествующие задания теста.
Конечно, стойкий кумулятивный эффект наблюдается далеко не всегда, в основном для заданий, довольно тесно связанных по содержанию. В англоязычной методической литературе популярен пример заданий на умножение
