Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Для уточнения вывода представляет интерес сравнительный анализ результатов выполнения теста, который помогает сузить круг возможных причин инверсий в профилях ответов учеников. Сформулированное утверждение удачно иллюстрируется данными примера на рис. 2.7. Не обладая дополнительными сведениями, легко предположить, что причиной инвертированности профиля Б является несостоятельность отдельных заданий теста. О том, что предположение неверно и здесь имеет место несостоятельность второго испытуемого, а не заданий, свидетельствуют результаты первого ученика, у которого в профиле А все распределяется закономерно. Естественно, что для планирования процесса обучения наибольший интерес представляет профиль Б, причины несостоятельности которого педагогу предстоит выяснить в процессе непосредственного общения с учеником по результатам выполнения теста.
Эмпирические методы валидизаііии заданий теста
Тестолога, в отличие от педагога, обычно интересуют иные аспекты анализа результатов выполнения теста. Как правило, он стремится к определенным выводам, расставляющим акценты и намечающим приоритеты в работе по созданию и совершенствованию теста. Несомненно, работа начинается с подготовки заданий, содержание которых по возможности ориентировано на оценку значений концептуально выделенной переменной измерения. В большинстве своем задания бывают валидными, особенно в том случае, когда к их разработке привлекались опытные педагоги с большим стажем работы в школе. Однако, как бы то ни было, валидность следует доказать эмпирически на репрезентативной выборке учеников.
74
GUNPOWDER
По результатам статистической проверки выявляются несостоятельные профили ответов на задания и производится удаление из теста невалидных заданий. Если удаление носит не единичный и случайный, а продуманный и закономерный характер, то в целом качество теста повышается. Происходит консолидация системы тестовых заданий, постепенно нарастает ее внутренняя связность и целостность, повышается интегративность содержания системы заданий с точки зрения их соответствия концептуально выделенной переменной измерения.
Оттого, насколько хорошо проделана работа по консолидации системы заданий, во многом зависит успех дальнейшего продвижения к этапу использования теста для оценки знаний учеников. И теория, и практика говорят о том, что после завершения работы над тестом большинство профилей учеников будут правильными либо почти правильными, т.е. инвертированными в незначительной степени. Однако и по готовым тестам отдельные ученики, знания которых слабо структурированы, могут показать явно несостоятельные тестовые результаты, которые в любом случае не дают оснований для достоверных выводов об истинных баллах этих отдельных учеников.
Выявление в инвертированных профилях ответов стоящих не на своих местах элементов образует информационную и мотива-ционную основы для реализации обучающей функции тестового контроля. Благодаря тестам преподаватель получает объективную информацию, столь необходимую для индивидуализации процесса обучения. В зависимости от характера и меры инвертированно-сти профилей ответов учеников принимается решение о необходимости проведения дополнительных занятий и консультаций, о характере помощи неуспевающим ученикам для улучшения качества их знаний. Таким образом, обучение становится эффективным не на словах, а на деле.
Однако эти формальные рассуждения относятся исключительно к ситуации, когда работа над тестом завершена и педагога интересуют только результаты учеников при выполнении теста. В процессе разработки теста нет смысла удерживать в числе результатов несостоятельные профили ответов учеников, поскольку они могут внести серьезные искажения при оценке валидности заданий теста. Конечно, хорошо, когда несостоятельных профилей встречается не более одного-двух на 50—100 человек в группе тестируемых учеников. В противном случае исключение инвертированных профилей без всяких ограничений может негативно отразиться на репрезентативности группы учеников. Поэтому обычно, чтобы избежать различных ос-
75
GUNPOWDER
ложнений с размерами выборки учеников, стараются исключить не более 5% несостоятельных профилей, а все оставшиеся использовать при создании теста.
Нередко кажется, что реализовать определенную последовательность действий в работе с профилями достаточно сложно из-за их взаимной связи и влияния друг на друга. Действительно, изменение состава выборки учеников неизбежно отражается и на изменении меры инвертированное™ профилей ответов на задания теста. И наоборот, любое удаление невалидных заданий может привести к возникновению новых несостоятельных профилей учеников. Однако трудности эти кажущиеся и носят скорее искусственный, чем явный характер. В основном они порождены попыткой обособленного рассмотрения наблюдаемых результатов выполнения теста, когда профили учеников и заданий анализируются в отрыве друг от друга. Наделе профили тесно связаны и проистекают из общего источника, поскольку и профили учеников, и профили заданий являются результатом взаимодействия двух множеств, одно из которых — множество испытуемых, а другое — множество заданий теста.
