Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Представление о степени гомогенности задания как составляющей системы заданий в тесте можно получить с помощью анализа парных корреляций (см. разд. 5.2). Если какое-либо задание отрицательно коррелирует с остальными, то есть веские основания для сомнений в его гомогенности. Наоборот, значимые, высокие оценки корреляции указывают на высокую степень однородности содержания заданий теста.
Правда, при увеличении интеркорреляции заданий сужается содержательная область, отраженная в тесте, что желательно в
313
GUNPOWDER
тематических, но недопустимо в итоговых тестах для оценки уровня подготовки по предмету. Поэтому при создании итоговых нормативно-ориентированных тестов стараются отобрать задания с положительными, но невысокими значениями коэффициентов парной корреляции в пределах интервала (0; 0,3) (см. подробнее разд. 5.2).
После отбора в тест гомогенных заданий можно сделать вывод о том, что полученная система заданий измеряет одно и то же свойство ученика. Таким образом, включение в тест гомогенных заданий обеспечивает одномерность оцениваемого свойства ученика, которым в случае конструирования итогового педагогического теста является уровень подготовки по предмету. Термин «одномерность» нередко используют для обозначения гомогенного задания теста. Со свойством одномерности задания непосредственно связана его локальная независимость.
Локальная независимость тестового задания
Свойство локальной независимости означает, что при любом фиксированном уровне подготовки ответы учеников на каждую группу заданий являются статистически независимыми. Другими словами, при фиксированном значении параметра ученика (или группы учеников) 0 (см. разд. 5.3) нет никакой связи между вероятностями правильных ответов на различные задания теста. Конечно, предположение о локальной независимости носит скорее формальный, нежели реальный характер, поскольку на деле ответы ученика на задания связаны между собой, причем эта связь тем больше, чем выше корреляция между заданиями и чем больше пересечение содержательных элементов в различных заданиях теста.
Однако, несмотря на формальный характер, предположение о локальной независимости задания крайне существенно для использования соответствующего математического аппарата IRT. Оно позволяет рассматривать вероятность выполнения совокупности заданий как произведение вероятностей выполнения отдельных заданий теста и реализовать на основе теоремы об умножении вероятностей определенные возможности аппарата IRTдля получения оценок наибольшего правдоподобия параметров 0 и ? (см. разд. 5.3). В этой связи разработчики стараются включать в тест задания с невысокими значениями коэффициента интеркорреляции, обеспечивающие хотя бы приближенное отражение идеи локальной независимости в практике создания теста. Без сомнения, требование локальной независимости полностью исключает
314
GUNPO
315
возможность включения в тест цепочных заданий, когда ответ предыдущего задания входит в набор данных к последующему заданию теста.
Весовой коэффициент задания
Вопрос об оптимальных весовых коэффициентах при определении вклада каждого задания в итоговый балл ученика решается по-разному. Большинство специалистов склоняются к выводу о преимуществе дихотомической оценки по результатам выполнения каждого задания теста. При этом ученик получает 1 за правильное выполнение задания и О за пропуск либо неверный ответ. Сторонники дихотомической оценки руководствуются весьма простым соображением, подкрепленным соответствующими математическими выкладками [45]. Проигрыш в точности измерений будет существенно меньше, если ограничиться дихотомической оценкой, а весовыми коэффициентами, выбранными на основе субъективных суждений экспертов либо субъективных представлениях автора.
Распространенный в нашей стране подход к выбору весовых коэффициентов основан на подсчете числа шагов, необходимых для выполнения задания теста. Логика сторонников этого подхода примерно такова: чем больше шагов требуется для выполнения задания, тем больше должен быть вклад задания в общую оценку по тесту.
Вполне понятны основания для критики, поскольку налицо явный формализм в оценке вклада в итоговый балл каждого задания теста. При такой постановке вопроса сумма большого количества простых шагов при выполнении задания, требующего репродуктивного уровня деятельности, может давать больший вклад, чем один довольно трудный шаг, предполагающий элементы творческой деятельности при выполнении задания теста.
Еще один тупиковый путь основан на выборе весовых коэффициентов, пропорциональных определенной статистическим путем трудности заданий теста. Эти весовые коэффициенты ничего не дают для повышения эффективности тестовых оценок сильных учеников, но могут привести к значительному росту ошибки измерения при оценке наиболее слабых учеников в тестируемой группе. Слабый ученик, угадавший правильный ответ к нескольким наиболее трудным заданиям, может по результатам тестирования выглядеть значительно лучше, чем другие, более сильные, не использующие угадывания при выполнении заданий теста. В этой связи в исследованиях Ф. Лорда предполагается присваивать ну-
