Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Проведенный анализ выявляет роль параметра а. при дифференциации испытуемых. Соответственно параметр а. получил название дифференцирующей способности у-го задания теста. Формула для оценки параметра дифференцирующей способности заданий приведена, например, в работе [50]. Она достаточно проста и имеет вид
a:= , (/<bis)y . (5.37)
J д/і-[(^)у]2'
Теоретически значения параметра а. могут изменяться в интервале (-оо, + оо), но практически далеко не все эти задания можно
включать в тест. Анализ характеристических кривых заданий одинаковой трудности, но разной крутизны позволяет отобрать лучшие задания и определить разумные границы интервала для значений параметра а..
Отбор заданий с большими значениями а. является одним из важных принципов при конструировании нормативно-ориентиро-
282
GUIMPO
ванного теста. Минимизация длины теста за счет удаления части лишних заданий равной трудности строится на сравнительном анализе крутизны характеристических кривых с одинаковой точкой перегиба. Процесс минимизации позволяет выделить одно наиболее эффективное задание с наибольшим значением параметра яу. На практике рекомендуется, как правило, оставлять задания со значениями dj, лежащими в интервале (0,5; 2,5). Значение а.= 1 соответствует однопараметрической модели Г. Раша.
Как и модель Г. Раша, двухпараметрическая логистическая модель А. Бирнбаума имеет определенные недостатки, несколько сужающие область ее применения. Описанные модели не рекомендуется использовать в том случае, когда в тесте отдано предпочтение заданиям в закрытой форме. Для теста, содержащего задания с выборочными ответами, лучше обратиться к трехпараметрической модели.
Трехлараметрическая логистическая модель А. Бирнбаума. При анализе результатов выполнения теста с закрытыми заданиями исследователями было отмечено существенное отклонение эмпирических данных от характеристических кривых заданий теста. Эффект отклонения оказался наиболее характерным при анализе ответов испытуемых с низкими значениями 6 на самые трудные задания теста. Попытки выяснить причины такого отклонения привели Ф. Лорда, А. Бирнбаума и других создателей теории IRT к выводу о влиянии эффекта угадывания правильного ответа на достоверность эмпирических результатов выполнения теста.
Возможно, что испытуемые с различным уровнем знаний пользуются различными методами при выборе правильного ответа. Вернее, методом пользуются только те, кто обладает достаточными знаниями для правильного выбора. Другие же, знания которых характеризуются низкими значениями параметра 0, просто угадывают правильный ответ. И чем труднее задание, тем вероятнее, что ответ получен именно путем догадки. Для того чтобы учесть фактор угадывания, А. Бирнбаум предложил трехпараметрическую логистическую модель.
В случае использования трехпараметрической модели вероятность правильного ответа испытуемых нау-е задание теста находят по формуле (5.18). Ее можно переписать в более удобном виде:
/,y{^ = l|?y} = cy+(l-cy){l+exp[47fly(e-?y.)irI, (5.38)
где кроме прежних обозначений введен третий параметр су, характеризующий вероятность правильного ответа испытуемых на j-e
283
GUNPOWDER
задание теста при полном отсутствии знаний у тестируемых учеников (0-> — °о).
Величина параметрам Определяется количеством ответов к закрытым заданиям теста. Например, для задания с пятью ответами по классическому определению вероятности Cj= 0,2, при четырех предложенных ответах Cj= 0,25 и т. д.
Характеристическая кривая у-го задания теста в случае трехпа-раметрической модели приведена на рис. 5.28.
Интересно сравнить крутизну кривой на рисунке с воображаемой характеристической кривой задания, имеющей ту же точку перегиба, но нижней асимптотой которой является ось 0 (су.= 0). На основании такого сравнения нетрудно заметить, что наличие третьего параметра ^.превращаетхарактеристическую кривую в более пологую. Таким образом, эффект угадывания снижает дифференцирующую способность заданий теста.
Применение трехпараметрической модели значительно осложняет анализ и обработку статистических данных в процессе конструирования теста.
Введение третьего параметра с.не только существенно снижает точность оценок параметров 0 и р, но и ухудшает сходимость итерационных методов, используемых для повышения точности оценок латентных переменных 0 и ?. Один из наиболее распространенных итерационных методов строится на подсчете оценок
Pi t
0,5(1+су). 0,5-
Ol
0
284
GUNPOWDER
наибольшего правдоподобия. Он описан в следующем разделе для модели Г. Раша.
Метод наибольшего правдоподобия. Хотя теория обещает инвариантность, в силу действия различных случайных факторов оценки параметров 6 и ?, полученные на нескольких выборках, будут, конечно, различаться. Если объем выборки достаточно велик, то можно ставить вопрос о вычислении устойчивых значений параметров 6 и ?, которые будут наиболее эффективными оценками и могут быть приняты в качестве объективных значений параметров
6H?.
Существуют различные методы вычисления эффективных оценок параметров распределения. Одним из них является метод наибольшего правдоподобия, предложенный Р. Фишером [36].
