Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
GUNPOWDER
левые или близкие к нулевым весовые коэффициенты для наиболее трудных заданий при подсчете баллов слабых учеников по результатам выполнения теста.
В результате многолетней работы ряда зарубежных исследователей удалось в рамках IRT создать специальное обоснование проблемы выбора оптимальных весовых коэффициентов к заданиям теста. Достаточно подробно это обоснование изложено в [46].
Обоснование построено на определении весовых коэффициентов из условия максимизации значений информационной функции теста (см. разд. 5.3). В результате сложных выкладок Р.К. Хэм-блтон приходит к интересному результату. Оптимальные весовые коэффициенты должны находиться по формуле
P]
G)7=—^-, (5.65)
J PjQ/
где CO7 - весовой коэффициенту-го задания; Pj — производная по переменной 0 от функции Р, задающей вероятность правильного ответа нау-е задание теста; Q.= X-Pj- вероятность неправильного ответа на у-е задание теста.
В зависимости от выбранной математической модели, аппроксимирующей PjW Qj, весовые коэффициенты имеют вид, представленный в табл. 5.2о.
Таким образом, исходя из результатов табл. 5.26, можно сделать вывод, что при использовании однопараметрической модели и описанных в разд. 5.3 алгоритмов для оценки значений 6Д/ = 1,2,N) лучше всего применять невзвешенные оценки и считать сырой балл каждого ученика по формуле
Таблица 5.26. Оптимальные весовые коэффициенты для логических моделей IRT
Модель Pj со. =—— J PQ Комментарий
Однопараметрическая модель Г. Раша 0)у = /) = 1,7 O)7 не зависит от 0
Д вухпараметричес кая модель А. Бирнбаума O)7- = Duj = XJa j O)7 не зависит от 0
Трехпараметрическая модель А. Бирнбаума 1,7а,. Pj-Cj со, =------- (1-Cy) Pj 0)у является функцией от переменной 0, так как Pj=Ae-Vj)
316
GUNPOWDER
n
^ = 1?, хіґ {0, 1} и /= 1, 2,N9 (5.66)
у=1
а затем вычислять 0;. по описанным в разд. 5.3 алгоритмам.
Для двухпараметрической модели вклад каждого задания в итоговый сырой балл должен быть пропорционален а:.
X1 = IjJ^UjX1J9 / = 1,2,...,TV, (5.67)
у=і
где параметр а. — дифференцирующая способность у-го задания теста.
Для трехпараметрической модели оптимальные весовые коэффициенты должны зависеть не только от параметров заданий, но и от уровня подготовки оцениваемого ученика. В соответствии с рекомендациями Ф. Лорда [50] для сильных учеников весовые коэффициенты стремятся к uj. Этот вывод легко получить из последней формулы для весовых коэффициентов в табл. 5.26:
Da: P1-C1
o)7=-J-—I—J- . (5.68)
3P-cP
J СУ 1J
Однако для сильного ученика вероятность правильного ответа на у-е задание стремится к единице (Pj1), поэтому формулу (5.68) можно переписать в виде
Da 1-е со, =----- = Da1.
1 \-Cj i
Для слабого ученика, наоборот, при выполнении трудных заданий Pj-> Cj9 поэтому ю. —> 0, так как
Da1 C1-C1-
со,=--^- = 0.
\ — с C-
Идеи Лорда были развиты А. Бирнбаумом, который построил специальные кривые для выбора оптимальных весовых коэффициентов (рис. 5.38).
На рис. 5.38 по горизонтальной оси откладываются значения 0, по вертикальной — значения co7.. Кривая / соответствует заданию с низким значением параметра дифференцирующей способности
317
GUNPOWDER
(ax < 0,5). Поэтому вклад этого задания в общую оценку невелик как для сильных, так и для слабых учеников. Кривые 2 и 4 соответствуют довольно трудным заданиям (я4 > я2), поэтому при низких значениях 0 вклад заданий 2 и 4 в итоговый балл слабых учеников близок к нулю. По мере роста значений 0 на первый план выходит величина uj. Задание 4 с большим значением a4 при подсчете баллов сильных учеников будет иметь больший весовой коэффициент. И наконец, заданию 3 соответствует умеренно пологая кривая (я3~ 1), но оно имеет небольшую трудность, поэтому весовые коэффициенты для этого задания отличны от нуля даже для самых слабых учеников.
Таким образом, вопрос выбора оптимальных весовых коэффициентов достаточно сложен. Для его научного решения необходимо использование математического аппарата IRT и специальных математических теорий. При больших значениях 0 оптимальные весовые коэффициенты пропорциональны дифференцирующей способности заданий. Для малых 0 и больших ? оптимальные весовые коэффициенты близки к нулю.
В заключение уместно привести некоторые рекомендации по отбору заданий в тест. Конечно, такие рекомендации могут носить самый общий характер, поскольку при отборе заданий есть довольно много разнообразных факторов, а при окончательном решении их следует разумно уравновесить. Несомненно, наиболее эффективны задания со значениями параметра трудности р в интервале (0,20; 0,80), поэтому именно их в первую очередь следует включать
Уровень подготовки Рис. 5.38. Кривые оптимальных весовых коэффициентов
318
GUNPOWDER
в тест. Однако, если в этот интервал попадают задания с низкой дискриминативностью, а другие, с высокой дискриминативной способностью, имеют трудность 0,18, то именно последним заданиям следует отдать предпочтение при отборе заданий в тест.
5.5. Надежность и валианость гомогенного теста
