Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Вычисление по формуле (5.9) требует использования специальных таблиц для нахождения ординат стандартной нормальной кривой и определенной математической подготовки. Поэтому неред-
252
GUNPOWDER
ко используют другой коэффициент корреляции, получивший название точечно-бисериального коэффициента — rpbis. Основания для подобной замены вполне понятны, поскольку и точечно-бисе-риальный и бисериальный коэффициенты очень похожи и вычисляются по сходным наборам данных. Однако формула для rpbis намного проще, поэтому именно ему часто отдают предпочтение в практической работе. Помимо простоты в вычислении, точечно-бисериальный коэффициент по сравнению с бисериальным обладает еще одним важным преимуществом. Для подсчета значения rpbisне НУЖНЫ те гипотезы, которые выдвигаются в силу необходимости относительно нормального характера распределения дихотомических данных при определении меры связи по формуле (5.9).
Предположение о нормальном распределении весьма существенно для вычисления rbis. В том случае, когда гипотеза о нормальности нарушается, значения г могут выходить за границы интервала [— 1; +11, смещаясь в ту или иную сторону вдоль числовой прямой.
В отличие от бисериального точечно-бисериальный коэффициент не бывает больше +1 или меньше — 1. Формула для вычисления значения rpbis, имеет вид
* Pb*J Sx \ N(N-I) 9
где все обозначения те же, что и в формуле (5.9).
Формула (5.10) может быть представлена в виде одного из двух вариантов, эквивалентных исходному выражению:
Vpbis^y
Sx \(N0)j(N-l)
или
X-(X0)J (N0)J-N Wj Sx ^(NOj(N-I) '
где все обозначения прежние и X — среднее значение всех индивидуальных баллов по выборке учеников.
С точки зрения интерпретации удобнее всего первая формула (5.10), которая используется ниже для данных матрицы в табл. 5.3. Например, для результатов по заданию 5
253
GUNPOWDER
6+9+4+9+6 34 CQ
(ai)5 =-^-=T ' '
так как 1,4, 5, 9 и 10-й испытуемые выполнили задание 5 верно;
(Y \ _2+1 + 4+5 + 4 16 ~~
--<j-~~~5~ '
так как 2, 3, 6, 7 и 8-й испытуемые выполнили задание 5 неверно. Стандартное отклонение, подсчитанное для рассматриваемого примера ранее,
-2,6; (NX)5=(N0)5 =5; N = 10;
_6,8-3,2 5± = 3? /1вП7
Более точные значения rbis, рассчитанные с помощью компьютерных программ для данных матрицы в табл. (5.3), приводятся в табл. 5.11.
Интерпретация. Анализ значений коэффициента бисериальной корреляции в табл. 5.11 указывает на два довольно неудачных задания теста. Это те же самые третье [(^bis)3= 0,26] и восьмое [(>"bis)8 = = 0,26] задания. Полученный вывод дает ценную информацию о низкой валидности заданий 3 и 8 теста. Эти задания следует признать неудачными и для улучшения теста их необходимо удалить.
В целом задание можно считать валидным, когда значение (/*bis)y.~ 0,5. Под этот критерий подпадают все, кроме двух заданий (третьего и восьмого) рассматриваемого примера матрицы теста.
Оценка валидности задания позволяет судить о том, насколько задание пригодно для работы в соответствии с общей целью создания теста. Если эта цель — дифференциация учеников по уровню подготовки, то валидные задания должны четко отделять хорошо подготовленных от слабо подготовленных учеников тестируемой группы.
Решающую роль в оценке валидности задания играет разность
(X1 )j -(X0)j, находящаяся в числителе дроби формулы (5.10). Чем
выше значение этой разности, тем лучше работает задание на общую цель дифференциации испытуемых, выполняющих тест. Зна-
254
Таблица 5. П. Значение коэффициента бисериальной корреляции десяти заданий теста (табл. 5.3) с суммой
баллов
1 2 3 4 5 6 7 8 9 10
Задание 9 7 4 5 6 1 10 2 3 8
fan); 0,8032 0,7887 0,7378 0,7229 0,6426 0,5355 0,5355 0,5020 0,2629 0,2459
gunpowder
чения, близкие к нулю, указывают на низкую дифференцирующую способность задания теста. В том случае, когда в разности доминирует вклад (X0), а не (Xx), задание следует просто удалить из теста.
В нем побеждают слабые ученики, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Таким образом, подлежат выбросу все задания, у которых rbis< 0.
5.3. Методы обработки данных в рамках современной теории создания тестов
Под современной теорией понимается существующая на Западе Item Response Theory (IRT), предназначенная для оценки латентных параметров испытуемых и параметров заданий теста посредством применения математико-статистических моделей измерения [31, 46, 47, 50 и др.]. IRT является частью более общей теории латентно-структурного анализа, хотя каждое из этих направлений имеет свои особенности. В частности, в теории латентно-структурного анализа оцениваемые значения параметров рассматриваются как некоторые дискретные точки на оси латентной переменной, в то время как в IRT распределения переменных предполагаются непрерывными.
В отличие от классической теории тестов, для IRT характерно стремление к фундаментальному теоретическому подходу и вместе с тем к корректному решению целого ряда практических задач педагогического измерения. В практическом плане это стремление неизбежно сопряжено с некоторыми трудностями, которые, кстати, не всегда осознаются ведущими тестологами — создателями современной теории тестов. В частности, необходимо привлечение довольно сложного математико-статистического аппарата, использование дорогостоящей компьютерной техники, нужна разработка специальных программных продуктов.
