Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
18 -0,3 0,0 -0,0 0,2*
19 -0,1 -0,2 0,4* -0,2
20 0,1* -0,1 0,1 -0,2
21 -0,3 -0,2 0,4* 0,0
22 0,2 -0,1 0,0 0,2*
23 0,6* -0,2 -0,2 -0,1
24 0,0 0,3* -0,1 од
25 -0,2 0,1 0,2* 0,1
26 -0,4 0,0 0,3*
27 -0,1 -0,3 -0,1 0,5*
28 -0,4 -0,1 0,5* -0,2
29 -0,2 0,2* 0,2 0,0
30 0,6* -0,2 -о,з -0,2
31 0,0 0,0 -0,1* 0,3
32 -0,1 -0,1 0,1 0,4*
33 -о,з 0,6* -0,1 -0,2
34 0,3* 0,0 0,0 -0,1
35 -0,2 -0,1* 0,1 0,3
36 -0,1 0,5* -0,2 -0,1
37 0,2 -0,2 0,0 0,2*
38 0,1 -0,1 -0,1 0,3*
39 0,5* -0,3 0,0 -0,3
305
GUNPOWDER
Окончание табл. 5.24
Задание 1-й ответ 2-й ответ 3-й ответ 4-й ответ
40 0,2 0,2* -0,4 -0,2
41 0,3* 0,0 0,1 -0,1
42 0,1 -0,1 -0,1 0,4*
теста. Второй столбец указывает на число испытуемых, выполнявших каждое из заданий первого столбца, все последующие столбцы содержат число и процент испытуемых, выбравших каждый из ответов к заданиям теста. Звездочкой отмечен процент, соответствующий правильному ответу к заданиям.
Анализ первой строки позволяет собрать полезную информацию о качестве задания 1 теста. В нем правильным является 3-й ответ, и поэтому число Px = 67% в столбце, соответствующем 3-му ответу, указывает на трудность задания 1 теста. Из 96 испытуемых, выполнивших задание, 65 справились с ним успешно, а остальные (96 — 65 = 31) распределились между дистракторами к заданию 1 теста. Среди неправильно выполнивших это задание 8 тестируемых выбрали 1-й дистрактор, один тестируемый выбрал 2-й дистрак-тор и 22 испытуемых остановились при выполнении задания на 4-м, неправильном ответе.
Проведенный анализ позволяет сделать выводы о качестве разработанных дистракторов к заданию 1 с точки зрения их привлекательности для незнающих учеников.
Очень похож на правильный 4-й ответ: его выбрали 22 из 31 ученика. Второй ответ, выполняющий функцию дистрактора, явно непривлекательный: его выбрал всего один ученик, и потому этот ответ как неработающий дистрактор подлежит изменению либо удалению из теста.
Несомненно, нуждаются в переработке 1-й и 4-й ответы из задания 6, поскольку их не выбрал ни один человек из шести (97 — 91 = = 6), неправильно выполнивших это задание теста. Оба дистрактора ничего не дают для задания. Они просто создают иллюзию существования задания с четырьмя ответами. Необходимо также изменить 4-й ответ в задании 26, 2-й ответ в 38 и т.д.
Таким образом, в хороших заданиях с выбором ответов неверно ответившие ученики должны распределяться почти равномерно между всеми предложенными дистракторами. Дистракторы, которые выбирают менее 5% неверно ответивших испытуемых, должны быть удалены из теста.
306
GUNPOWDER
Углубленный вариант дистракторного анализа построен на подсчете значения точечно-бисериального коэффициента корреляции для каждого дистрактора в заданиях теста. Формула для подсчета значений коэффициента и методика расчета приведены в разд. 5.2 (5.10). Отрицательные значения коэффициента корреляции указывают на ситуацию, когда хорошо выполнившие тест испытуемые не будут выбирать данный дистрактор в качестве правильного ответа.
Значения коэффициента точечно-бисериальной корреляции для примера из табл. 5.23 приводятся в табл. 5.24 (звездочка соответствует правильному ответу).
Выделенные положительные значения коэффициента точечно-бисериальной корреляции для дистракторов (например 2-й ответ в задании 4, 2-й ответ в задании 8, 4-й в 13 и т. д.) указывают на то, что эти неверные ответы выбирают в качестве правильных сильные ученики, что явно противоречит представлению преподавателя о хороших заданиях теста. Поэтому подобные задания, несомненно, следует проанализировать, и, если просчет в содержании не поддается коррекции, то просто удалить из теста. При правильном положении вещей значения коэффициента точечно-бисериальной корреляции для дистракторов должны быть отрицательными и превышающими по модулю 0,2. Положительные или близкие к нулю значения коэффициента для дистракторов говорят о необходимости их исключения либо переделки неправильных ответов.
В отличие от дистракторов в хороших заданиях правильные ответы выбираются сильными учениками. Поэтому значения коэффициента точечно-бисериальной корреляции на месте ответов со звездочкой не могут быть отрицательными. Правильным ответам должны соответствовать значения коэффициента корреляции, превышающие 0,5. Для случая, когда правильный ответ не выбирают сильные ученики (например в задании 31 или в заданиях 17, 35 из табл. 5.24), коэффициент корреляции бывает близким к нулю или даже меньше нуля. Отрицательная или нулевая корреляция для верного ответа может отражать случайный характер ответов учеников, наличие систематических проблем в усвоении проверяемого материала, вызванных дефектами преподавания либо некорректную формулировку задания теста.
АИСКРИМИНАТИВНОСТЬ ТЕСТОВОГО ЗАДАНИЯ
Дискриминативностью (discriminatory power) называется способность задания дифференцировать учеников на лучших и худших. Высокая дискриминативность — важная характеристика удач-
307
GUNPOWDER
ного тестового задания. Это утверждение становится вполне понятным, если вспомнить, что достижение дифференцирующего эффекта — главная цель создания нормативно-ориентированных тестов. Поэтому хороший нормативно-ориентированный тест должен быть составлен из заданий с высокой дискриминативной способностью.
