Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Таким образом, правильно сконструированный тест не может состоять только из легких или только из трудных заданий. Он включает всякие, самые различные по трудности задания. Хотя это правило нужно учитывать уже на начальном этапе создания теста, полагаться следует только на эмпирические оценки, а не на свое видение трудности заданий теста.
В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значениями р -» 0. Есть несколько самых легких с р —> 1. Остальные задания по значениям р занимают промежуточное положение между этими крайними ситуациями и имеют в основном трудность 60—70%. Таким образом, основная масса заданий по трудности приближается к середине распределения, как на рис. 5.37, отражающем нормальный закон.
Еще один аргумент в пользу преимущественного включения заданий средней трудности с р = 0,5 связан с подсчетом дисперсии по каждому заданию теста
Так как произведение /^.достигает максимального значения (0,5 • 0,5 = 0,25) при Pj- 0,5 = то в рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности р= q = 0,5, обеспечивающие максимальный вклад в общую дисперсию теста.
И наконец, в пользу преимущественного выбора заданий средней трудности свидетельствует подсчет ошибки измерения, KOTO-
Vj = PjVj* О'= 1,2,...,
п).
(5.60)
302
Ч-1-
0,1 0,5 0f9 p
Рис. 5.37. Типичное распределение по трудности заданий теста
рая уменьшается по мере продвижения к центру распределения, где расположены задания средней трудности, и увеличивается на концах.
Правдоподобность дистракторов (для закрытых заданий). Оценка правдоподобности дистракторов основана на подсчете долей испытуемых, выбравших каждый неправильный ответ. Например, если группа из 100 испытуемых выполняла у-е задание теста с пятью ответами, из которых один верный, и 60 испытуемых выполнили задание верно, то Pj= 0,6. Оставшиеся 40 испытуемых должны были равномерно распределиться между четырьмя дистракторами. Тогда распределение долей ответов на задание должно выглядеть следующим образом (табл. 5.22) (звездочкой отмечен верный ответ).
Таблица 5.22. Распределение долей испытуемых между ответами
на задание теста
Номер задания 1-й ответ 2-й ответ 3-й ответ* 4-й ответ 5-й ответ
• J 0,1 0,1 0,6 0,1 0,1
Конечно, реальные результаты на практике редко совпадают с описанной гипотетической, идеализированной ситуацией. Даже у опытных авторов в заданиях сплошь и рядом встречаются неправдоподобные дистракторы, которые по результатам эмпирической проверки приходится менять. Анализ правдоподобности дистракторов, проведенный в реальной ситуации по результатам выполнения 42 заданий теста выборкой из 100 испытуемых, показан в табл. 5.23. В первом столбце табл. 5.23 помещены номера заданий
303
GUNPOWDER
Таблица 5.23. Анализ правдоподобности дистракторов
Номер
Распределение ответов тестируемых
задания Всего 1-й ответ 2-й ответ 3-й ответ 4-й ответ
тест. % тест. % тест. % тест. %
1 96 8 8,2 1 1,0 65 67,0* 22 23,0
2 96 4 4,1 20 21,0 2 2,1 70 72,0*
3 97 13 13,0 73 75,0* 6 6,2 5 5,2
4 97 19 20,0 29 30,0 24 25,0* 25 26,0
5 95 20 21,0* 42 43,0 22 23,0 11 11,0
6 97 0 0,0 6 6,2 91 94,0* 0 0,0
7 97 5 5?2 80 82,0* 4 4,1 8 8,2
8 95 16 16,0 28 29,0 25 26,0 26 27,0*
9 97 18 19,0 2 2,1 71 73,0* 6 6,2
10 96 13 13,0 12 12,0 64 66,0* 7 7,2
11 97 3 3,1 62 64,0* 17 18,0 15 15,0
12 93 18 19,0 10 10,0 59 61,0* 6 6,2
13 96 47 48,0 33 34,0* 9 9,3 7 7,2
14 95 41 42,0 37 38,0* 10 10,0 7 7,2
15 94 9 9,3 3 3,1 25 26,0 57 59,0*
16 97 2 2,1 2 2,1 11 11,0 82 85,0*
17 96 32 33,0 59 61,0* 2 2,1 3 3,1
18 95 17 18,0 11 11,0 20 21,0 47 48,0*
19 95 2 2,1 4 4,1 85 83,0* 4 4,1
20 95 26 27,0* 12 12,0 43 44,0 14 14,0
21 92 11 11,0 11 11,0 49 51,0* 21 22,0
22 89 18 19,0 22 23,0 15 15,0 34 35,0*
23 90 60 62,0* 9 9,3 15 15,0 6 6,2
24 85 26 27,0 19 20,0* 13 13,0 27 28,0
25 90 19 20,0 24 25,0 40 41,0* 7 7,2
26 97 35 36,0 23 24,0 39 40,0* 0 0,0
27 93 3 3,1 11 11,0 2 2,1 77 79,0*
28 97 36 37,0 18 19,0 36 37,0* 7 7,2
29 89 4 4,1 21 22,0* 61 63,0 3 3,1
30 91 68 70,0* 7 7,2 5 5,2 11 11,0
31 90 3 3,1 3 3,1 25 26,0* 59 61,0
32 90 12 12,0 17 18,0 20 21,0 41 42,0*
33 91 8 8,2 63 65,0* 6 6,2 14 14,0
34 87 29 30,0* 24 25,0 23 24,0 11 11,0
35 93 8 8,2 11 11,0* 50 52,0 24 25,0
36 90 13 13,0 68 70,0* 6 6,2 3 3,1
37 92 35 36,0 38 39,0 7 7,2 12 12,0*
38 86 31 32,0 1 1,0 22 23,0 32 33,0*
39 92 71 73,0* 5 5,2 8 8,2 8 8,2
40 92 32 33,0 45 46,0* 9 9,3 6 6,2
41 86 39 40,0* 35 36,0 5 5,2 7 7,2
42 88 3 3,1 9 9,3 27 28,0 49 51,0*
304
GUNPO
Таблица 5.24. Значения коэффициента точечно-бисериальной корреляции
Задание 1-й ответ 2-й ответ 3-й ответ 4-й ответ
1 -0.1 -0,2 0,3* -0,2
2 -0,2 -о,з -0,2 0,4*
3 -0,3 0,4* -о,з -0,1
4 -0,2 0,3 0,1* -0,2
5 0,3* 0,0 -0,1 -0,2
6 -0,1 0,1*
7 -0,2 0,2* 0,1 -0,2
8 -0,1 0,2 -0,1 0,0*
9 -0,2 0,0 0,3* -0,2
10 -0,1 -0,3 0,3* -0,1
11 0,0 0,4* -0,3 -0,2
12 -0,2 0,0 0,3* 0,0
13 -0,3 0,2* 0,0 0,3
14 -0,4 0,5* 0,0 0,0
15 0,1 -0,2 0,1 0,0*
16 -од -0,2 -0,3 0,4*
17 0,1 -0,1* 0,0 0,1
