Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Таблица 5.27. Результаты двукратного выполнения трех тестов
Номер испытуемого Тест А Тест В Тест С
1-е тестирование 2-е тестирование 1-е тестирование 2-е тестирование 1-е тестирование 2-е тестирование
1 10 10 10 1 10 6
2 9 9 9 2 9 4
3 8 8 8 3 8 8
4 7 7 7 4 7 9
5 6 6 6 5 6 3
6 5 5 5 6 5 1
7 4 4 4 7 4 5
8 3 3 3 8 3 7
9 2 2 2 9 2 2
10 1 1 1 10 1 10
Тест А обладает оптимальной надежностью, так как результаты 10 учеников остались прежними: баллы и места учеников не изменились после повторного выполнения теста. Подсчет корреляции результатов первого и второго тестирования даст коэффициент
корреляции, равный единице, поэтому (гн)А =-1.
Тест В полностью ненадежен: те, кто имел самые высокие баллы в первом тестировании, получают самые низкие во втором после повторного применения этого же теста. Результаты двукратного использования теста В указывают на полное отсутствие воспроизводимости баллов испытуемых и, следовательно, на минимальную
надежность теста, поэтому (rH)B =-1.
Тест С обеспечивает в целом существенно изменившуюся картину, хотя результаты отдельных учеников (3-го и 9-го) будут вос-
329
GUNPOWDER
Таблица 5.28. Матрица тестовых результатов
Номер испытуе- Номер задания j Индивидуальный
мого 1 1 2 3 4 5 6 8 7 9 10 балл
1 1 1 1 1 1 0 0 0 0 6
2 1 1 0 0 0 0 0 0 0 0 2
3 0 0 0 0 0 0 1 0 0 0 1
4 1 0 1 1 1 1 1 1 1 9
5 1 0 I 0 1 1 0 0 0 0 4
6 1 1 1 0 0 0 1 0 0 0 4
7 1 1 1 0 1 0 0 0 0 5
8 1 1 1 1 0 0 0 0 0 0 4
9 1 1 1 1 1 1 1 1 1 0 9
10 1 1 1 1 1 0 0 1 0 0 6
Число правильных ответов Rj 9 8 7 6 5 5 4 3 2 1 50
Pj 0,9 0,8 0,7 0,6 0,5 0,5 0,4 0,3 0,2 0,1
330
произведены при повторном выполнении теста. Скорее всего, надежность третьего теста невелика, но положительна и ближе к нулю, чем к статистически значимым оценкам надежности теста.
Естественно, что рассмотренные гипотетические ситуации для теста А и В практически не встречаются в практике. Обычно коэффициент надежности принимает положительные значения, но никогда не бывает равен единице и даже для существующих десятилетиями, получивших всеобщее признание очень хороших тестов.
Статистические методы подсчета коэффициента надежности могут быть основаны на различных формулах. Некоторые из них приводятся далее и сопровождаются примерами, иллюстрирующими их использование. В качестве примера выбрана матрица тестовых результатов размером 1Ox 10, которая ранее уже встречалась при обсуждении статистических методов обработки результатов выполнения теста (см. табл. 5.3). Для удобства читателей она приводится еще раз (табл. 5.28).
GUNPOWDER
Ретестовый метод оценки надежности теста (двукратное тестирование)
Ретестовый метод оценки надежности (test-retest reliability) основан на подсчете корреляции индивидуальных баллов испытуемых, полученных в результате двукратного выполнения одного и того же теста. Обычно повторное тестирование проводится через 2—3 недели, когда испытуемые не успели забыть задействованный в тесте учебный материал и незначительно продвинулись по пути усвоения новых знаний. В этом случае низкая корреляция будет следствием не изменения состояния испытуемых, а отсутствия надежности теста.
Для подсчета коэффицента надежности по методу повторного тестирования используется формула
N (N У N \
N4LX1Y1- И JYi
(^н )рет
1=1
I=1
1=1
N
(N
/=1
V
/=1
N
(N \
(5.74)
#Х№) - J^XO/)2- Xу/
1=1
V
/=1
J
где (Гн) — коэффициент надежности теста по ретестовому методу; X1 — индивидуальный балл /-го испытуемого в первом тестировании (/= 1, 2,N); Y1 — индивидуальный балл /-го испытуемого во втором тестировании (/=1, 2,N).
Для удобства вычисления коэффициента надежности можно использовать табл. 5.29.
Применение формулы (5.74) показано для данных табл. 5.30, где индивидуальные баллы испытуемых в первом тестировании взяты из матрицы табл. 5.28.
Таблица 5.29. Сводная таблица для оценки надежности (ретестовый метод)
Номер ученика і Балл при первом тестировании X1- Балл при втором тестировании Y; X1Y1 (X1)1 (П1
1 X1 Y1 X1Y1 (X1)2 (Y1)2
2 X2 Yi X2Y2 (X2)2 (Y2)2
N Xn Yn XnYn (Xn)2 (Yn)2
N /=1 N IY,-I=I N IX1Y1 I=I N 1(X1)2 I=I N 1(Y1)2 /=1
331
GUNPOWDER
Таблица 5.30. Пример данных для оценки надежности
Номер ученика • і Балл при первом тестировании X1 Балл при втором тестировании Yi X1Y1 №)2 (Yd2
1 6 5 30 36 25
2 2 4 8 4 16
3 1 2 2 1 4
4 9 7 63 81 49
5 4 6 24 16 36
6 4 3 12 16 9
7 5 7 35 25 49
8 4 6 24 16 36
9 9 7 63 81 49
10 6 8 48 36 64
= 50 X^ =309 Z(X1)2 =312 X(^)2 = 337
После подстановки чисел из нижней строчки таблицы в формулу (5.74) коэффициент надежности
(г) 10-309-50-55 = 340 Q ?g
.Н ^ Vl0-312-502Vl0-337-552 V62OV345
Значение /'н = 0,78 указывает на невысокую надежность теста.
Хотя ретестовый метод подсчета надежности прост в вычислительном отношении, следует быть очень осторожным, чтобы не завысить надежность искусственным путем, проводя слишком близкое по времени повторное применение теста. Учащиеся могут запомнить ответы к целому ряду заданий и при повторном тестировании значительно повысить свои результаты, что негативно скажется на объективности при оценке надежности теста.
