Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
ное распределение вокруг истинного балла T1 со стандартным отклонением SE.
На практике 5? рассматривается как статистическая величина, отражающая степень точности отдельных измерений, поэтому величину SE используют для определения границ доверительного интервала, внутри которого должен находиться истинный балл оцениваемого ученика группы.
Общераспространен подход, когда доверительный интервал выстраивается как две симметричные окрестности (левая и правая) вокруг наблюдаемого показателя ученика, хотя это не совсем верно, поскольку речь должна идти об окрестностях, расположенных слева и справа от истинного балла. Тем не менее этот факт обычно игнорируется в прикладных исследованиях, и доверительный интервал при заданном риске допустить ошибку а = 0,05, т.е. в пяти случаях из ста, принимается равным
-1,96?; X1 + 1,96?),
где X. — наблюдаемый балл /-го испытуемого; 1,96 — константа, табличное число, используемое при /=0,05.
Для рассматриваемого ранее примера матрицы тестовых результатов (см. табл. 5.3), коэффициента надежности гн=0,78 и стандартного отклонения Sx= 2,62 (см. разд. 5.2) 5?по формуле (5.79) получится
SE =2,62^1 -0,78 -1,23.
Тогда доверительный интервал для истинного балла первого ученика со значением Xx = 6 будет (6— 1,96 * 1,23; 6 + 1,96 • 1,23).
Интересна геометрическая интерпретация доверительного интервала на оси наблюдаемых баллов учеников (рис. 5.39).
Может быть.
здесь?
Истинный балл, А может быть, здесь? здесь?
+
-
T1 X1 + 1,965,
X- 1,965, T1 X1 T1
Рис. 5.39. Геометрическая интерпретация доверительного интервала
Следовательно, истинный балл первого ученика может находиться в любой точке этого интервала. Таким образом, стандартная ошибка измерения является стандартной погрешностью оцен-
339
GUNPOWDER
ки истинных баллов на основании наблюдаемых результатов тестовых измерений.
Очевидно, что с ростом SE границы доверительного интервала будут раздвигаться, и вместе с тем будут увеличиваться возможные пределы отклонения истинного балла от наблюдаемых результатов измерения (более правильная с точки зрения теории трактовка: пределы отклонения наблюдаемых баллов от истинной компоненты измерения).
Хотелось бы думать, что после изложения материала раздела преподаватели, использующие в своей работе готовые тесты, будут с большим пониманием относиться к стремлениям разработчиков снизить ошибку измерения с помощью повышения надежности теста. Эти стремления не являются лишь изобретениями теоретиков, а вытекают логически из предположений о погрешностях измерения. Для завершения вопроса о погрешностях необходимо перейти к следующей теме, более простой, но, несмотря на это, очень полезной в сфере интерпретации результатов тестовых измерений.
Предсказание истинных баллов на основе регрессионной модели
Методы регрессионного анализа позволяют прогнозировать оценки истинных баллов испытуемых по распределению наблюдаемых баллов и коэффициенту надежности теста. Прогноз получается путем подставки в рефессионное уравнение, полученное Дж. Стенли [9],
T1 = X+ Vn(X1-X)9
где T1 — истинный балл; X1 — индивидуальный балл 1-го испытуемого; X — среднее значение баллов испытуемых.
Например, в матрице данных из табл. 5.27 X3= 1, X = 5 , ги = 0,78.
Тогда T3 = 5 + 0,78(1 — 5) = 1,88 ~ 1,9, что несколько завышает исходный наблюдаемый балл X3 = 1.
Если в качестве примера выбрать не минимальный наблюдаемый балл 1, а максимальный у 4-го испытуемого, то после коррекции результат T4будет несколько занижен: T4 = 5 + 0,78(9 — 5) ~ ~ 8,12 вместо прежних 9.
Завышение или занижение наблюдаемых баллов при подсчете
T1 вызвано изменением знака разности X1-X в выражении (5.80). Для всех наблюдаемых баллов выше среднего разность будет полу-
340
GUNPOWDER
маться положительной, а для значений X1 < X разность X1-X принимает отрицательные значения. Уравнение линейной регрессии (5.80) учитывает эти тенденции, в результате чего наблюдается отмеченный выше эффект.
источники неудовлетворительной надежности теста
Вопрос о причинах неудовлетворительной надежности имеет несомненное практическое значение, так как предварительное исследование источников ненадежности позволяет по возможности устранить их влияние при конструировании теста. К числу таких источников обычно относят:
1. Субъективизм при оценке результатов выполнения заданий теста. Субъективизм оценок является непременным атрибутом оценок при включении в тест заданий со свободно конструируемыми ответами. При анализе результатов их выполнения всегда наблюдаются различия между подходами различных экспертов и между ответами одного и того же испытуемого при повторном выполнении им теста. Очевидным следствием этих различий является снижение надежности теста. Наиболее эффективный метод преодоления отмеченного недостатка — использование закрытых заданий, которые благодаря возможности объективной оценки результатов выполнения при прочих равных ведут к повышению надежности теста.
2. Угадывание. Проблема угадывания подробно обсуждалась в гл. 4 пособия, однако в несколько ином контексте использования формулы для коррекции результатов выполнения закрытых заданий теста. Однако, как показывают специальные исследования, угадывание существенно снижает надежность теста, особенно в тех случаях, когда тестируется группа слабых учеников, которые обычно прибегают к догадке при выполнении наиболее трудных заданий теста.
