Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
(гн )lCR-20 =
Результат подсчета коэффициента надежности по формуле (5.76) довольно близок к двум другим полученным ранее (0,76 и 0,78).
Из обсуждения должно быть понятно, что не может быть какого-либо единственного показателя, доказывающего по оценке своих значений приемлемую надежность теста. Для полной ее проверки следует учитывать несколько показателей надежности, подсчитанных по разным формулам, лишь небольшая часть которых приведена в данном тексте.
В качестве нижнего предела допустимых значений надежности обычно выбирают 0,7. При более низком значении использование теста вряд ли целесообразно в силу большой погрешности измерения. Если тест разрабатывают профессионалы, то к нему предъявляют более жесткие требования. Как правило, тесты с надежностью менее 0,8 считаются непригодными в профессионально организованных службах тестирования и центрах. Значения коэффициента надежности, превышающие 0,9, говорят о высоком качестве теста. Они крайне желательны, но редко встречаются. Как правило, в тестологичес-кои практике надежность тестов колеблется в интервале (0,8; 0,9).
Положение с выводами о качестве теста осложняется тем, что нет и не может быть раз и навсегда определенной надежности теста. Ситуация вполне объяснимая, поскольку коэффициент надежности, подсчитываемый по матрице тестовых результатов, всегда зависит от свойств выборки испытуемых. Поэтому при каждом очередном использовании теста приходится оценивать его надежность, а уж потом говорить о достоверной интерпретации результатов выполнения теста.
В целом надежность зависит от ряда характеристик теста, рассмотрение которых может способствовать повышению качества теста в процессе его создания.
Надежность и длина теста
При конструировании теста полезно уметь определить необходимую его длину, чтобы достичь планируемой надежности теста. С этой целью используется обобщенный вариант формулы Спирме-на—Брауна
6,89
-0,79.
336
GUNPOWDER
—к— (5 77)
н 1+(*-1У„
где к — число раз, в которое увеличивается /шина теста; г — коэффициент надежности теста до увеличения его/шины; (гн)' — коэффициент надежности после увеличения длины теста [12].
Конечно, увеличение длины в обсуждаемой постановке проблемы предполагается вести путем добавления заданий, содержание которых основано на той же спецификации, что и исходные задания теста. Таким образом, увеличение длины предполагает не изменение содержательной области, подвергающейся проверке, а детализацию проверки каждого содержательного элемента в тесте. Помимо этого, добавляемые задания должны иметь статистические характеристики, близкие к характеристикам исходных заданий теста. Нарушение одного из этих условий приводит, как правило, к неоправданному завышению оценок надежности теста.
Использование формулы (5.27) легко пояснить с помощью чис-ленныхданных. Например, если надежность теста была ^„=0,7 и длину теста увеличили в 3 раза, то надежность нового теста возрастет до
30 7
, -?_iv-= 088
н 1 + (3-1)0,7
что в отличие гн = 0,7 является вполне приемлемой для профессионального уровня создания теста.
Возможно другое применение формулы (5.77), когда достигнутая надежность, скажем ги=0,7, кажется разработчику явно недостаточной и он хочет узнать, во сколько раз следует увеличить длину для запланированного повышения качества теста. Если достигнутую надежность обозначить символом г а планируемую, т.е. желатель-ную — символом А*план, то
^планО ^дост) 'дост0 "'план)
(5.78)
Для рассматриваемого выше примера, где гдост= 0,7, а /*план=0,88,
^0,88(1-0,70) 0,70(1-0,88)
337
GUNPOWDER
338
Естественно, что надежность теста не является самоцелью, поскольку неоправданное увеличение длины теста, как уже было отмечено ранее, приведет к усталости и снижению мотивации у уче-ников, что в конечном счете отразится негативно на той же надежности теста. Поэтому при конструировании теста следует искать разумный компромисс, когда надежность теста находится в допустимых пределах, а длина теста выбрана сообразно возрастным особенностям учеников и специфике проверки. К тому же включение большого числа заданий, сходных по содержанию, нецелесообразно при итоговой проверке учеников.
Надежность и стандартная ошибка измерения
Один из аспектов применения коэффициента надежности связан с определением стандартной ошибки измерения. Для установления связи между стандартной ошибкой измерения и надежностью теста необходимо преобразовать формулу (5.71):
S2
н с2 '
После преобразования формулы относительно SE получится выражение
Sl=S2x{\-rH) ,
или
$ E = $Х л/1_/н'
где Sx-стандартное отклонение по распределению индивидуальных баллов; гн — коэффициент надежности теста; SE~ стандартная ошибка измерения.
Обычно выражение (5.79) используется для вычисления SE по известным величинам гн и Sx. Что касается сущностного смысла, то iS? (standard error of measurement) трактуется как стандартное отклонение результатов испытуемого от его истинного балла, полученное при выполнении им большого числа параллельных форм теста.
Для лучшего уяснения смысла показателя SEможно представить другую гипотетическую ситуацию, когда /-й испытуемый выполнял много раз один и тот же тест. Если предположить, что эффект запоминания отсутствует, то результаты тестирования образуют нормаль-
