Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Факторы, влияюшие на надежность гомогенного теста
Основываясь на постулатах классической теории тестов, можно показать, что корреляция rJT каждого задания j с истинным показателем /"равна квадратному корню из среднего значения его корреляций с другими заданиями теста [11]:
От= fi, (5.72)
где Fj — среднее значение по всем корреляциям у-го задания с остальными заданиями теста.
Далее следует вспомнить, что, чем выше корреляция между множествами наблюдаемых X и истинных T баллов, тем меньше ошибка измерения, тем надежнее тест. Поэтому естественно принять предположение об увеличении надежности по мере роста rJT для каждого задания теста.
324
GUNPOWDER
С точки зрения разработчика теста, формула (5.72) имеет крайне важное значение, поскольку из нее следует интересный вывод, необходимый для конструирования надежного гомогенного теста. Если автор сумеет разработать много заданий и выбрать из них те, которые имеют большое значение среднего арифметического корреляций с другими заданиями теста, то согласно формуле (5.72) тест будет в высокой степени надежным и обеспечит низкую погрешность измерения.
Однако это простое, казалось бы, правило конструирования автору довольно трудно выполнить при создании итогового теста. Если при выборе заданий из совокупности руководствоваться исключительно формулой (5.72), то, с одной стороны, повысится однородность (гомогенность) теста и соответственно надежность осуществляемых с его помощью измерений. С другой стороны, отбор заданий с высокой интеркорреляцией неизбежно негативно скажется на качестве содержания итогового теста. В тест попадут близкие по содержанию задания, нацеленные на одни и те же содержательные элементы, что явно противоречит идее итоговой проверки.
Правда, из этого положения есть выход, который предлагают теоретики. В очень длинных тестах (100 заданий или более) малые значения интеркорреляции заданий могут сочетаться с высокой надежностью теста. Поэтому итоговые тесты часто стараются увеличить по длине и довести ее до 100—150 заданий [11].
Таким образом, первым фактором, влияющим на надежность, является внутренняя согласованность теста, обеспечиваемая высокой однородностью содержания заданий при их отборе в тесте. Точность тестовых оценок возрастает по мере повышения однородности (гомогенности) теста, когда содержание всех заданий нацелено на измерение единственной характеристики ученика, например уровня его подготовки по предмету. Поэтому нередко концепцию надежности увязывают с характеристикой внутренней согласованности теста. В целом при создании гомогенного теста к однородности содержания следует стремиться, но в тех пределах, которые не нарушают правильность пропорций содержательных элементов в итоговом тесте.
Анализ возможных значений интеркорреляции между заданиями можно продолжить, чтобы получить представление о втором факторе, влияющем на надежность теста. Так как корреляции между заданиями отличаются, то они образуют некоторое распределение вокруг их среднего значения для каждого задания теста. Исходя из этого предположения, можно оценить стандартную погрешность из-
325
GUNPOWDER
мерения среднего значения интеркорреляции Se(rj) для каждого задания теста:
где S-. — стандартное отклонение по распределению значений
коэффициента корреляции у-го задания со всеми другими заданиями теста; п — число заданий в тесте.
Формула (5.73) указывает на прямую пропорциональную зависимость от стандартного отклонения корреляций заданий и обратную зависимость от количества возможных корреляций между п заданиями теста. Вычитание единицы в знаменателе дает соответствующие степени свободы.
Анализ формулы (5.73) позволяет получить два важных следствия: первое — по мере возрастания стандартной погрешности увеличивается различие между интеркорреляциями заданий, второе — стандартная погрешность убывает с ростом числа заданий в тесте. Таким образом, формула (5.73) показывает, что надежность повышается с увеличением не только однородности содержания заданий, но и длины теста. Следовательно, длина теста — это второй фактор, влияющий на надежность теста.
Если применить формулу (5.73) для случая, когда Sr. = 0,15 , к
тесту, состоящему из 10, 20 и 30 заданий, то получатся следующие стандартные погрешности [И]: 0,02; 0,01; 0,007 соответственно.
Приведенные результаты указывают на высокую точность оценки надежности теста для случая, когда дисперсия по множеству значений коэффициента интеркорреляции заданий невелика, что характерно для гомогенного теста достаточно большой длины (не менее 30 заданий).
Вообще говоря, вывод о необходимости разработки длинных тестов вполне понятен интуитивно, без всякого анализа формулы, так как естественно увязать этот вывод с определением истинного балла тестируемых учеников. В той гипотетической ситуации, когда число заданий в совокупности стремится к бесконечности, наблюдаемый балл приближается к истинному баллу при уменьшении ошибки
измерения, следовательно, по мере роста числа задании увеличивается надежность теста.
(к = 1, 2,
(5.73)
