Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Еще более точные представления одискриминативности заданий дает подсчет в рамках IRT дифференцирующей способности заданий теста (разд. 5.3.). Оценка параметра дифференцирующей способности у-го задания теста производится по формуле, которая для удобства читателей приводится еще раз:
где (rbis). — коэффициент бисериальной корреляции для у-го задания теста.
В отличие от rpbis бисериальный коэффициент корреляции rbis может принимать значения, выходящие за пределы интервала [—1, 1 ]. Обычно это происходит в том случае, когда распределение результатов по заданию отличается от нормального, и потому rbis может быть найден не всегда и не для всех заданий теста.
В тех случаях, когда |rbis|< 1, а принимает значения в интервале (—оо; +оо). Однако этот интервал имеет чисто теоретическое значение, реальные значения а. обычно лежат в интервале от 0,5 до 2,5.
Правда, задания с а< 1 считаются неудачными, поскольку их дифференцирующая способность при делении группы на слабых и
(5.64)
311
GUNPOWDER
сильных крайне слаба. Обычно при конструировании теста отдают предпочтение заданиям со значениями в интервале 1 < я.< 2,5.
Задания с я>2,5 обладают крайне высокой дифференцирующей способностью, однако захватывают весьма небольшой участок оси латентной переменной 0 (разд. 5.3), поэтому их обычно используют только в тех случаях, когда необходимо достичь максимальной дискриминативности (например вблизи критерия выполнения теста) для небольшой окрестности вблизи критического значения 0 на оси измеряемой переменной. Во всех остальных случаях используют умеренно крутые задания со значениями а. немногим больше единицы.
Не следует считать, что предложенные оценки дискриминативности заданий (гдис)у, (rpbis)y, (rbis). и яу каким-то образом конкурируют друг с другом в процессе анализа качества заданий теста. Все они описывают одну и ту же характеристику задания, но на различных уровнях с точки зрения точности описания и задействованного математического аппарата. Конечно, самым простым, но самым примитивным способом характеризует дискриминативность задания гдис, который легко вычислить для группы тестируемых в 100—200 человек с помощью обычного калькулятора.
Более точную характеристику дискриминативности задания обеспечивает г bis, для вычисления которого на сравнительно больших выборках необходимы специальное программное обеспечение и компьютер. Еще лучше в процессе анализа использовать rbis. Однако здесь разработчику понадобятся статистические таблицы для ординаты нормированной нормальной кривой либо довольно сложное программное обеспечение, реализующее методы подсчета одного из пределов несобственного интеграла.
Несомненно, оптимальной характеристикой с точки зрения качества описания является дифференцирующая способность задания — параметра а.9 оценка которого сопряжена с использованием сложного математического аппарата, программного обеспечения и ПЭВМ. Процедура вычисления значений a. (J=I, 2, п) довольно длинна, поэтому на практике разработчики нередко ограничиваются подсчетом гдис. Показатель дискриминативности обычно отождествляют с характеристикой валидности задания теста, т.е. с его пригодностью задания служить поставленной цели измерения. Для нормативно-ориентированных итоговых тестов такая трактовка представляется вполне закономерной, так как основная цель их создания — дифференциация учеников по уровню подготовки. Таким образом, чем выше дискриминативность задания, тем выше его валидность в тесте.
312
GUNPOWDER
Интересна взаимосвязь показателей трудности и дискриминативности заданий теста. Задания с высокой дискриминативностью обычно имеют среднюю трудность, поскольку именно для них характерен в первую очередь высокий дифференцирующий эффект. Однако обратное заключение, вообще говоря, неверно. Задания ср= 0,5 могут иметь как высокий, так и низкий дифференцирующий эффект.
Гомогенность (олноролность)
При конструировании теста необходимо иметь четкое представление о содержании заданий, которые предполагается включить в окончательную версию теста. Содержание заданий должно отвечать свойству гомогенности, указывающему на степень его однородности с точки зрения оцениваемого качества ученика. Таким образом, гомогенность (однородность) — это характеристика задания, отражающая степень соответствия его содержания измеряемому свойству ученика. В педагогических итоговых тестах роль оцениваемого свойства отводится уровню подготовки по предмету.
Конечно, на свете нет таких разработчиков, которым удалось бы создать полностью гомогенные тесты, в равной степени как и нет таких тестов. И это вполне понятно, так как при выполнении теста по любой дисциплине всегда приходится задействовать более или менее широкий круг знаний и умений по другим предметам. Например, при выполнении теста по физике необходимо проявить знания и умения по математике, в тесте по биологии — знания и умения по химии, в тесте по истории — знания по культурологии и т.д. Поэтому говорить о полностью гомогенном содержании заданий не представляется возможным.
Степень гомогенности содержания обычно оценивают с помощью факторного анализа. Для вывода о приемлемой степени гомогенности достаточно лишь того, чтобы доминирующий фактор, в основном определяющий результаты выполнения задания, был ориентирован на проверяемый предмет.
