Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Нередко наблюдаемые существенные отклонения в оценках испытуемых указывают на необходимость удаления или переформулировки прошедших первый этап отбора заданий теста. Однако следует иметь в виду, что для выводов о наличии инвариантности или об отсутствие ее одной выборки испытуемых недостаточно. Работу по шкалированию можно считать завершенной, если эффект инвариантности обретает характер стабильности и наблюдается на различных выборках каждый раз.
В некоторых случаях эффект инвариантности может быть искажен угадыванием ответов, плохой формулировкой дистракторов либо отсутствием внутренней согласованности заданий теста. Проверка внутренней согласованности заданий осуществляется специальной процедурой, получившей название Within population itemfit, и проводится после оценивания латентных параметров [59]. По результатам проверки выбраковываются эмпирические данные тестирования, неудовлетворяющие требованиям моделей измерения. Оставшиеся задания дают основания для построения одномерной шкалы латентных параметров или в традиционной терминологии являются внутренне согласованными, однородными, удовлетворяющими задаче создания гомогенного теста. Таким образом, возможность получения независимых оценок латентных параметров
412
GUNPOWDER
устанавливается путем двухэтапного исследования и в случае необходимости достигается с помощью специальной процедуры подгонки эмпирических данных тестирования под требования модели. При этом часто как-то забывается, что этап работы над заданиями, их отбор, шкалирование и переформулировка являются первичными, поскольку качество заданий определяет качество оценок испытуемых, полученных с помощью теста. Если этот этап не пройден, то никогда не может быть достигнута инвариантность оценок испытуемых от трудности заданий теста, т. е. не будет реализовано важнейшее преимущество математических моделей теории латентно-структурного анализа.
Четвертым преимуществом рассматриваемых моделей является устойчивость оценок латентных параметров, основанная на их относительной независимости друг от друга. Хотя о полной независимости оценок говорить, конечно, нельзя, но все же оценки параметров в шкале логитов имеют тенденцию к стабилизации, что, несомненно, делает эту шкалу наиболее привлекательной на всем множестве шкал тестовых измерений.
Помимо достоинств, у шкалы логитов есть и определенный недостаток. Поскольку оценки параметров обычно лежат в интервале (—5; 5) и имеют несколько знаков после запятой, они малопригодны для сообщения испытуемым. Преподаватели-практики, как правило, категорически возражают против применения отрицательных дробных значений параметра для оценки уровня подготовки учеников. По этой причине возникает необходимость преобразования оценок в другую, более удобную для сообщения результатов шкалу.
Преобразование шкал логитов
В процессе преобразования можно выделить два момента. Первый — это умножение всех значений параметра на один и тот же шкалирующий множитель для перевода результатов в область целых чисел. Второй — перенос всех значений параметра на множество положительных чисел путем прибавления некоторой константы, позволяющей избавиться от всех отрицательных оценок параметра 6. Второе преобразование, связанное с выбором нового начала шкалы, выполнить довольно просто. Например, если оценки параметра Є расположены в интервале (—5,8; 5,2), то прибавление константы 10 позволит исключить из рассмотрения отрицательные числа. В результате оценки испытуемых будут располагаться в интервале (4,2; 15,2) и число 4,2 можно считать началом новой шкалы.
413
GUNPOWDER
Гораздо сложнее обстоит дело с первым преобразованием, поскольку неправильный выбор шкалирующего множителя и последующее округление результатов могут свести на нет все усилия по дифференциации испытуемых с помощью теста. Неудачный выбор размерности новой шкалы, связанный с введением шкалирующего множителя, неизбежно приведет к потере полезной информации о подготовке учеников. Например, интервал (4,2; 15,2) легко преобразовать в промежуток (42; 152), выбрав в качестве шкалирующего множителя число 10 и округлив все полученные результаты до целых. Однако такой выбор шкалирующего множителя вызовет потерю информации, если в группе были испытуемые, незначительно отличающиеся, но все же разные по подготовке CO1=4,25 и O2= 4,23. После перевода в новую шкалу и тот и другой испытуемый получат балл 42.
Именно поэтому в процессе преобразования шкалы логитов первостепенное значение придается правильному выбору шкалирующего множителя, и операция умножения всех значений является первым преобразованием. После выбора новой единицы и установления новой размерности осуществляется перенос всех шкалированных значений на множество положительных чисел.
В общем виде преобразование шкалы логитов можно записать
как
0, =сс + т9; ?2 = ct + Y?,
где в, и ?2 — оценки параметров испытуемых и заданий соответственно на множестве положительных целых чисел; вир — оценки параметров в интервале (—5; 5) шкалы логитов; а — константа переноса, определяющая начало новой шкалы; у — шкалирующий множитель, определяющий ее размерность.
