Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
При моделировании теста обычно задаются гипотетической желаемой областью, обеспечивающей высокую информативность оценок 0 на том участке, где расположена тестируемая выборка учеников, как, например, на рис. 5.33. Затем начинают подбирать задания из банка, используя функцию из формулы (5.55) для оценки сравнительной эффективности моделируемого теста.
Таким образом, рассмотренная функция сравнительной эффективности позволяет моделировать тест без сбора дополнительной эмпирической информации. Предоставленный аппарат для конструирования эффективных тестов призван помочь преподавателям в их практической работе и научиться оценивать эффективно знания учеников любой выборки.
Планируемая область
-4-3-2-10 1 2 3 4 Рис. 5.33. Информационные кривые моделируемых тестов
298
GUNPOWDER
5.4. Характеристики тестовых заданий
После обработки тестовых данных и интерпретации результатов обработки предтестовые задания обретают статус тестовых. Правда, в категорию тестовых попадают не все, а только те, которые обладают хорошими статистическими характеристиками. Процедура выявления характеристик получила название анализа заданий (Item Analysis) [59]. В общем случае она включает оценку трудности задания, его корреляции с другими заданиями и общим показателем по тесту, факторный анализ, шкалирование заданий с помощью аппарата IRT и определение некоторых других характеристик.
Первая, наиболее важная характеристика — это трудность заданий теста.
Трудность тестовых заданий. Оценка трудности тестовых заданий проводится по-разному в зависимости от выбранной теории методов обработки эмпирических результатов выполнения теста. В классической теории оценка трудности у-го задания получается по формуле
где р. — доля правильных ответов нау-е задание; Rj — количество учеников, выполнивших у-е задание верно; N — число учеников в тестируемой группе;у — номер задания теста.
В тесте из п заданий у принимает значения у = 1, 2,п. Трудность задания нередко выражают в процентах, тогда формула для оценки трудности имеет вид
где Р. — трудность в процентах.
Без сомнения, долю правильных ответов на задание /^естественно интерпретировать как легкость задания. В то время как трудность скорее ассоциируется с долей неправильных ответов q.9 которая находится путем вычитания р. из единицы:
(5.56)
^ 100% ,
(5.57)
(5.58)
299
GUNPOWDER
Однако по сложившейся традиции в рамках классической теории тестов за трудность задания принимается именно доля Pj.
Для примера матрицы из табл. 5.3 доля правильных ответов на первое задание
а 4=0,9,
а доля неправильных ответов ?!=1-0,9 = 0,1 и т. д.
После перевода доли рх в проценты 0,9 • 100% = 90% первое задание следует отнести к категории крайне легких: его выполнили примерно 90% тестируемой выборки учеников.
В рамках IRT трудность задания ?y. выражают в виде натурального логарифма дроби
?, = In^5 J= 1,2, ...,/7 (5.59)
Pj
(подробнее см. в разд. 5.3).
Представление о трудности заданий теста легко получить путем анализа гистограммы, такой, как, например, на рис. 5.34.
В рассматриваемом примере (не относящемся к матрице из табл. 5.3) гистограммы явно просматриваются недостатки в подборе
Порядковые номера за Да ний
Рис. 5.34. Гистограмма трудности заданий теста
300
GUNPOWDER
по трудности заданий теста. Первый недостаток связан с тем, что задания не ранжированы по нарастанию трудности так, как обычно рекомендуется располагать задания в итоговых тестах. Тест начинается с трудного первого задания, которое смогли выполнить всего 10% учеников. Затем идет второе, тоже довольно трудное задание (р2 = 20%). Третье задание — слишком легкое: с ним справились все без исключения, и четвертое — тоже довольно легкое: его выполнили верно 90% учеников и т.д. Второй недостаток—отсутствие заданий средней трудности с р=0,5. Конечно, при отборе предтестовых заданий в процессе формирования теста разработчик вовсе не планировал такую гистограмму, как на рис. 5.34. Он думал, что располагает задания по нарастанию трудности, которая для большинства заданий, по его мнению, была близка к 50%. Тем не менее наделе, как этого и следовало ожидать, предполагаемые начальные оценки трудности заданий, основанные на субъективных суждениях автора теста, оказал ись далеки от статистических, полученных на выборке учеников.
Конечно, рассматриваемый пример носит чисто гипотетический характер, однако все положения, развиваемые на нем, применимы к реальной ситуации разработки теста. Такая ситуация, как на рис. 5.34, в практике создания тестов наблюдается довольно редко. Обычно после первой эмпирической проверки автор получает распределение заданий по трудности, подобное приведенному на рис. 5.35, где встречаются задания самой разной трудности, в том числе и с р = 0,5.
Хорошо сбалансированный по трудности тест показан на рис. 5.36.
5 10 15
Порядковые номера заданий
Рис. 5.35. Типичная гистограмма трудности заданий теста в начале работы
301
GUNPOWDER
100-
90-
0
5
10 15
20
Порядковые номера заданий
Рис. 5.36. Гистограмма хорошо сбалансированного по трудности теста
