Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
(2 + 3+1+...)
му — 1 и т. д., то эта оценка будет--* Суммарная оценка
приводится в конце столбца на месте пятой графы.
Для заполнения шестой графы эксперту необходимо представить гипотетический случай, когда задания с выбором ответа выполняла представительная (репрезентативная) выборка удовлетворительно подготовленных учеников. Требование репрезентативности вполне оправдано с точки зрения теории, поскольку чем представительнее выборка, тем достовернее оценка эксперта.
Однако на практике дело обстоит несколько иначе. Эксперту довольно трудно предположить, сколько учащихся, например, из 100 или 200 «троечников» в состоянии выполнить каждое задание теста. В этой связи в основу получения оценок по шестой графе лучше положить сравнительно небольшую выборку. К примеру, можно мысленно представить группу «троечников» всего из 10 человек и затем посчитать гипотетический процент учащихся, правильно выполнивших каждое задание теста.
В седьмой графе эксперт также приводит предполагаемый процент испытуемых, правильно выполнивших каждое задание теста, однако ориентируется в своих гипотетических оценках не на группу «троечников», а на выборку, где равномерно представлены все категории отметок от двух до пяти.
Следующая графа содержит ожидаемое время выполнения учеником каждого задания теста. При выборе времени эксперту следует ориентироваться на ученика со средней подготовкой. Первоначальное представление о времени выполнения заданий эксперт может составить в процессе своей работы над тестом. Поэтому,
102
GUNPOWDER
приступая к выполнению заданий, эксперту нужно заготовить все необходимое: часы, бланк с номерами заданий — и строго фиксировать начало и конец работы над каждым заданием теста.
Полученное время необходимо скорректировать с учетом того, что задание выполнял преподаватель, а не ученик. Для коррекции зафиксированное время выполнения каждого задания обычно увеличивают в 4-5 раз. Полученный результат (в минутах) следует записать в графу для ожидаемого времени выполнения учеником каждого задания теста.
В девятой графе таблицы эксперт проставляет звездочки на местах, соответствующих номерам неудачных заданий теста. К неудачным в первую очередь следует отнести закрытые задания, где помимо правильного возникают частично правильные ответы. Здесь же очень важно отметить неудачные открытые задания с кратким ответом, в которых возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа можно привести синонимы, различные числа либо более или менее правильные ответы.
Все пояснения по выявленным неудачным заданиям эксперт должен привести в последней графе, которая оставлена для дополнительных замечаний по качеству содержания заданий теста. Если эксперт считает нужным дать развернутые рекомендации по улучшению содержания заданий, то их следует привести на отдельных листах как приложение к последней графе таблицы.
Крайне важно в этой графе отметить случаи отсутствия четкого логического выделения одного предмета измерения в каждом задании теста. Для достижения логической четкости в каждом задании лучше спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько знаний и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста. Другая причина некорректности может быть связана с двусмысленностью формулировок, порождающей несколько правильных ответов в тех случаях, когда планировался только один правильный ответ.
В этой же последней графе эксперт характеризует качество формулировок содержательной основы заданий теста. В случае необходимости здесь следует отметить лексическую избыточность формулировок либо, наоборот, их ясность и краткость, охарактеризовать качество представления графической информации, если она есть в заданиях теста. При оценке качества формулировок эксперту следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики
103
GUNPOWDER
предмета. И наконец, здесь же, в последней графе, отмечаются случаи появления неправильных заданий теста.
Второе направление работы эксперта
Второе направление работы эксперта связано с анализом качества содержания всего теста, имеющего несколько параллельных вариантов. Анализ качества выполнения для каждого варианта в отдельности, а затем вся информация объединяется по группе вариантов в тех таблицах, которые предлагаются в методике эксперту. При выполнении работ по второму направлению следует иметь в виду, что содержание, например, аттестационного теста определяется как оптимальное отображение требований к уровню подготовки выпускников в системе заданий теста. Требование оптимальности выделяет определенные критерии качества отображения.
Первый критерий — полнота охвата требований к уровню подготовки выпускников каждым вариантом теста и всеми вариантами вместе. Необходимость оценки полноты связанастем, что обычно не все требования удается отобразить в тесте. Чем полнее отображение, тем выше содержательная валидноеть теста, тем больше уверенность в обоснованности оценок, полученных учащимися поданному тесту.
