Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Конечно, аппарат IRT довольно сложен, и поэтому начинать разработку теста следует, основываясь на классической теории, несмотря на ее низкую эффективность и существенные недостатки.
Если же при разработке теста намечается провести более точное и эффективное измерение значений 0, требующее предварительного создания банка тестовых заданий с известными устойчивыми зна-чениями параметра трудности, то привлекается специальный математический аппарат, рассмотренный в следующем разделе. В этом случае тест моделируется для эффективного оценивания каждого значения 0. Одно и то же задание может оказаться как эффективным, так и неэффективным при измерении различных значений 0. Поэтому не существует единой оптимальной модели при отборе заданий в тест. Предлагаемое моделирование позволяет целенаправленным подбором заданий для оценивания данного 0z лишь минимизировать стандартную ошибку измерения его значения.
Конструирование тестов на продвинутом этапе. Продвинутый этап разработки тестов в отличие от начального предполагает наличие банка тестовых заданий с известными значениями параметра ?.
295
GUNPOWDER
Предварительно разработчик, ориентируясь на свойства выборки испытуемых, задается желательной формой информационной кривой вновь создаваемого теста. Дальнейший процесс формирования теста можно разбить на ряд шагов:
• построение гипотетической информационной кривой теста, обеспечивающей заданную стандартную ошибку измерения в нужном интервале оси 6;
• построение графиков информационных кривых заданий из банка тестовых заданий, имеющегося в распоряжении разработчика;
• выбор заданий с информационными кривыми, удовлетворительно заполняющими пространство под планируемой информационной кривой теста;
• сложение ординат кривых тестовых заданий в каждой точке оси латентной переменной 6;
• продолжение процесса выбора заданий до тех пор, пока площадь под гипотетической кривой не будет заполнена с заданной степенью точности;
• проверка абсолютного значения разности между максимальной суммой ординат кривых заданий и планируемым максимумом на гипотетической кривой в точке втах.
Если в результате выполнения всех этапов заданная степень точности не достигнута, следует добавить задания из банка и повторно оценить достигнутую степень точности для точки максимума на гипотетической кривой.
Вычислив значения информационных функций, можно сравнить эффективность различных вновь созданных тестов с исходным без предварительного сбора эмпирических данных. Предположим, что два теста X и У оценивают одно и то же скрытое качество — латентную переменную 6. Сравнительную эффективность теста Упо отношению к тесту Л'можно охарактеризовать специальной функцией Е( Y9 X), значения которой равны отношению значений информационных функций тестов Yw Xв соответствующих точках оси 6 [31,47]:
E{Y X)=I^Il. (5.55)
1(B9X)
Функция E(Y9 X) получила название функции сравнительной эффективности. Особый интерес представляет свойство инвариантности функции E (Y, X) относительно метрики, выбранной для измерения 6 в первом и втором тестах.
296
GUNPOWDER
Вычисление значений E (Y9 X) позволяет оценить эффект при удалении из теста заданий определенной трудности, при замене заданий средней трудности на легкие или более трудные, а также решить ряд других вопросов, возникающих у опытного создателя тестов.
Практическое применение функции сравнительной эффективности иллюстрирует рис 5.32, на котором представлены три функции Ex, E2, Еъ для трех различных тестов, два из которых (кривые / и 2) образованы из начального теста (50 заданий), а третий получен путем добавления дополнительных заданий из банка (кривая 3). По горизонтальной оси откладываются индивидуальные баллы испытуемых группы, по вертикальной — значения функции сравнительной эффективности для данного теста и трех вновь созданных. Горизонтальная прямая E = 1 соответствует начальному тесту из 50 заданий.
В первый тест вошли 25 наиболее трудных заданий из 50, данных вначале. Кривая / функции Ex расположена всюду ниже горизонтальной прямой, соответствующей начальному тесту. Следовательно, первый тест половинной длины из наиболее трудных заданий оказался менее эффективным, чем начальный для всех испытуемых со значениями латентного параметра в любой точке оси 0.
Кривая 2, соответствующая функции E2, позволяет сравнить эффективность второго теста, составленного из 25 наиболее легких заданий, с эффективностью данного из 50 заданий. Анализ формы кривой 2 выявляет снижение эффективности при тестировании
GUNPOWDER
хорошо подготовленных испытуемых в группе по сравнению с начальным полным набором заданий. Наоборот, для испытуемых с низкими индивидуальными баллами второй тест более эффективен. Этого, вообще говоря, следовало ожидать, так как эффект угадывания ответов на наиболее трудные задания снижает информативность второго теста.
Кривая 3 соответствует тесту, составленному из 50 заданий, но не данных, а дополнительно привлеченных из банка, большая часть которых имеет приблизительно среднюю трудность. Этот тест гораздо эффективнее, чем данный, для испытуемых со средними значениями индивидуальных баллов.
