Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
По мнению Б.Д. Райт (B.D. Wright), взаимодействие множеств является наиболее существенным фактором, лежащим в основе правильного понимания идеи тестовых измерений. В результате взаимодействия появляются те наблюдаемые единицы и нули, по которым оцениваются параметры испытуемых и заданий теста. Идея взаимодействия удачно иллюстрируется с помощью рис. 2.8.
По горизонтальной оси откладываются устойчивые оценки параметра трудности заданий теста, по вертикальной — истинные баллы тестируемых учеников. Взаимодействие между /-м испытуе-
Ось оценок параметра трудности задания
О;
I !аблюдаемые ответы
Ось истинных
оаллов исі (ытуемых
Рис. 2.8. Взаимодействие множества испытуемых и множества заданий
теста
76
GUNPOWDER
мым с баллом 0#. иу-м заданием с трудностью ?y порождает наблюдаемый ответу который при дихотомической оценке принимает одно из двух значений:
1, если ответ /-го ученика нау'-е задание правильный О, если ответ /-го ученика нау-е задание неправильный
Матрица тестовых результатов
Удобной формой представления наблюдаемых результатов выполнения теста служит матрица, т.е. прямоугольная таблица, сводящая воедино профили ответов учеников и профили заданий теста (рис. 2.9).
Испытуемые Задания 1 ...у... п Индивидуальный балл (X1)
1 • • • / * • • fl V 7=1
Количество правильных ответов на задание (Rj) TV N п 1=1 j=i
Рис. 2.9. Матрица наблюдаемых результатов выполнения теста
В матрице представлены ответы TVучеников на п заданий теста. Справа от матрицы, в вертикальном столбце, содержатся индивидуальные баллы учеников X1 (і = 1, 2, /V), которые получаются суммированием единичек по горизонтали в каждом профиле ответов Nиспытуемых группы. Сложение единичек в столбцах по профилям ответов на п заданий теста позволяет получить числа Rj (J-h 2,я), соответствующие количеству правильных ответов на каждое задание теста.
С помощью матрицы можно выполнить ряд расчетов (см. гл. 5), интерпретация результатов которых позволяет сделать важные выводы относительно тестовых баллов учеников и качества заданий теста. Характер выводов зависит от того, насколько продвинулся педагог в своей работе над тестом. Если тест далек по своим пока-
77
GUNPO
зателям от требований критериев качества, то истинные баллы учеников получить нельзя. В этом случае использование теста носит исключительно исследовательский характер и все выводы направлены на повышение качества отдельных заданий и всего теста. Если же работа над тестом в основном завершена, то все усилия педагога направлены на получение истинных баллов учеников по наблюдаемым результатам выполнения теста, а оценки характеристик теста предназначены для подтверждения его качества и перепроверки отдельных оценок параметров заданий.
Этапы валидизаііии теста
В работе по созданию теста можно выделить четыре основополагающих этапа, нацеленных на повышение его валидности.
Первый этап носит в основном теоретический характер, так как он целиком связан с выделением на концептуальном уровне переменной измерения.
Второй этап прагматического характера посвящен работе по созданию заданий, содержание которых должно обеспечить оценку испытуемых по выделенной переменной измерения.
Третий этап предназначен для проверки заданий на репрезентативной выборке учеников с целью удаления невалидных заданий из теста. Выполнение этапа позволяет сделать первые шаги по улучшению качества содержания теста, а также получить первые выводы о примерном содержании теста и о его ожидаемых качественных характеристиках.
Четвертый этап непосредственно предваряет момент использования, он посвящен работе с выборкой учеников и заключается в удалении несостоятельных профилей испытуемых из матрицы наблюдаемых результатов выполнения теста.
В заключение хотелось бы подчеркнуть тот факт, что в содержании раздела полностью отсутствует какой-либо математический аппарат. Выполнение рекомендованных процедур вполне по силам педагогам либо группам педагогов, занимающимся созданием тестов. Оно не отнимет много времени и сил, зато позволит существенно продвинуться вперед по пути создания качественного теста.
78
GUNPOWDER
2.4. Основные этапы конструирования педагогического теста
Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.
1. Определение цели тестирования, выбор вида теста и подхода к его созданию.
2. Анализ содержания учебной дисциплины.
3. Определение структуры теста и стратегии расположения заданий.
4. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.
5. Создание предтестовых заданий.
6. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
7. Экспертиза содержания предтестовых заданий и теста.
8. Экспертиза формы предтестовых заданий.
9. Переработка содержания и формы заданий по результатам экспертизы.
10. Разработка методики апробационного тестирования.
11. Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.
