Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Выводы
1. Анализ процесса развития идей педагогического сотрудничества показывает, что в нем имеют место не только достижения, но и неудачи.
2. Одна из причин неудач заключается в отсутствии операционального характера методологических и методических психолого-педагогических исследований по проблемам сотрудничества педагога и учеников.
3. Операционализация предполагает доведение результатов исследований до уровня, на котором понятие «педагогическое сотрудничество» выражается правилами измерения и перечислением измеряемых элементов.
4. Возможность операционализации основывается на соединении психолого-педагогического наследия Л.С. Выготского с тестовыми методами контроля познавательной деятельности обучаемых и математическими моделями IRT.
5. На основе моделей IRT разработана методика оперативного отбора заданий определенной трудности, соответствующей различным зонам развития обучаемых.
6. Для эффективного применения методики в учебном процессе необходимо соответствующее программное обеспечение и банк тестовых заданий с устойчивыми оценками параметра трудности, полученных методами IRT.
383
GUNPOWDER
71 МЕТОДЫ ШКАЛИРОВАНИЯ И ИНТЕРПРЕТАЦИИ I РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
7.1. Стандартизация и нормы
Эффективность тестовых оценок зависит не только от качества теста, но и от методов сравнения и интерпретации первичных (сырых) баллов испытуемых группы. Необходимость разработки методов интерпретации вызвана стремлением исследователей выявить истинные различия в уровне знаний испытуемых, сравнить результаты между собой даже в том случае, когда они получены по совершенно различным тестам. Само по себе это стремление продиктовано достаточно серьезной причиной, связанной с тем, что сырые баллы не дают информации о реальном уровне знаний. Один и тот же испытуемый может выглядеть по-разному на фоне более сильной или более слабой группы.
К примеру сказать, что кто-то выполнил правильно 15 заданий из 30 в тесте по физике — значит ничего или почти ничего не сообщить о результате выполнения теста. Поскольку это, может быть, хорошо, а может быть, и плохо. Если задания очень трудны и большинство учеников выполнило из них не более 10 в тесте, то результат 15 баллов, выставленный за 15 правильных ответов ученика, один из самых высоких. И поэтому, несомненно, ученик заслуживает отличной оценки. Совсем иначе интерпретируется этот же результат в том случае, когда большинство учеников выполнили не менее 25 заданий в тесте. Тогда 15 баллов — один из самых низких результатов, и поэтому испытуемому можно в лучшем случае выставить удовлетворительную оценку. Таким образом, интерпретация результата, его отнесение к категории плохих или хороших зависят от ряда факторов. Прежде всего от того, как распределились результаты остальных испытуемых, от трудности и от количества заданий в тесте.
Адекватность интерпретации достигается путем сопоставления первичного индивидуального результата с определенными нормами выполнения теста. Нормы — это множество показателей, которые устанавливаются эмпирически, сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых. Разработка и процедуры получения этих показателей составляют процесс стандартизации теста. Наиболее распростра-
384
GUNPO
ненными нормами являются среднее арифметическое и стандартное отклонение по множеству индивидуальных баллов выборки стандартизации (см. гл. 5). Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста. При такого рода сопоставлении можно установить, соответствует ли данный результат среднему или насколько он выше, а может быть, ниже среднего результата выполнения теста.
К нормам предъявляют ряд требований [5]. Она должна быть:
• дифференцированной — ученики, работающие по разным программам, должны сравниваться исходя из разных норм. Например, нельзя установить одинаковые нормы выполнения теста по математике для учеников обычной школы и школы с углубленным изучением математики, поскольку норма должна отражать специфику программы подготовки учеников;
• соответственной, т.е. отражающей реальный контингент и реальные требования, вытекающие из современной ситуации в образовании;
• репрезентативной — предполагающей организацию репрезентативной случайной выборки, обеспечивающей несмещенные нормативные оценки.
Норма — весьма относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Поэтому при стандартизации теста особое внимание обращают на формирование выборки. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой погрешности измерений, чтобы ею можно было пренебречь в процессе стандартизации теста.
В практической работе по созданию теста часто бывает необходимо чем-то поступиться: уменьшить объем выборки либо снизить ее репрезентативность. При этом следует иметь в виду, что репрезентативность выборки более важна, чем ее размер. Для простого уменьшения стандартной ошибки вполне допустимо ограничиться выборкой из 200—300 испытуемых, сохраняя ее репрезентативность, поскольку маленькая, но репрезентативная нормативная выборка будет предпочтительнее, чем большая, но неравномерно представленная.
