Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
При оценке по первому критерию эксперт должен подтвердить либо опровергнуть процент охвата программы (требований стандартов), заявленный автором в спецификации теста. В основе получения экспертной оценки лежат результаты, помещенные в третьей графе таблицы из приложения 3.2. С помощью этих результатов эксперт подсчитывает число требований, охваченных по одному варианту, а затем делит это число на общее количество требований и приводит полученный таким образом результат (в процентах) по каждому варианту теста.
Подсчет общего процента охвата требований к уровню подготовки выпускников всеми вариантами теста нельзя выполнить простым суммированием процентов, полученных по отдельным вариантам теста, так как отдельные требования могут быть представлены во многих, если не во всех вариантах теста. В этой связи для итогового вывода эксперту необходимо выбрать номер каждого требования из третьей графы только один раз по всем вариантам теста. Затем просуммировать полученную информацию, с тем чтобы получить общее число требований, охваченных всеми вариантами теста, и выразить это число в процентах. Полученный экспертом процент охвата сравнивается с приведенным в спецификации теста. Затем вычисляется мера отклонения в виде разности процентов.
104
GUNPOWDER
Второй критерий качества — правильность пропорций содержания теста. При выделении критериев простой оценки полноты охвата требований недостаточно. Необходима также уверенность в том, что задания теста охватывают все важные аспекты предметной области и в правильной пропорции. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому эти задания нередко преобладают в отдельных тестах. Для оценки правильности пропорций теста эксперт подсчитывает процент заданий в тесте, ориентированных на материал каждого раздела (содержательной линии). Затем приводит свое видение оптимального соотношения разделов и вычисляет разность, характеризующую отклонение мнения разработчиков от своих оценок.
Третий критерий — проверка соответствия содержания рецензируемой системы заданий спецификации теста. Несоответствие может возникать как при уменьшении, так и при увеличении планируемого числа заданий в тесте. Степень несоответствия определяется подсчетом процента заданий, не предусмотренных спецификацией по содержательным или по деятельностным аспектам, запланированным, но не попавшим в тест. Основания для выделения заданий в категорию непредусмотренных зависят от вида спецификации теста. Например, можно подсчитать число непредусмотренных спецификацией заданий по каждому разделу либо по каждому умению, запланированному к проверке в тесте. Сопоставление планируемых в спецификации и реальных количеств заданий в тесте проводится путем вычисления разностей. Таким образом, подсчитывается общее число заданий, не соответствующих спецификации теста.
Третье направление работы эксперта
Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Возможна оценка соотношения заданий, проверяющих знание теории предмета и его практики. Желательно выявить задания, предназначенные для проверки системы понятий, а также задания интегрального характера, предназначенные для проверки умений учащихся обобщать знания по различным разделам предмета.
105
GUNPOWDER
3.4. Обшие принципы отбора содержания теста
Помимо критериев, есть общие принципы, способствующие в определенной степени правильному отбору содержания тестов [2]. Принцип репрезентативности регламентирует не только полноту отображения, но и Значимость содержательных элементов теста. Содержание заданий должно быть таким, чтобы по ответам на них можно было сделать вывод о знании или незнании всей программы проверяемого раздела или курса.
Принцип системности предполагает подбор содержательных элементов, отвечающих требованиям системности и связанных между собой обшей структурой знаний. При соблюдении принципа системности тест можно использовать для выявления не только объема знаний, но и для оценки качества структуры знаний учеников.
После отбора содержания теста начинается наиболее ответственный этап создания предтестовых заданий. Эта работа поручается обычно самым опытным преподавателям с большим стажем работы в школе. Однако для создания заданий одного опыта недостаточно. Необходимы также специальные знания по теории и методике разработки педагогических тестов, обеспечивающие профессиональный подход к созданию предтестовых заданий.
Уровень профессионализма зависит прежде всего от того, насколько преподаватель-разработчик владеет формой, в какой мере он умеет подобрать оптимальную форму предтестового задания для проверяемого учебного материала. Иногда содержание задания адекватно выражается только в одной форме, а иногда для одного и того же содержания можно предложить сразу несколько форм.
