Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
v17 v236 v1437 v57342
О X 2 2) X 12 3) X 382 4) X 7412
71
GUNPOWDER
который вполне ясно, хотя и довольно упрощенно, иллюстрирует идеи кумулятивное™ на практике. Действительно, если испытуемый умеет умножать на четырехзначное число, то он тем более справится с умножением на трех-, двух- и однозначные числа.
Конечно, в процессе выполнения заданий нельзя исключать возможность случайных ошибок по невнимательности, простых описок, которые могут внести элементы инвертированное™ в правильные профили ответов. Однако в целом, если в тест отобраны состоятельные задания, содержание которых обеспечивает оценку значений планируемой переменной измерения, то есть надежда на стойкий кумулятивный эффект в профилях ответов учеников. В противном случае при возникновении инвертированных профилей у педагога появляются основания для вывода о низком качестве подготовки учеников и, соответственно, о низкой эффективности своей работы. Для подобных нежелательных выводов есть веские основания, поскольку в процессе обучения не была обеспечена реализация важнейшей цели, которую большинство педагогов трактует как формирование правильной структуры, а не объема знаний учеников.
Возвращаясь к профилю А, необходимо решить вопрос с выбором точки на оси переменной измерения, соответствующей истинному баллу первого ученика. Естественно предположить, что эта точка расположена между шестым и седьмым заданиями теста. Положение точки левее седьмого задания выглядит вполне закономерным, так как испытуемый не выполнил правильно ни одного начиная с седьмого задания теста. Продвижение к искомой точке с другого конца теста дает столь же определенную картину: учащийся выполнил правильно шесть заданий и потому его истинный балл должен быть никак не меньше шести.
У читателя может возникнуть вопрос обоснования возможного превышения наблюдаемого балла при оценке истинного уровня подготовки ученика, а именно: насколько правомерно считать, что истинный балл больше 6 либо почему при оценке истинного результата нельзя ограничиться наблюдаемым баллом 6? Ответ на вопрос будет выглядеть достаточно просто, если предположить, что между шестым и седьмым заданиями помещены еще несколько более трудных, чем шестое, но менее трудных, чем седьмое, заданий теста. Успех ученика при их выполнении будет выглядеть вполне закономерно, поскольку они все же легче, чем седьмое задание теста. Из этого рассуждения вытекает возможность смещения точки локализации истинного балла вправо от наблюдаемого балла вдоль оси переменной измерения. Есть и другой не менее веский
72
GUNPOWDER
аргумент в пользу выбора точки локализации истинного балла между шестым и седьмым заданиями теста — идея смещения хорошо увязывается с общей концепцией истинной оценки как величины, не зависящей от подбора заданий теста.
В отличие от предыдущего случая выбор предположительного места локализации истинного балла второго ученика с профилем ответов Б — задача довольно непростая. К тому же сам по себе профиль Б трудно объясним в силу своей явной несостоятельности: ученик не справился с четырьмя наиболее легкими заданиями и вместе с тем выполнил верно шесть более трудных заданий теста. Сложность выбора места локализации истинного балла для профиля Б становится вполне явной, если рассмотреть гипотетические экстремальные ситуации.
Предположим, что точка, соответствующая истинному баллу второго ученика, находится на оси правее самого трудного десятого задания, что в какой-то мере вполне оправданно, так как ученик выполнил верно десятое задание теста. Однако тогда не ясно, как увязать принятое предположение с фактом неправильного выполнения первых четырех более легких заданий теста.
Столь же непонятным остается общее решение задачи локализации, если пойти по другому пути и поставить в центр внимания неправильно выполненные учеником задания теста. В этом случае точку локализации истинного балла ученика необходимо выбрать левее самого легкого задания с оценкой трудности b{, что представляется довольно неразумным и плохо согласуется с естественной логикой, так как шесть наиболее трудных заданий были выполнены учеником верно.
К сожалению, для профиля Б трудно, а скорее просто невозможно найти разумное решение, поскольку в равной степени алогичным кажется любое другое расположение истинного балла ученика между точками, локализующими положение заданий на оси переменной измерения. Таким образом, стремление педагога оценить всех учеников, выполнявших тест, нельзя признать рациональным, так как задача становится неразрешимой для случая инвертированных профилей ответов учеников. Здесь выявляется определенная закономерность: чем выше мера инвертированнос-ти профиля ответа ученика, тем меньше оснований для реализации основной цели измерения — определения истинного балла каждого ученика тестируемой группы.
Конечно, причины несостоятельности профилей ответов учеников могут быть самыми разными. Далеко не все инверсии в профилях указывают на некачественную структуру знаний испытуе-
73
GUNPOWDER
мого. Например, возможна ситуация, когда ученик нарушил предлагаемый порядок расположения заданий в тесте при их выполнении и сосредоточил все усилия на самых трудных заданиях из конца теста, а к легким не успел приступить. Быть может, имели место ошибки разработчика при оценке значений параметра трудности заданий либо при ранжировании заданий по нарастанию трудности в тесте. Возможно, в процессе создания теста отсутствовал этап отбора заданий с несостоятельными профилями либо представленные в тесте задания не обладают четко выраженным кумулятивным эффектом из-за особенностей содержания теста. Окончательный вывод должен принадлежать педагогу-разработчику, поскольку именно он знаком со всеми обстоятельствами, сопутствовавшими процессам создания и применения теста.
