Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Идея общего определения непосредственно увязывается с ответом на вопрос о том, для чего нужна категория качества в процессе контроля. Проводить оценку качества подготовки учащихся с различным уровнем подготовки, по-видимому, не имеет смысла, поскольку они уже отличаются по объему усвоенных знаний, умений и навыков. Зато вполне правомерно одинаковому уровню подготовки поставить в соответствие различное качество. Отсюда ос-
422
GUNPOWDER
тается один шаг до обобщенного определения, когда качество подготовки трактуется как совокупность существенных характеристик знаний и умений, способствующих дифференциации обучаемых с одинаковым уровнем подготовки.
В дополнение к определению необходимо конкретизировать представления о существенных характеристиках знаний, умений и навыков учащихся. В процессе конкретизации возникает проблема выбора, когда приходится отдавать предпочтение тем ли иным характеристикам обучаемых, но каким? Несомненно, привлекательно выглядят такие перечисленные выше характеристики, как прочность, осознанность, обобщенность знаний. Они представляют особую ценность как для развития личности учащегося, так и для пополнения интеллектуального потенциала вузов за счет абитуриентов с высоким качеством подготовки. Однако, несмотря на всю привлекательность, перечисленные характеристики обладают существенным недостатком, поскольку не поддаются никаким объективным методам измерения. В этой связи приходится признать, что решение проблемы конкретизации базируется на новых возможностях, которые открывают в сфере измерений педагогические тесты.
8.4. СОВРЕМЕННЫЕ ПОДХОДЫ К OKiEHKE КАЧЕСТВА
ПОДГОТОВКИ ОБУЧАЕМЫХ
В последние годы за рубежом был предложен ряд новых интересных методов, позволяющих получить определенные представления о качестве подготовки обучаемых. К сожалению, нередко однозначный перевод и интерпретация названия этих методов затруднены в связи с отсутствием аналогичных терминов в русском языке. Далее приводится краткий обзор этих методов.
1. Метод оценки индекса структурированности знаний (method S-P lines). В отличие от традиционных средств контроля тесты при определенных условиях позволяют выявить не только уровень подготовки, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения. Элементарное представление о степени отклонения позволяет составить анализ профиля ответов учащегося на различные задания теста. Так как один и тот же уровень подготовки может быть получен при ответах на различные задания, то можно сравнить ответы учащихся с одинаковым уровнем подготовки. Если задания ранжированы по нарастанию трудности и отражают по содержанию и порядку расположения идеальную, плани-
423
GUNPOWDER
руемую преподавателем при обучении структуру знаний, то общий вывод о качестве подготовки учащихся сделать довольно просто: чем меньше пробелов в ответах ученика на задания теста, тем лучше структура его знаний, тем выше качество его подготовки в группе других учеников, имеющих одинаковый с ним уровень подготовки по предмету.
Характеристика степени отклонения индивидуальной структуры знаний от планируемой педагогом основана на подсчете значений специального индекса структурированности знаний, введенного в рассмотрение зарубежными исследователями. Идеальный профиль ответов, не содержащий пробелов, в мировой литературе по тестовой проблематике получил название профиля Гуттмана [47], которому соответствует нулевой специальный индекс. Большое значение индекса, характерное для инвертированных профилей с большим числом пробелов, порождает сомнения в системности знаний обучаемого и валидности его общей оценки по тесту.
Конечно, использование метода оценки индекса структурированности знаний обучаемых требует разработки тестов, содержание которых отобрано специальным образом. Необходимо, чтобы по результатам ответов обучаемых с правильной структурой знаний наблюдался эффект воспроизводимости правильных ответов на более легкие задания по результатам ответов на трудные задания теста. Ситуацию с конструированием тестов значительно облегчает IRT, поскольку кумулятивный эффект Гуттмана заложен в самих моделях IRT, что позволяет создавать достаточно совершенные тесты. Несмотря на определенные трудности оценки структуры знаний учащихся в повседневной работе преподавателей, предлагаемый подход к определению качества подготовки учеников довольно корректен и с точки зрения возможности измерения удачен.
Особенно привлекательно выглядит оценка структуры знаний учащихся в тех случаях, когда речь идет об оценке эффективности работы отдельных преподавателей либо групп преподавателей, как, например, при аттестации образовательных учреждений. На фоне многообразия существующих аттестационных моделей, методик, технологий, показателей и критериев оценка качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий, работающих по традиционным схемам, находится, несомненно, уровень подготовки. Оценка качества подготовки хотя и декларируется в инструктивных документах Минобразования России, но все же остается за гранью работы организаций, проводящих аттестацию, что вряд ли оправдано.
