Теория и практика конструирования педагогических тестов - Челышкова М.Б.
ISBN 5-94010-143-7
Скачать (прямая ссылка):
Пусть вектор X1 = {л:^ ,хІ2 ,...,хіп} — дискретная случайная величина, характеризующая результат выполнения і-м испытуемым п заданий теста. Вероятностную модель выполнения п заданий для /-го испытуемого можно записать в виде
A№le/} = n^*о}"**. (5.39)
где P.j — вероятность правильного выполнения 1-м испытуемым j-YO задания теста; Q1- вероятность неправильного выполнения /-м испытуемыму-го задания: Q„= 1 — Py.
С учетом этого равенства и формулы (5.19) вероятности Py и Qy можно записать
Єу-?y
(5-40)
1 + Є ' J
oHt-W« (541)
1 + Є 1 J
где в{ — уровень знаний тестируемого; ?y — трудность у-го задания.
Для дальнейших рассуждений важно ввести предположение о локальной независимости заданий теста. Наделе оно означает, что при данном значении 0 ответ на каждое задание теста не зависит от результатов выполнения остальных его заданий.
Введенную в рассмотрение функцию L1 называют функцией
правдоподобия дискретной случайной величины X1. Значение 0/5
285
GUNPOWDER
при котором функция правдоподобия достигает максимума, принимают в качестве объективной оценки 6,. и называют оценкой наибольшего правдоподобия.
Так как функции L. и InL1 достигают максимума при одном и
том же значении , то удобно ввести в рассмотрение логарифмическую функцию правдоподобия
In L1^x11G1} = X {X1J XnPj1 +(1 - XjJ)XnQj1}. (5.42)
Неизвестные оценки наибольшего правдоподобия параметров испытуемых находятся из необходимого условия экстремума функции XnLj по каждой из переменных 0Г Система уравнений для оп-
ре деления значений в, в группе из N испытуемых имеет вид
Э1пМ*/|е,}=0 i = h2,...,N. (5.43)
Для матрицы данных из табл. 5.3 процесс получения системы правдоподобия для оценок G1 (/= 1, 2,10) показан в приложении 5.6. Как видно из приведенного в приложении примера, уравнения системы являются нелинейными и их решение сопряжено с определенными вычислительными трудностями.
Аналогичная функция
J=I
составляется для вычисления оценок наибольшего правдоподобия
Л
?. параметра ?,(/=l> 2,N).
j
Общая функция правдоподобия имеет вид
J=X ы
Решение систем правдоподобия проводится по очереди. Сначала полагают известными значения параметра ?y., а ОД/= 1,2,N) рассматривают как переменную. Затем значения G. переопределя-
ют, принимая за новые O1-, и находят оценки ?y, доставляющие 286
GUNPOWDER
максимум функции L.. На втором этапе переопределяют значения ?- Процесс продолжается до тех пор, пока абсолютные значения разностей в результате итераций станут меньше 0,01:
(в/Хы -(в/)* 1<0'01' Фу>«+і -Фу)« <0'01-
(5.46)
Оценки наибольшего правдоподобия, полученные путем решения системы правдоподобия методом Ньютона для рассматриваемого примера данных (матрица в табл. 5.3), приводятся в табл. 5.20 и 5.21.
Сравнение данных этих таблиц с предыдущими результатами (табл. 5.17 и 5.18) указывает на весьма незначительное изменение чисел. Вообще говоря, такой результат вполне предсказуем, поскольку система правдоподобия содержит производные, введение которых основано на предельных процессах. Поэтому метод правдоподобия имеет смысл исключительно для больших выборок испытуемых (не менее 200—300 испытуемых) и достаточно длинных тестов (не менее 30 заданий), в то время как рассматриваемый пример матрицы описывает результаты ответов всего 10 испытуемых на 10 заданий теста.
В целом же с точки зрения теории оценки (G1)^+1 И (?y)w+i являются наиболее эффективными и могут быть приняты за истинные значения латентных переменных Q.и ?y.. Конечно, для реализации метода правдоподобия нужны специальные программы. Важным предварительным моментом является выбор хорошего на-
Таблыца 5.20. Оценки наибольшего правдоподобия трудности заданий
j Л Оценка ?y
1 -3,62177
2 -2,28508
3 -1,39663
4 -0,66834
5 0
6 0
8 0,66834
7 1,39663
9 2,28508
10 3,62177
Таблица 5.21. Оценки наибольшего правдоподобия параметра испытуемых
Оценка Qj
3 -3,60457
2 -2,29834
5 -0,71843
6 -0,71843
8 -0,71843
7 -0,06531
1 0,58781
10 0,58781
9 3,47395
4 3,47395
287
GUNPOWDER
чального приближения, поэтому желательно при оценивании 09 и ?P даже в самых незначительных подробностях следовать формулам, приведенным в данном разделе. Хотя, вообще говоря, возможно использование и других методов, приводящих к другим, отличающимся начальным значениям 09 и ?P.
Если в? и ?P выбраны неудачно, довольно далеко от оценок наибольшего правдоподобия, то число итераций увеличится. Соответственно возрастут и затраты машинного времени.
Кроме других, менее очевидных условий, на удачный выбор начального приближения для G оказывает решающее влияние наличие банка тестовых заданий, шкалированных по нарастанию трудности, с известными устойчивыми значениями ?. Такой банк дает возможность преподавателю предложить /-му ученику оптимальные по трудности задания, обеспечивающие оценку ^c минимальной стандартной ошибкой измерения.
На идее минимизации ошибки измерения строится понятие информационной функции, введенное А. Бирнбаумом в 1968 г. для оценки эффективности каждого задания и всего теста при измерении значений переменной 0.