Fairness in Computerized Testing: Detecting Item Bias using CATSIB with Impact Present

  • Man-Wai Chu University of Alberta
  • Hollis Lai University of Alberta
Keywords: Assessment, Fairness, Equity, Differential Item Functioning (DIF), Computer Adaptive Test (CAT), évaluation, impartialité, équité, fonctionnement différentiel d’items, examen informatisé adaptatif

Abstract

In educational assessment, there is an increasing demand for tailoring assessments to individual examinees through computer adaptive tests (CAT).  As such, it is particularly important toinvestigate the fairness of these adaptive testing processes, which require theinvestigation of differential item function (DIF) to yield information about itembias. The performance of CATSIB, a revision of SIBTEST to accommodate CATresponses, in detecting DIF in a multi-stage adaptive testing (MST) environmentis investigated in the present study. Specifically, the power and type I error rates on directional DIF detection of an MST environment when positive and negative impact, group ability differences, was investigated using simulation procedures. The results revealed that CATSIB performed relatively well in identifying the items with DIF when characteristics of the group and items were known. Testing companies are able to use these results to enhance test items which provide students with fair and equitable adaptive testing environments.

Dans le domaine de l’évaluation pédagogique, il existe une demande croissante pour personnaliser les évaluations par l’adoption d’examens informatisés adaptatifs (CAT : computer adaptive test). Ainsi, il est important de se pencher sur l’équité de ces processus adaptatifs appliqués aux évaluations; ceci exige la détection du fonctionnement différentiel d’items de sorte à déterminer le biais d’item. L’étude présente porte sur le rendement de la procédure CATSIB, et une révision de la procédure SIBTEST pour accommoder les réponses aux examens informatisés adaptatifs et détecter le fonctionnement différentiel d’items dans un environnement d’examens adaptatifs à plusieurs étapes. Les résultats indiquent que la procédure CATSIB a fonctionné relativement bien dans l’identification des items avec un fonctionnement différentiel  quand les caractéristiques du groupe et des items étaient connues. Les intervenants en évaluations pourront se servir de ces résultats pour améliorer les items des évaluations de sorte à offrir aux étudiants des examens adaptatifs équitables.

 

Author Biographies

Man-Wai Chu, University of Alberta
Man-Wai Chu (manwai@ualberta.ca) is a Ph.D. Candidate at the Center for Research in Applied Measurement and Evaluation in the Department of Educational Psychology, University of Alberta. Her research interests focus on educational assessments, particularly the use of innovative technologies, cognitive advancements, and different measurement techniques to improve the measurement of performance-based skills.
Hollis Lai, University of Alberta
Dr. Lai is Assistant Professor and Director, Evaluation and Assessment of the undergraduate medical education program at the University of Alberta. His research interests include education assessment, item generation, adaptive learning and computer-based testing.
Published
2014-10-30
Section
ARTICLES