The Effect of Missing Data Treatment on Mantel-Haenszel DIF Detection

  • Barnabas C. Emenogu Ontario Institute for Studies in Education, University of Toronto
  • Olesya Falenchuk Ontario Institute for Studies in Education, University of Toronto
  • Ruth A. Childs Ontario Institute for Studies in Education, University of Toronto
Keywords: differential item functioning, missing data, large-scale assessment, bias

Abstract

Most implementations of the Mantel-Haenszel differential item functioning procedure delete records with missing responses or replace missing responses with scores of 0. These treatments of missing data make strong assumptions about the causes of the missing data. Such assumptions may be particularly problematic when groups differ in their patterns of nonresponse. Using both real data from Ontario students taking the English- and French-language versions of two large-scale assessments and simulated data, this study compared the Mantel-Haenszel DIF indices produced using a total score or a proportion score as matching variables and treating missing data by listwise deletion, analysiswise deletion, or scoring missing data as incorrect. The results suggest that when many responses are missing, differential nonresponse rates may be a source of DIF.

La plupart des mises en oeuvre de la méthode du fonctionnement différentiel des items de MantelHaenszel suppriment les observations ayant des réponses qui manquent ou bien elles remplacent les réponses manquantes par un 0. Ces façons de traiter l'information manquante repose sur des hypothèses quant aux causes des lacunes, hypothèses qui pourraient s'avérer particulièrement inquiétantes quand l'absence de réponse chez les différents groupes suit un schéma distinct. En nous appuyant tant sur des données réelles d'élèves de l'Ontario ayant passé les versions en anglais et en français de deux évaluations à grande échelle, que sur des données simulées, nous avons comparé les indices de la méthode du fonctionnement différentiel des items de MantelHaenszel produits par l'emploi d'un score total ou d'un score de proportion comme variables appariées et en traitant les données manquantes de trois façons : suppression de toutes les observations comportant au moins une valeur manquante; calcul de la corrélation pour chaque couple de variables à partir des données disponibles; ou considération des données manquantes comme des erreurs. Les résultats portent à croire que lorsqu'il manque plusieurs réponses, les taux différentiels d'absence de réponse peuvent constituer une source de fonctionnement différentiel des items.

Author Biographies

Barnabas C. Emenogu, Ontario Institute for Studies in Education, University of Toronto
Barnabas Emenogu is a senior research coordinator in the Literacy and Numeracy Secretariat, Ministry of Education, Toronto. His work involves the application of multivariate and multilevel statistics in the study of large-scale assessments, large-scale educational reforms, policy analyses, and program evaluation.
Olesya Falenchuk, Ontario Institute for Studies in Education, University of Toronto
Olesya Falenchuk works as a research systems analyst in the Education Commons, a role in which she provides research design and analysis consulting to students and faculty and external clients. Olesya holds a doctorate in measurement and evaluation.
Ruth A. Childs, Ontario Institute for Studies in Education, University of Toronto
Ruth Childs is an associate professor in the Department of Human Development and Applied Psychology.
Section
ARTICLES