The Effect of Missing Data Treatment on Mantel-Haenszel DIF Detection - Emenogu, Barnabas C.; Falenchuk, Olesya; Childs, Ruth A. (Alberta Journal of Educational Research, 2011)
Most implementations of the Mantel-Haenszel differential item functioning procedure delete records with missing responses or replace missing responses with scores of 0. These treatments of missing data make strong assumptions about the causes of the missing data. Such assumptions may be particularly problematic when groups differ in their patterns of nonresponse. Using both real data from Ontario students taking the English- and French-language versions of two large-scale assessments and simulated data, this study compared the Mantel-Haenszel DIF indices produced using a total score or a proportion score as matching variables and treating missing data by listwise deletion, analysiswise deletion, or scoring missing data as incorrect. The results suggest that when many responses are missing, differential nonresponse rates may be a source of DIF. La plupart des mises en oeuvre de la méthode du fonctionnement différentiel des items de MantelHaenszel suppriment les observations ayant des réponses qui manquent ou bien elles remplacent les réponses manquantes par un 0. Ces façons de traiter l'information manquante repose sur des hypothèses quant aux causes des lacunes, hypothèses qui pourraient s'avérer particulièrement inquiétantes quand l'absence de réponse chez les différents groupes suit un schéma distinct. En nous appuyant tant sur des données réelles d'élèves de l'Ontario ayant passé les versions en anglais et en français de deux évaluations à grande échelle, que sur des données simulées, nous avons comparé les indices de la méthode du fonctionnement différentiel des items de MantelHaenszel produits par l'emploi d'un score total ou d'un score de proportion comme variables appariées et en traitant les données manquantes de trois façons : suppression de toutes les observations comportant au moins une valeur manquante; calcul de la corrélation pour chaque couple de variables à partir des données disponibles; ou considération des données manquantes comme des erreurs. Les résultats portent à croire que lorsqu'il manque plusieurs réponses, les taux différentiels d'absence de réponse peuvent constituer une source de fonctionnement différentiel des items.