L'impact de la correction systématique des questions à choix multiples ayant une faible discrimination sur la fiabilité de l'évaluation : une analyse via des séries chronologiques interrompues
DOI :
https://doi.org/10.36834/cmej.77596Résumé
Dans notre centre, nous avons introduit une initiative d'amélioration continue de la qualité (ACQ) au cours de l'année académique 2018-19 ciblant la correction des questions à choix multiples (QCM) dont l'indice de discrimination (D) est < 0,1. Le but de cette étude était d'évaluer l'impact de cette initiative sur la fiabilité/cohérence interne de nos évaluations. Nos participants étaient des étudiants en médecine au cours des années académiques 2015-16 à 2020-21 et nos données provenaient d’évaluations sommatives par QCM au cours de cette période. Comme l'objectif était de revoir et d'améliorer systématiquement les évaluations sommatives dans notre programme prégradué sur une base continue, nous avons utilisé une analyse basée sur des séries chronologies interrompues pour évaluer l'impact sur la fiabilité. Entre 2015-16 et 2017-18, il y a eu une tendance négative significative dans le coefficient alpha moyen pour les examens utilisant des QCM (coefficient de régression -0,027 [-0,008, -0,047], p = 0,024). Au cours de l'année académique suivant l'introduction de notre initiative (2018-19), il y a eu une augmentation significative du coefficient alpha moyen (coefficient de régression 0,113 [0,063, 0,163], p = 0,010) qui a été suivie d'une tendance positive significative après l'intervention (coefficient de régression 0,056 [0,037, 0,075], p = 0,006). En conclusion, notre intervention d'ACQ a entraîné une amélioration immédiate et progressive de la fiabilité de nos évaluations par QCM.
Statistiques
Références
Messick S. Validity. 3rd ed. New York, NY: American Council on Education and Macmillan, 1989.
Kane MT. Validation. In: Brennan RL, ed. Educational measurement. 4th ed. Westport.: Praeger; 2006:17-64.
Messick S. The interplay of evidence and consequences in the validation of performance assessments. Education Researcher 1994;32:13-23. https://doi.org/10.2307/1176219 DOI: https://doi.org/10.2307/1176219
Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ 2015;49(6):560-75. https://doi.org/10.1111/medu.12678 DOI: https://doi.org/10.1111/medu.12678
De Champlain AF. A primer on classical test theory and item response theory for assessments in medical education. Med Educ 2010;44(1):109-17. https://doi.org/10.1111/j.1365-2923.2009.03425.x DOI: https://doi.org/10.1111/j.1365-2923.2009.03425.x
Thorndike RL, Hagen E. Measurement and evaluation in psychology and education. New York: John Wiley and Sons Inc, 1961.
Richardson MW. Notes on the rationale of item analysis. Psychometrika 1936;1:69-76. https://doi.org/10.1007/BF02287926 DOI: https://doi.org/10.1007/BF02287926
Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951;16:297-334. https://doi.org/10.1007/BF02310555 DOI: https://doi.org/10.1007/BF02310555
Glass GV, Hopkins, K.D. Statistical methods in education and psychology. 3rd ed. Needham Heights, MA: Allyn and Bacon, 1995.
Chiavaroli N. Negatively-worded multiple choice questions: an avoidable threat to validity. Pract Assessment Res Eval 2017;22:1-14. https://doi.org/10.1201/9780203739976-1 DOI: https://doi.org/10.1201/9780203739976-1
Schuwirth LW, van der Vleuten CP, Donkers HH. A closer look at cueing effects in multiple-choice questions. Med Educ 1996;30(1):44-9. https://doi.org/10.1111/j.1365-2923.1996.tb00716.x DOI: https://doi.org/10.1111/j.1365-2923.1996.tb00716.x
Rodriguez MC, Kettler RJ, Elliott SN. Distractor functioning in modified items for test accessibility. SAGE Open 2014;4(4). https://doi.org/10.1177/2158244014553586 DOI: https://doi.org/10.1177/2158244014553586
Office of Educational Assessment UoW. Understanding item analyses. Available from https://www.washington.edu/assessment/scanning-scoring/scoring/reports/item-analysis/
McDowall D, McCleary R, Meidinger EE, Hay RA. Interrupted time series analysis. Newbury Park, CA: Sage Publications, 1980. https://doi.org/10.4135/9781412984607 DOI: https://doi.org/10.4135/9781412984607
15. Mandin H, Harasym P, Eagle C, Watanabe M. Developing a "clinical presentation" curriculum at the University of Calgary. Acad Med 1995;70(3):186-93. https://doi.org/10.1097/00001888-199503000-00008 DOI: https://doi.org/10.1097/00001888-199503000-00008
Ali SH, Carr PA, Ruit KG. Validity and reliability of scores obtained on multiple-choice questions: why functioning distractors matter. J Schol Teach Learn 2016;16:1-14. https://doi.org/10.14434/josotl.v16i1.19106 DOI: https://doi.org/10.14434/josotl.v16i1.19106
Hudson J, Fielding S, Ramsay CR. Methodology and reporting characteristics of studies using interrupted time series design in healthcare. BMC Med Res Methodol 2019;19(1):137. https://doi.org/10.1186/s12874-019-0777-x DOI: https://doi.org/10.1186/s12874-019-0777-x
Linden A. Conducting interrupted time-series analysis for single- and multiple-group comparisons. Stata J. 2015;15:480-500. https://doi.org/10.1177/1536867X1501500208 DOI: https://doi.org/10.1177/1536867X1501500208
Jiang S, Wang C, Weiss DJ. Sample size requirements for estimation of item parameters in the multidimensional graded response model. Front Psychol 2016;7:109. https://doi.org/10.3389/fpsyg.2016.00109 DOI: https://doi.org/10.3389/fpsyg.2016.00109
Strauss V. The real problem with multiple-choice tests. The Washington Post2013
Téléchargements
Publié-e
Comment citer
Numéro
Rubrique
Licence
(c) Tous droits réservés Janeve Desy, Adrian Harvey, Sarah Weeks, Kevin D Busche, Kerri Martin, Michael Paget, Christopher Naugler, Kevin Mclaughlin 2023
Cette œuvre est sous licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International.
La soumission d’un manuscrit original à la revue constitue une indication qu’il s’agit d’un travail original, qu’il n’a jamais été publié et qu’il n’est pas envisagé pour publication dans une autre revue. S’il est accepté, il sera publié en ligne et ne pourra l’être ailleurs sous la même forme, à des fins commerciales, dans quelque langue que ce soit, sans l’accord de l’éditeur.
La publication d’une recherche scientifique a pour but la diffusion de connaissances et, sous un régime sans but lucratif, ne profite financièrement ni à l’éditeur ni à l’auteur.
Les auteurs qui publient dans la Revue canadienne d’éducation médicale acceptent de publier leurs articles sous la licence Creative Commons Paternité - Pas d’utilisation commerciale, Pas de modification 4.0 Canada. Cette licence permet à quiconque de télécharger et de partager l’article à des fins non commerciales, à condition d’en attribuer le crédit aux auteurs. Pour plus de détails sur les droits que les auteurs accordent aux utilisateurs de leur travail, veuillez consulter le résumé de la licence et la licence complète.
