Évaluation des compétences en réanimation en séance de simulation et en milieu de travail : analyse descriptive et comparative dans trois spécialités
DOI :
https://doi.org/10.36834/cmej.73692Résumé
Contexte : Pour les activités professionnelles confiables (APC) qui sont rarement observées ou difficiles à évaluer, une évaluation en séance de simulation peut compléter celle en milieu de travail. Nous avons comparé le recours à une évaluation en séance de simulation pour les APC axées sur la réanimation dans trois programmes de formation médicale postdoctorale et décrit les perceptions de membres du corps professoral à propos de cette modalité d’évaluation.
Méthodes : Nous avons extrait les scores et le cadre (simulation ou lieu de travail) d’évaluation des APC de 2017 à 2020 pour les résidents en médecine interne, en médecine d’urgence et en fondements chirurgicaux aux étapes de transition vers la discipline et de fondements de la discipline. Un questionnaire a été distribué aux membres des comités des compétences cliniques.
Résultats : Onze pour cent des évaluations d’APC étaient faites lors de séances de simulation. Cette proportion était la même pour tous les programmes, mais dans le cadre des fondements chirurgicaux elle était différente selon qu’il s’agissait de l’étape de transition (38 %) ou de celle des fondements (4 %). Les scores de confiance différaient selon le cadre de l’évaluation uniquement pour les résidents en médecine d’urgence à l’étape de la transition (simulation : 4,82 ± 0,60; lieu de travail : 3,74 ± 0,93). Le questionnaire a été rempli par 70 % des membres des comités (n=20). Parmi ceux qui avaient eu recours à une évaluation en séance de simulation, 45 % avaient interprété les données de l’évaluation différemment de la façon dont ils interprètent les données d’évaluation en milieu de travail. Soixante-treize pour cent et 100 % d’entre eux font confiance à la simulation pour les évaluations à enjeux élevés et à faibles enjeux, respectivement.
Conclusions : La proportion d’évaluations en séance de simulation pour les APC axées sur la réanimation était la même dans trois programmes de formation médicale postdoctorale. Les membres des comités de compétences cliniques n’ont pas interprété les données de ce type d’évaluation de manière uniforme. Tous les répondants font confiance à l’évaluation en séance de simulation pour les évaluations à faibles enjeux, et la plupart d’entre eux pour les évaluations à enjeux élevés. Ces données ont des implications pratiques pour l’intégration de la simulation dans les programmes d’évaluation.
Statistiques
Références
Busing N, Harris K, MacLellan AM, et al. The future of postgraduate medical education in Canada. Acad Med J Assoc Am Med Coll. 2015;90(9):1258-1263. https://doi.org/10.1097/ACM.0000000000000815 DOI: https://doi.org/10.1097/ACM.0000000000000815
Frank JR, Snell LS, Sherbino J. CanMEDS 2015 Physician Competency Framework. Royal College of Physicians and Surgeons of Canada; 2015.
Harris P, Bhanji F, Topps M, et al. Evolving concepts of assessment in a competency-based world. Med Teach. 2017;39(6):603-608. https://doi.org/10.1080/0142159X.2017.1315071 DOI: https://doi.org/10.1080/0142159X.2017.1315071
Norcini J, Anderson MB, Bollela V, et al. 2018 Consensus framework for good assessment. Med Teach. 2018;40(11):1102-1109. https://doi.org/10.1080/0142159X.2018.1500016 DOI: https://doi.org/10.1080/0142159X.2018.1500016
Thoma B, Hall AK, Clark K, et al. Evaluation of a national competency-based assessment system in emergency medicine: a CanDREAM study. J Grad Med Educ. 2020;12(4):425-434. https://doi.org/10.4300/JGME-D-19-00803.1 DOI: https://doi.org/10.4300/JGME-D-19-00803.1
Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR, Collaborators for the IC. The role of assessment in competency-based medical education. Med Teach. 2010;32(8):676-682. https://doi.org/10.3109/0142159X.2010.500704 DOI: https://doi.org/10.3109/0142159X.2010.500704
Cook DA, Brydges R, Zendejas B, Hamstra SJ, Hatala R. Technology-enhanced simulation to assess health professionals: a systematic review of validity evidence, research methods, and reporting quality. Acad Med. 2013;88(6):872-883. https://doi.org/10.1097/ACM.0b013e31828ffdcf DOI: https://doi.org/10.1097/ACM.0b013e31828ffdcf
Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Med Educ. 2015;49(6):560-575. https://doi.org/10.1111/medu.12678 DOI: https://doi.org/10.1111/medu.12678
McMurray L, Hall AK, Rich J, Merchant S, Chaplin T. The nightmares course: a longitudinal, multidisciplinary, simulation-based curriculum to train and assess resident competence in resuscitation. J Grad Med Educ. 2017;9(4):503-508. https://doi.org/10.4300/JGME-D-16-00462.1 DOI: https://doi.org/10.4300/JGME-D-16-00462.1
Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ. The Ottawa Surgical Competency Operating Room Evaluation (O-SCORE): a tool to assess surgical competence. Acad Med J Assoc Am Med Coll. 2012;87(10):1401-1407. https://doi.org/10.1097/ACM.0b013e3182677805 DOI: https://doi.org/10.1097/ACM.0b013e3182677805
Peters H, Holzhausen Y, Boscardin C, Cate O ten, Chen HC. Twelve tips for the implementation of EPAs for assessment and entrustment decisions. Med Teach. 2017;39(8):802-807. https://doi.org/10.1080/0142159X.2017.1331031 DOI: https://doi.org/10.1080/0142159X.2017.1331031
Russell E, Hall AK, Hagel C, Petrosoniak A, Dagnone JD, Howes D. Simulation in Canadian postgraduate emergency medicine training – a national survey. Can J Emerg Med. 2018;20(1):132-141. https://doi.org/10.1017/cem.2017.24 DOI: https://doi.org/10.1017/cem.2017.24
Prudhomme N, O’Brien M, McConnell MM, Dudek N, Cheung WJ. Relationship between ratings of performance in the simulated and workplace environments among emergency medicine residents. Can J Emerg Med. Published online 2020:1-8. https://doi.org/10.1017/cem.2020.388 DOI: https://doi.org/10.1017/cem.2020.388
Weersink K, Hall AK, Rich J, Szulewski A, Dagnone JD. Simulation versus real-world performance: a direct comparison of emergency medicine resident resuscitation entrustment scoring. Adv Simul. 2019;4. https://doi.org/10.1186/s41077-019-0099-4 DOI: https://doi.org/10.1186/s41077-019-0099-4
Hall AK, Damon Dagnone J, Moore S, et al. Comparison of simulation‐based resuscitation performance assessments with in‐training evaluation reports in emergency medicine residents: a canadian multicenter study. AEM Educ Train. 2017;1(4):293-300. https://doi.org/10.1002/aet2.10055 DOI: https://doi.org/10.1002/aet2.10055
Calhoun AW, Bhanji F, Sherbino J, Hatala R. Simulation for high-stakes assessment in pediatric emergency medicine. Clin Pediatr Emerg Med. 2016;17(3):212-223. https://doi.org/10.1016/j.cpem.2016.05.001 DOI: https://doi.org/10.1016/j.cpem.2016.05.001
Téléchargements
Publié-e
Comment citer
Numéro
Rubrique
Licence
(c) Tous droits réservés Jeremy D Seed, Stephen Gauthier, Boris Zevin, Andrew K Hall, Timothy Chaplin 2023
Cette œuvre est sous licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International.
La soumission d’un manuscrit original à la revue constitue une indication qu’il s’agit d’un travail original, qu’il n’a jamais été publié et qu’il n’est pas envisagé pour publication dans une autre revue. S’il est accepté, il sera publié en ligne et ne pourra l’être ailleurs sous la même forme, à des fins commerciales, dans quelque langue que ce soit, sans l’accord de l’éditeur.
La publication d’une recherche scientifique a pour but la diffusion de connaissances et, sous un régime sans but lucratif, ne profite financièrement ni à l’éditeur ni à l’auteur.
Les auteurs qui publient dans la Revue canadienne d’éducation médicale acceptent de publier leurs articles sous la licence Creative Commons Paternité - Pas d’utilisation commerciale, Pas de modification 4.0 Canada. Cette licence permet à quiconque de télécharger et de partager l’article à des fins non commerciales, à condition d’en attribuer le crédit aux auteurs. Pour plus de détails sur les droits que les auteurs accordent aux utilisateurs de leur travail, veuillez consulter le résumé de la licence et la licence complète.
