Evaluation du raisonnement clinique en urologie : l'apport du Test de Concordance de Script

10 mars 2002

Mots clés : Compétence clinique, raisonnement clinique, Évaluation, urologie.
Auteurs : SIBERT L, CHARLIN B, GAGNON R, CORCOS J, KHALAF A, GRISE P
Référence : Prog Urol, 2001, 11, 1213-1219
But : Le test de Concordance de Script a pour objet de mesurer l'organisation des connaissances qui permet d'interpréter les données lors du raisonnement clinique. Le but de l'étude a été de vérifier l'intérêt de ce nouveau instrument d'évaluation écrit pour mesurer le raisonnement clinique en urologie.
Matériel et Méthode : Un examen de 80 items a été complété par un groupe d'externes (n = 15), un groupe d'internes en urologie (n = 11), un groupe de Chefs de Clinique-Assistants (n = 7), un groupe d'urologues confirmés (n = 10). Les scores obtenus ont été comparés par analyse de variance. La fiabilité du test a été étudiée par le calcul du coefficient alpha de Cronbach.
Résultats : Le score moyen a été de 46,95 ± 6,80 pour les étudiants, de 56,18 ± 1,73 pour les internes, de 56,27 ± 4,92 pour les chefs de clinique et de 63,38 ± 2,19 pour les urologues. Les différences observées entre les scores des externes, des internes et des urologues sont significatives. Le coefficient de fiabilité était de 0,79 pour l'ensemble de l'examen. Conclusions :Ce test permet de discriminer des niveaux d'expérience différents en urologie . Il propose une approche simple et directe de l'évaluation de l'organisation des connaissances. Des études complémentaires sont nécessaires pour confirmer l'apport de ce test dans la stratégie d'évaluation de la compétence clinique en urologie.



En urologie, comme pour les autres disciplines médicales, le but essentiel des programmes de formation est l'acquisition de la compétence professionnelle. Bien que l'accumulation de connaissances théoriques et les habiletés techniques soient indispensables à la pratique de l'urologie, la compétence clinique comprend de nombreux autres attributs, tels que les habiletés qui s'expriment dans la relation avec les patients et les autres professionnels de santé, les habiletés de recueil de données pertinentes à l'interrogatoire et à l'examen physique, mais aussi les habiletés de résolution de problèmes et de raisonnement clinique [13]. La plupart des instruments écrits d'évaluation du raisonnement clinique mesurent plus les connaissances théoriques factuelles que l'organisation des connaissances, qui est pourtant la clé de voûte de la compétence clinique [2]. Les autres outils d'évaluation de la compétence clinique (par exemple, un examen oral portant sur un seul cas clinique) manquent souvent de validité ou de fiabilité.

Il est actuellement largement reconnu que le raisonnement médical d'un clinicien expérimenté devant une situation clinique donnée est un procédé hypothético-déductif, caractérisé par la génération précoce d'hypothèses et la collecte orientée des données pour confirmer ou rejeter l'hypothèse initiale [1, 9, 10]. De nombreux travaux en psychologie cognitive ont également démontré que la capacité à raisonner adéquatement en médecine n'est pas une capacité générique, elle dépend du contexte clinique. Ce concept, décrit notamment par ELSTEIN et NORMAN [9, 14] porte le nom de spécificité de contenu. Il souligne l'importance de la qualité de la base de connaissances que le clinicien possède dans ses domaines d'activités. La base de connaissances des cliniciens performants est caractérisée par la présence de liens riches et fonctionnels [2].

Un modèle de développement de la compétence au raisonnement clinique a été proposé par SCHMIDT, NORMAN et BOSHUIZEN [15, 16]. Selon eux les médecins et futurs médecins organisent leurs connaissances en fonction des tâches qu'ils ont à accomplir. Lors de leur confrontation avec leurs premiers patients, ils réorganisent leurs connaissances afin d'effectuer adéquatement leurs nouvelles tâches cliniques : diagnostiquer, explorer, traiter. Ces auteurs proposent d'appeler 'scripts de maladie' les réseaux de connaissances spécifiquement adaptés à ces tâches [8, 11, 15, 16]. Selon cette théorie, la démarche hypothético-déductive de raisonnement clinique se caractérise, dans chaque situation clinique, par la recherche, la sélection et la vérification des scripts appropriés. Un modèle d'organisation de ces scripts qui permet d'expliquer les performances extrêmement rapides de traitement de l'information dans les tâches cliniques a été proposé récemment [6]. Ce modèle considère, qu'en situation clinique, le clinicien active immédiatement de façon inconsciente les scripts au sein de sa mémoire. Les connaissances antérieures ainsi activées sont utilisées pour vérifier ou rejeter de façon itérative les hypothèses pertinentes à la situation.

Basé sur ces théories cognitives du développement de l'expertise clinique, un nouvel instrument d'évaluation écrit, le test de Concordance de Script a été conçu dans le but d'évaluer la richesse, l'organisation et l'activation des connaissances antérieures [7]. Le principe de ce test consiste à présenter aux candidats une série de situations cliniques puis de leur demander l'effet de nouveaux éléments d'information sur des hypothèses diagnostiques, d'investigations ou thérapeutiques déjà émises. Ce test présente aux candidats des situations cliniques sous forme écrite, mais authentiques devant lesquelles ils doivent interpréter des informations pour prendre des décisions. Les études précédentes effectuées dans des disciplines différentes ont montré que l'instrument pouvait discriminer des groupes ayant différents niveaux d'expertise et qu'il est d'un maniement facile [3, 4, 5, 7].

Cet article présente la première utilisation du test de Concordance de Script en urologie. L'objectif de cette étude a été d'explorer l'utilité de ce test pour évaluer une composante importante de la compétence clinique : le raisonnement clinique. Afin de répondre à cette question, le test a été administré à plusieurs groupes de participants (externes, internes, chefs de Cliniques, urologues confirmés), pour vérifier si le test de Concordance de Script permet de discriminer des groupes de candidats d'expériences différentes en urologie

Matériel et méthode

Construction du Test de Concordance de Script

La première étape a consisté à demander à 2 urologues de sélectionner une série de situations cliniques représentatives de la pratique urologique, en terme de fréquence, mode de présentation, gravité et possibilité de traitement. Ensuite, pour chaque situation, il leur a été demandé de spécifier : 1) les hypothèses pertinentes de diagnostic, d'investigation ou de traitement; 2) les principaux signes à rechercher à l'interrogatoire et à l'examen physique, les principales investigations complémentaires à demander pour résoudre le problème; 3) quelles informations cliniques, positives ou négatives, ils chercheraient pour vérifier les hypothèses. Le contenu du test ainsi établi est présenté sur le Tableau I.

Les items du test ont été rédigé à partir du matériel obtenu à cette étape. Chaque situation clinique a été ensuite rédigée sous forme de vignette de quelques lignes. Chaque vignette est suivie par une série d'items. Le format d'un item dépend de l'objectif d'évaluation (diagnostic, investigation, traitement). Chaque item est constitué de 3 parties (Annexe I).

La première partie comprend une hypothèse diagnostique, une investigation para-clinique ou une option thérapeutique, la deuxième partie présente une information nouvelle (par exemple, un signe clinique, le résultat d'un examen complémentaire). La troisième partie est une échelle de type Likert. Chaque item a été bâti de telle manière qu'une réflexion soit nécessaire pour y répondre. Chaque item est indépendant des autres. Le but est non pas de déterminer l'effet cumulatif d'une série d'informations cliniques mais de déterminer l'effet d'une information clinique ou para-clinique isolée sur une hypothèse diagnostique, une proposition d'investigation ou une option thérapeutique. Un exemple de vignette clinique suivie de questions diagnostiques est illustrée sur le Tableau II.

Un questionnaire de 85 items a été ainsi élaboré. Les items identifiés comme non pertinents ou confus par les experts lorsqu'ils ont complété le test, n'ont pas été retenus pour l'interprétation des résultats. Quatre-vingt items sur 85 ont ainsi été pris en compte pour le calcul des scores et l'analyse statistique.

Participants

L'examen a été soumis à 15 étudiants en médecine de 2e cycle, à 11 internes en urologie, à 7 chefs de clinique-assistants en urologie et 10 urologues seniors. Les critères d'inclusion étaient pour les étudiants, avoir fait un stage en urologie au cours des 6 mois précédents, pour les internes et les chefs de cliniques, être inscrits au D.E.S.C. d'urologie, pour les urologues seniors, avoir fait au minimum 2 ans de clinicat en urologie. Le groupe d'urologues représentait tous les modes d'exercice possibles de l'urologie (hospitalo-universitaire, hospitalier, libéral) . Tous les participants ont remplis le questionnaire de façon volontaire et anonyme. Seul leur niveau en urologie restait identifié. Tous les questionnaires ont été entièrement complétés.

Système de notation

Il est basé sur le principe que toute réponse fournie par un expert a une valeur intrinsèque, même si cette réponse ne concorde pas avec les réponses d'autres experts [3, 7]. Dans cette étude, le groupe d'urologues confirmés (les experts) constitue le groupe de référence. Leurs réponses ont été utilisées pour attribuer un score à chaque question. Pour chaque item, le crédit accordé à chacune des réponses possibles dépend du nombre d'experts qui ont donné cette réponse. Par exemple, si sur un groupe de 10 experts, 7 répondent +1 et 3 répondent +2, un participant à l'examen recevra un crédit de 7/10 de point s'il répond +1. Un crédit de 3/10e de point sera accordé s'il répond +2. Les autres réponses ne reçoivent aucun crédit. Une fois ces crédits attribués, les scores sont transformés par une simple règle de trois pour que le crédit maximum accordé dans un item soit de 1. Dans l'exemple précédent, la transformation consiste à multiplier le crédits de réponses par 10/7 (la valeur modale pour cet item). La réponse +1 reçoit donc, après transformation, un crédit de 1 point, tandis que la réponse +2 reçoit un crédit de 0.42 (3/10 X 10/7). La note globale obtenue au test correspond au total des scores obtenus à chaque question. Les notes ont été exprimées en moyennes ± D.S.

Analyses statistiques

Les scores moyens de chaque groupe ont été comparés par analyse de variance unifactorielle. Le test à posteriori de Scheffe a été utilisé pour déterminer précisément quelles différences entre les scores des différents groupes étaient significatives. Pour évaluer la présence d'une différence statistique, une valeur de p<0,05 était considérée comme significative. La fiabilité du test a été mesurée à l'aide du coefficient de fiabilité interne alpha de Cronbach.

Résultats

Les externes ont reçu un score moyen de 46,95 ± 6,80, les internes ont reçu un score moyen de 56,18 ± 1,73, les chefs de cliniques ont obtenu un score moyen de 56,27 ± 4,92 et les urologues, un score moyen de 63,38 ± 2,1. Ces résultats sont résumés sur le Tableau III.

La comparaison des scores moyens par analyse de variance montre une différence très significative entre les 4 groupes (p<0,00001). Le test a posteriori de Scheffe indique que le score des externes est significativement moins bon que ceux des autres groupes, que les scores des internes et des chefs de cliniques sont significativement moins bons que ceux des urologues. Par contre il n'y a pas de différence significative entre les internes et les chefs de clinique. Le coefficient de fiabilité interne alpha de Cronbach est de 0,79 pour l'ensemble de l'examen. Les valeurs du coefficient alpha obtenues en retirant chaque items indiquent que presque tous les items contribuent positivement à la fiabilité globale de l'examen.

Discussion

Les recherches en évaluation mettent régulièrement en évidence que les cliniciens expérimentés obtiennent des notes à peine meilleures, voire parfois moins bonnes lorsqu'ils sont soumis aux mêmes examens que des candidats moins expérimentés ou des étudiants [19]. Ces résultats surprenants indiquent que la plupart des méthodes d'évaluation habituelles, notamment les examens écrits, mesurent probablement plutôt les connaissances factuelles que la capacité à résoudre les problèmes en pratique. En ce sens, ces instruments ne semblent pas de bons indicateurs des performances réelles effectuées par les cliniciens au cours de leur pratique quotidienne [12]. Le principe du test de Concordance de Script s'appuie sur les théories du développement de l'expertise clinique qui soutiennent que l'expertise est en grande partie liée à l'organisation des connaissances et aux procédés cognitifs d'activation des connaissances pour faire face aux situations se présentant dans la pratique [2, 10]. Ce test a été développé dans le but d'explorer la capacité d'interpréter et de traiter au fur et à mesure les informations découvertes dans la résolution de problèmes cliniques. Ceci est clairement une composante de la compétence plus importante que la simple mémorisation de connaissances factuelles.

Les résultats obtenus montrent que les scores des participants augmentent parallèlement à leur expérience clinique. Les externes obtiennent un moins bon score que les internes et les chefs de cliniques, les internes et les chefs de clinique obtiennent un moins bon score que les urologues plus expérimentés. Ces données confirment la validité de construit de cet instrument lorsqu'il est appliqué au domaine de l'urologie. Il est habituellement recommandé d'obtenir un coefficient alpha d'au moins 0,80 pour des examens sanctionnants [19]. Compte tenu du caractère expérimental et formatif de notre étude, la valeur du coefficient de fiabilité obtenue pour ce test (0,79) est excellente. Le fait que le choix des situations cliniques et des différentes hypothèses a été choisi par un petit groupe d'urologues expérimentés puis évalué par un autre groupes d'urologues au moment de compléter le questionnaire, conforte la validité de contenu de notre examen. Les données confirment les résultats des études préalables effectuées dans d'autres domaines (radiologie, gynécologie) avec un plus grand nombre de participants [3-6].

Au cours du test de Concordance de script, les candidats doivent résoudre des problèmes survenant réellement lors de la pratique et doivent répondre à des questions que des urologues expérimentés considèrent comme cruciales dans le procédé de résolution du problème donné. Le test de Concordance de Script a également prouvé sa faisabilité. Il est relativement facile à construire et à manier. Il peut être administré aussi bien sous forme papier-crayon que sous forme informatisée. Son développement, son administration et sa correction entraïnent des coûts raisonnables en terme de personnel et de matériel. Un des avantages du système de notation est que le test peut évaluer les participants sur des problèmes pour lesquels il n'y a pas nécessairement de consensus entre les experts, ni même dans la littérature ou en pratique.

Il est bien établi que l'évaluation a un impact fort sur les stratégies d'apprentissage. Les étudiants adaptent leur mode d'apprentissage en fonction de leur perception du système d'évaluation [19]. Le test de Concordance de Script a pour objet de proposer une activité de résolution de problème et de refléter au maximum la réalité professionnelle. Son utilisation pourrait influencer favorablement les activités d'apprentissage des étudiants et des internes.

L'étude a été réalisée pour vérifier la faisabilité et l'utilité du test en urologie, elle comporte certaines limites dues au petit nombre de participants. Le fait que nous n'avons pas trouvé de différence entre les scores obtenus par les internes et ceux des chefs de cliniques est en partie lié à la petite taille du groupe de chefs de cliniques. En fait, 3 chefs de cliniques sur 7 étaient en cours de première année de clinicat, et 5 internes sur 11 étaient en fin d'internat. Ces données expliquent que la différence des niveaux moyens de compétences des 2 groupes ne soit pas significative. Un des externes n'a pas rempli le questionnaire dans les mêmes conditions que l'ensemble des participants et a obtenu un score anormalement important (59,87) contribuant à la grande variabilité des scores de ce groupe. Par ailleurs, le système de notation adopté pourrait être discuté, puisqu'il attribue par définition aux urologues interrogés un crédit de points à chaque item. En fait, le but principal de cet examen formatif était de mesurer la concordance entre les scripts des externes et des urologues en formation et ceux d'urologues confirmés. Le système adopté s'est avéré suffisant pour dépister l'effet recherché.

En fait les limites réelles de ce type d'évaluation sont bien établies. Le test de Concordance de Script est un examen écrit et ne peut évaluer efficacement des habiletés importantes telles que les habiletés de recueil des données à l'interrogatoire et à l'examen physique, les habiletés relationnelles et les habiletés techniques. D'autres outils d'évaluation comme l'Examen Clinique Objectif Structuré ont prouvé leur utilité pour mesurer les habiletés cliniques en urologie, mais ont également montré leurs limites [17, 18]. La compétence clinique est un construit multidimensionnel. Un seul type d'évaluation, aussi pertinent soit-il ne peut mesurer à lui seul toutes les facettes de la compétence clinique [17-19]. Le test de Concordance de Script explore les capacités d'interprétation des données au cours du raisonnement clinique et devra être utilisé en complémentarité avec les autres instruments d'évaluation.

CONCLUSIONS

Malgré leurs limites, nos résultats démontrent que le test de Concordance de Script est capable de discriminer des groupes de sujets de niveaux de compétence différents en urologie. Ce test semble mesurer une dimension de la compétence clinique pour laquelle les cliniciens experts sont réellement plus performants que des sujets moins expérimentés. Notre étude confirme les caractéristiques psychométriques intéressantes (validité de construit, fiabilité) du test de Concordance de Script appliqué à l'urologie. Nos données soutiennent également l'hypothèse que l'organisation des connaissances adaptées aux tâches cliniques se développe progressivement avec l'expérience acquise au cours de la formation, puis de la pratique médicale. Ce type d'évaluation apparaît prometteuse et doit faire l'objet d'autres développements pour confirmer son intérêt comme instrument d'évaluation de la compétence clinique en urologie.

Références

1. BARROWS H.S., NORMAN G.R., NEUFELD V.R., FEIGHTNER J.W. The clinical reasoning of randomly selected physicians in medical general practice. Clin. Invest. Med., 1982, 5, 49-55.

2. BORDAGE G. Elaborated knowledge: A key to successful diagnostic thinking. Acad. Med., 1994, 69, 883-885.

3. BRAILOVSKY C., CHARLIN B., BEAUSOLEIL S., COTE S., VAN DER VLEUTEN C. Measurement of clinical reflective capacity early in training as a predictor of clinical reasoning performance at the end of residency : an experimental study on the script concordance test. Med. Educ., 2001, 35, 430-436.

4. CHARLIN B., BRAILOVSKY C.A., LEDUC C., BLOUIN D. The Diagnostic Script Questionnaire: A new tool to assess a specific dimension of clinical competence. Adv. in Health Sci. Ed., 1998, 20, 51-58.

5. CHARLIN B., BRAILOVSKY C.A., BRAZEAU-LAMONTAGNE L., SAMSON L., LEDUC C. Script questionnaires: their use for assessment of diagnostic knowledge in radiology. Med. Teach., 1998, 20, 567-571.

6. CHARLIN B., TARDIF J., BOSHUIZEN H.P.A. Scripts and medical diagnostic knowledge: theory and applications for clinical reasoning instruction and research. Acad. Med., 2000, 75, 182-190.

7. CHARLIN B., BRAILOVSKY C.A., ROY L., VAN DER VLEUTEN C.P. The script concordance test: A tool to assess the reflective physician. Teach. Learn. Med., 2000, 12, 189-195.

8. CUSTERS J.F.M., REGHER G., NORMAN G.R. Mental representations of medical diagnostic knowledge: a review. Acad. Med., 1996, 71 (Suppl.),S55-S61.

9. ELSTEIN A.S., SHULMAN L.S., SPRAFKA S.A. Medical problem solving : an analysis of clinical reasoning. Cambridge, MA (U.S.A), Harvard University Press, 1978.

10. FELTOVICH P.J. Expertise: Reorganizing and refining knowledge for use. Professions Education Research Notes, 1983, 4, 5-9.

11. FELTOVICH P.J., BARROWS H.S. Issues of generality in medical problem solving. In: Tutorials in problem-based learning: A new direction in teaching the health professions. H.G. Schmidt, M.L. De Volder eds. Assen (Holland), Van Gorcum, 1984, pp. 128-142.

12. McGAGHIE W.C. Evaluating competence for professional practice. In: Educating Professionals: Responding to new expectations for competence and accountability. L. Curry, J.F. Wegin eds. San Franscico (U.S.A.), Jossey-Bath, 1993, pp. 229-261.

13. NORMAN G.R. Defining competence: A methodological review. In: Assessing Clinical Competence. V.R. Neufeld, G.R. Norman G.R. eds. New-York (U.S.A.),Springer, 1985, Vol 7, pp 15-35.

14. NORMAN G.R., TUGWELL P., FEIGHTNER J.W., MUZZIN L.J., JACOBY L.L. Knowledge and clinical problem solving. Med. Educ., 1985, 19, 344-536.

15. REGHER D, NORMAN G.R. Issues in cognitive psychology: implications for professional education. Acad. Med., 1996, 71, 988-1001.

16. SCHMIDT H.G., NORMAN G.R., BOSHUIZEN H.P.A. A cognitive perspective on medical expertise: Theory and implications. Acad. Med., 1990, 65, 611-621.

17. SIBERT L., GRAND'MAISON P., CHARLIN B., GRISE P. Evaluation de la compétence clinique en urologie : Approche innovatrice basée sur l'observation de la performance. Prog. Urol., 1997, 7, 581-589.

18. SIBERT L., GRAND'MAISON P., DOUCET J., WEBER J., GRISE P. Initial experience of an Objective Structured Clinical Examination in evaluating urology residents. Eur. Urol., 2000, 37, 621-627.

19. VAN DER VLEUTEN C.P.M. The assessment of professional competence: development, research and practical implications. Adv. Health. Sci. Educ., 1996, 1, 41-67.