Utilisation du portfolio au cours du deuxième cycle des études médicales dans un service d'urologie

05 octobre 2007

Mots clés : urologie, enseignement, portfolio.Niveau de preuve : NA
Auteurs : Amsellem-Ouazana D., Van Pee D., Godin V.
Référence : Prog Urol, 2007, 17, 978-982
But : Introduire dans un service d'Urologie la réalisation par des étudiants hospitaliers de DCEM III et IV, d'un portfolio (PF) comme outil d'apprentissage et d'évaluation.
Méthodes : Au cours de 6 sessions consécutives de 3 mois, 36 étudiants hospitaliers ont constitué chacun un PF. Après avoir choisi un sujet urologique, chaque étudiant identifie ses besoins d'apprentissage et construit un PF en collectant des informations diverses (livres, articles médicaux, internet, orales, ...) avec l'aide d'un tuteur. Le PF doit être construit sous la forme d'une succession de questions que se posent l'étudiant et de réponses apportées par les informations recueillies. Le PF est noté (sur 20) et compte pour la validation du stage. Les étudiants remplissent un questionnaire de satisfaction.
Résultats : Tous les étudiants ont été validés (moyenne 14,2/20). Les résultats du questionnaire de satisfaction ont montré que, bien qu'aucun étudiant n'ait réalisé un PF avant, 27/30 ayant un autre stage à effectuer souhaitaient en refaire. Ce questionnaire a aussi montré que le PF permet d'améliorer les connaissances théoriques (30/36), les besoins en vue d'une pratique professionnelle (17/36), l'aptitude à sélectionner des données (34/36), qu'il est un bon outil d'auto apprentissage (36/36). Les étudiants ont rencontré le plus de difficultés dans la réalisation du tri des données (26/36) et la formulation par écrit des questions et des réponses (35/36).
Conclusion : Le PF semble être un bon outil d'apprentissage et d'évaluation, utilisable dans un stage de chirurgie. Il permet aux étudiants de réaliser un travail personnel et met en évidence la qualité de leur démarche de raisonnement.

Traditionnellement, les études médicales sont organisées en apprentissages théoriques et pratiques. Les enseignements théoriques sont faits par spécialités, groupe de spécialités ou modules transversaux. L'évaluation des étudiants, qui conditionne directement leurs apprentissages, est souvent faite dans une perspective docimologique où les apprentissages sont mesurés indirectement grâce à des tests standardisés. La qualité métrologique des instruments de mesure est alors le garant de la rigueur de ces évaluations. Les nouvelles réformes des Etudes Médicales, et en particulier la réforme ayant abouti à la mise en place de l'Examen National Classant, souhaitent privilégier l'évaluation d'un raisonnement expert (introduction de dossiers transversaux se voulant complexes) plutôt que des procédures d'évaluation standardisées pouvant "surcôter" des comportements novices (questions à choix multiple).

Depuis l'introduction des questions à choix multiple dans les années 60, différents concepts d'évaluation ont été appliqués en médecine avec plus ou moins de succès (patients standardisés joués par des comédiens dans les ECOS, analyse de cas cliniques sous différents formats, test de concordance de script, portfolio, ...) [1]. Le portfolio (PF), est une collection organisée de matériel témoignant des apprentissages effectués et des compétences acquises par l'étudiant dans le domaine ciblé et pendant une période déterminée [2]. L'étudiant doit documenter l'atteinte d'objectifs d'apprentissage, faire état de l'étendue de l'apprentissage, illustrer les démarches qui ont été menées, comprendre son propre apprentissage [3]. Ainsi, le PF est un outil d'apprentissage. Le PF est dans sa construction même un outil d'évaluation formative car chaque collecte de données est revue par un tuteur qui réoriente en permanence l'étudiant. Il y a donc auto évaluation par l'étudiant, interaction avec un senior, recherche complémentaire et, de nouveau interaction.

Nous avons choisi d'introduire le PF dans un stage pratique de chirurgie après avoir fait la constatation qu'il est quelquefois difficile pour l'étudiant d'apprécier la valeur ajoutée du stage par rapport à l'enseignement théorique de la spécialité (en dehors des gestes techniques). En outre, dans la mesure où l'évaluation des étudiants en fin de stage est souvent peu formalisée (note d'impression globale sur l'étudiant, examen peu formel), il nous est apparu opportun de tester l'utilisation du PF comme outil d'évaluation certificative. Nous proposons son évaluation après 18 mois d'utilisation.

METHODE

Au cours de six trimestres consécutifs de stages hospitaliers, 6 séries de 6 étudiants (DCEM 3 et DCEM 4), ont été prévenues le jour de la réunion d'accueil dans le service du mode de validation du stage c'est-à-dire la présentation d'un PF. La mise en place du PF dans le service s'est faite comme suit. Dans un premier temps, après 15 jours de stage, chaque étudiant devait choisir un sujet pour son PF. Le choix se faisait à partir de l'observation d'un patient hospitalisé, d'un patient vu en consultation, d'un thème de l'Urologie posant problème à l'étudiant ou que celui-ci souhaitait tout simplement développer. L'étudiant devait alors formuler par écrit quels étaient ses objectifs d'apprentissages en termes de connaissances à acquérir et/ à développer. Chaque mois, l'étudiant rencontre un référent tuteur (DAO) pour suivre l'avancement du PF et redéfinir ses objectifs d'apprentissage. Le compte-rendu écrit de cette réunion de "réorientation" des recherches devait figurer dans le PF. De même, devait figurer dans le PF, un bilan de la démarche d'apprentissage de l'étudiant, en particulier centré sur les difficultés rencontrées et sur les solutions envisagées. Les étudiants ont été informé préalablement du type d'éléments pouvant être mis dans le PF : documents papiers (livres, polycopiés), documents issus de recherche sur internet (articles médicaux, informations sur des sites patients ou médicaux), comptes-rendus d'entretiens avec des "personnes ressources" ... La validation du stage était la présentation du PF par chacun, mettant en évidence le bilan des apprentissages, lors d'une réunion informelle regroupant des étudiants et DAO pour les 6 premiers étudiants et devant l'ensemble du service pour les suivants. La grille de notation en 8 items sur 20 points (Tableau I) était connue des étudiants dès la réunion d'accueil. Avant l'examen de stage (réunion de présentation des PF), un questionnaire de satisfaction était distribué aux étudiants (Tableau II).

Résultats

Utilisation antérieure du PF

Aucun des 36 étudiants ne connaissaient le PF avant la première réunion.

Choix des sujets, éléments du PF

Quelques exemples de sujets choisis ainsi que les éléments mis dans les PF et leur fréquence d'utilisation sont présentés dans le Tableau III. Chaque réunion avec le tuteur a permis de réorienter l'étudiant vers les sources d'informations appropriées pour compléter le PF. Ainsi, c'est au cours de ces entretiens que chaque étudiant a été guidé pour faire une recherche bibliographique sur le site http://www.ncbi.nlm.nih.gov et son lien PubMed afin d'apprendre à trier les informations de la littérature médicale. Parmi les 36 étudiants, 10 avaient déjà eu l'occasion d'aller sur ce site. En revanche, les étudiants étaient tous familiers avec les moteurs de recherche (Google le plus souvent), c'est ainsi qu'ils ont souvent consulté les sites patients, les sites d'informations médicales grand public, le site de l'AFU voire le site de l'ANAES. La vie des étudiants dans le service les a mis en contact avec les délégués médicaux. Lors des réunions mensuelles, les plaquettes distribuées par l'industrie pharmaceutique ont été prétextes à discussion sur l'objectivité de l'information délivrée.

La consultation de personnes ressources a été spontanée 12 fois, 10 étudiants ont eu l'idée de poser des questions à quelqu'un sur les conseils de leurs collègues. Les 14 autres étudiants ne se sont dirigés vers des personnes ressources qu'après y avoir été invités par le tuteur.

Tableau 1 : Grille de notation.

Questionnaire de satisfaction

Ses résultats sont présentés dans le Tableau II. On peut remarquer que la plupart des étudiants a trouvé difficile le choix d'un sujet de PF, en particulier les DCEM3 qui n'avaient jamais fait d'Urologie auparavant. Les 20 étudiants qui ont fait état de difficultés pour leurs recherches internet avaient utilisé des moteurs de recherche généralistes les ayant orienté vers des sites ne répondant pas à leurs attentes. Ils ont du être guidés pour apprendre à faire une recherche bibliographique sur internet. 26 sur 36 ont jugé compliqué de trier les données trouvées, d'abord par difficulté de compréhension (résumés en anglais) et ensuite car il leur a semblé manquer de connaissances théoriques pour juger la qualité des articles retenus. La formulation par écrit des questions et la rédaction des comptes-rendus d'entretiens a été jugé comme partie la plus difficile de la constitution du PF et ceci par l'ensemble des étudiants.

Un peu plus de la moitié des étudiants a jugé que savoir questionner des personnes autour de soi, aller chercher des informations, faisait partie d'une démarche qu'ils auraient certainement à faire dans leur vie professionnelle. Ils apparentaient cette démarche à celle de la recherche de correspondants lors d'une installation extra hospitalière ou à de la formation médicale continue. Les étudiants concernés ont pensé que la présentation devant l'ensemble du service leur permettait d'apprendre à parler en public. Six d'entre eux ont même préparé un diaporama. Presque tous ont estimé avoir appris des PF de leurs collègues, et, de surcroït, les étudiants se sont vraiment aidés entre eux pendant toute la durée du stage pour la constitution de leur PF. De façon surprenante, après avoir été très peu enthousiastes au départ, 27 des 30 étudiants allant dans un autre stage souhaitaient refaire un PF dans leur stage suivant.

Evaluation certificative

La note médiane (Tableau I), pour les 36 étudiants, était de 14,2 variant de 12 à 18.

Discussion

L'utilisation du PF demeure encore peu répandue en médecine même si la littérature rapporte son utilisation dans des situations éducationnelles diverses, dont la médecine, où l'on trouve des exemples de son apport tout au long du cursus des études, et durant l'exercice professionnel [4, 5].

Il s'agit d'un outil pédagogique qui encourage l'apprentissage autonome et réflexif fournissant ainsi un modèle pour l'auto apprentissage continu de l'exercice professionnel futur. Il apprend à l'étudiant à apprendre des expériences les plus diverses. Ainsi, il fait naturellement le lien entre apprentissages théoriques et pratiques. Ce lien se fait de façon privilégiée lors des stages pratiques. Le stage hospitalier est un moment idéal pour se poser des questions (auto apprentissage), développer son raisonnement expert devant des problèmes complexes (vrais dossiers de vrais malades où différentes pathologies sont intriquées). Le contact avec tous les acteurs d'un service hospitalier (médicaux et para médicaux) permet d'identifier des personnes ressource capables de répondre à une question que se pose l'étudiant. La rédaction d'un "journal de bord" du déroulement d'un stage par un étudiant constitue un PF : accumulation de questions/réponses ; méthodes d'investigation ; choix des réponses parmi des documents ou des personnes ressources (qui aller voir, quel document choisir). Le PF peut alors avoir une autre vertu : identifier la capacité qu'a un étudiant à discriminer les données auxquelles il a accès.

En France, ces stages commencent assez précocement dans le cursus, cependant le gap entre théorie et pratique existe et s'accroït à mesure que l'enseignement au lit du malade décroït. Lors de la constitution d'un PF l'étudiant se penche systématiquement sur l'action ou la réflexion qu'il entreprend, en réponse à une situation réelle, et l'analyse. Finalement, il accroche un "matériel illustratif" à chacune de ses idées.

En revanche, utiliser le PF comme outil d'évaluation sommative (note) et/ou de certification (autorisation à passer dans une année supérieure, admission d'un candidat à un examen) est plus discuté. La fiabilité inter correcteur est faible [6] même si certains auteurs pensent qu'une plus grande structuration du PF et de sa grille d'évaluation permettent de l'augmenter [7]. Finalement, si certains l'ont utilisé comme outil docimologique [8], d'autres s'en sont même servi comme outil d'évaluation sommative de la dernière année d'études médicales [7].

Souhaitant développer la conduite pré professionnelle que la constitution d'un PF impose à un étudiant du deuxième cycle des études médicales, nous avons introduit dans un service de chirurgie le PF comme instrument d'apprentissage. En outre, pour tenter de formaliser l'évaluation de fin de stage, nous l'avons également utilisé comme instrument d'évaluation certificative et sommative. Ce faisant, nous souhaitons renforcer l'implication active de l'étudiant dans la définition de ses besoins d'apprentissage et dans la manière dont il va les combler. L'étudiant est responsable de ses apprentissages et l'utilisation du PF comme outil d'évaluation certificative l'engage d'avantage encore dans cette démarche.

Comme le suggère la littérature, les trois points clés pour la réussite du PF sont : sa structure, le tutorat qui l'accompagne et l'évaluation [9]. La structure, si elle est importante, ne doit pas être trop rigide au risque de transformer le PF en une "check-list" que l'étudiant s'efforcerait de remplir. Il pourrait s'en suivre l'absence d'observations personnelles de l'étudiant. L'étudiant doit être libre quant au type de documents qu'il peut y inclure mais il doit exister une structure, même souple. L'école néerlandaise [9] recommande de structurer le PF autour des rôles professionnels du médecin : expert médical, chercheur, acteur du système de santé, être humain. Dans cette étude faite auprès d'étudiants du premier cycle des études médicales, le PF, véritable journal de bord, documente les apprentissages en fonction de ces différents rôles professionnels et est assorti d'une identification des points forts et des points faibles de l'étudiant. Cette structure de PF pourrait être proposée à des étudiants plus avancés dans la formation. Ainsi, l'utilisation du PF comme outil d'apprentissage théorique et pratique d'une spécialité a déjà été proposé en gynécologie et obstétrique en Finlande [10]. De plus, certains auteurs ont même utilisé le PF pour étudier les sentiments que procurent les premiers contacts avec les malades pour un étudiant [11].

Tout au long de ces 18 mois, la relation avec le tuteur nous a semblé être un point fondamental de la réussite de la mise en place de ce nouvel outil pédagogique. Le tuteur permet à l'étudiant de mettre le doigt sur ses faiblesses et suggère un calendrier de recherches afin que le PF s'organise tout au long du stage. Ceci permet des allers-retours étudiants/tuteur et donc questions/réponses qui font que le PF se construit de lui-même et semble ainsi moins rébarbatif. En effet les 36 étudiants semblaient perdus au départ devant ce qu'ils pensaient être l'immensité de la tâche. En outre, les réunions itératives permettent au tuteur de valider au fur et à mesure le contenu à proprement parlé du PF.

L'évaluation formative est inhérente à la démarche de construction du PF. Les rencontres régulières avec le tuteur, où celui-ci exprime son insatisfaction éventuelle quant à l'avancée des recherches et analyse l'effort fait et à faire, contribue largement à ce type d'évaluation. Nous plaidons également pour l'utilisation du PF à des fins sommatives : en effet pour l'étudiant, produire un travail sans récompense n'est pas valorisant. De surcroït, c'est en changeant les méthodes d'évaluations que l'on change les méthodes d'apprentissages. Cependant, transformer le PF en outil d'évaluation sommative pour une année d'étude, voire une spécialité dans son intégralité (acquisitions théoriques et pratiques) nécessiterait une standardisation des données s'y trouvant ce qui semble contraire à l'esprit du PF : autonomie des apprentissages et réflexivité. C'est pourquoi, l'évaluation restera qualitative même si l'on introduit un certain degré de standardisation des données [12]. Ajoutons que, dans la perspective d'une évaluation certificative, il est indispensable de transmettre à l'étudiant une grille d'évaluation. Certains proposent une technique d'utilisation du PF comme outil précis d'évaluation sommative en cinq étapes : documentation, réflexion, évaluation, défense et décision [13].

Dans l'expérience que nous décrivons, les étudiants tout d'abord réticents, ont largement apprécié la constitution d'un PF et lui ont très largement reconnu les vertus pédagogiques qu'on lui prête. Son utilisation sur une courte période de temps, alors qu'il est présenté dans la littérature comme outil accompagnant l'étudiant sur au moins un an, est réalisable. C'est la mise en place d'un PF qui nous a permis d'apprendre concrètement à chaque étudiant une méthodologie de recherche de données médicales sur les librairies ou banques de données en ligne type PubMed. Encore plus crucial, le PF nous est apparu comme un excellent outil permettant d'apprendre aux étudiants à classer les informations dont ils disposent. Car s'ils ne se sont que très peu plaints d'avoir des difficultés à trouver des informations, ils ont tous exprimés leur désarroi quant à la difficulté de les analyser, les trier et enfin les sélectionner. Nous avons été surpris par la difficulté que les étudiants ont eu à écrire : comptes-rendus d'entretiens avec les personnes ressources ou avec le tuteur, mais aussi tout simplement difficultés à formuler puis à rédiger les questions qu'ils se posaient et qui motivaient leurs recherches. Nous pensons néanmoins élargir le PF à l'identification des besoins d'apprentissages en termes de connaissances procédurales, ce qui était d'ailleurs souhaité par les étudiants.

Conclusion

Cette étude montre que le PF est utilisable sur une courte période (3 mois), dans un service de chirurgie, par des étudiants du deuxième cycle des études médicales. Il semble être un bon outil d'apprentissage et d'évaluation. Il permet aux étudiants de réaliser un travail personnel et met en évidence la qualité de leur démarche de raisonnement. Il les autonomise dans leur recherche. Ce travail a aussi mis l'accent sur la difficulté des étudiants à rédiger leurs idées. Enfin, comme rapporté dans la littérature [14], les étudiants étaient globalement satisfaits d'avoir fait ce travail, l'ont jugé utile et avaient envie de recommencer, ce qui nous amène à poursuivre l'expérience.

Tableau II : Questionnaire de satisfaction et réponses pour 36 étudiants.
Tableau III : Exemples de composition de portfolios.

Références

1. SIBERT L., CHARLIN B., GAGNON R., CORCOS J., KHALAF A.,GRISE P. : Evaluation du raisonnement clinique en urologie : l'apport du test de concordance de script. Prog. Urol. 2001 ; 11 : 1213-1219.

2. JOUQUAN J. : Evaluation de la performance clinique. 2004.

3. HUBA M.E., FREED J.E. : Learner-centered assessment on college campuses : shifting the focus from teaching to learning. Allyn and Bacon, 2000.

4. SNADDEN D.,THOMAS M.L. : Portfolio learning in general practice vocational training--does it work ? Med. Educ., 1998 ; 32 : 401-406.

5. PITTS J., COLES C.,THOMAS P. : Enhancing reliability in portfolio assessment: 'shaping' the portfolio. Med. Teach, 2001 ; 23 : 351-356.

6. GEARHART M.G., WOLF S.A. : Issues in portfolio assessment : assessing writing processes from their products. Educational assessment, 1997 ; 4 : 265-296.

7. DAVIS M.H., FRIEDMAN BEN-DAVID M., HARDEN R.M., HOWIE P., KER J., MCGHEE C., PIPPARD M.J.,SNADDEN D. : Portfolio assessment in medical students' final examinations. Med. Teach., 2001 ; 23 : 357-366.

8. CHALLIS M. : Portfolios and assessment: meeting the challenge. Med. Teach, 2001 ; 23 : 437-440.

9. DRIESSEN E., VAN TARTWIJK J., VERMUNT J.D.,VAN DER VLEUTEN C.P. : Use of portfolios in early undergraduate medical training. Med. Teach, 2003 ; 25 : 18-23.

10. LONKA K., SLOTTE V., HALTTUNEN M., KURKI T., TIITINEN A., VAARA L.,PAAVONEN J. : Portfolios as a learning tool in obstetrics and gynaecology undergraduate training. Med. Educ., 2001 ; 35 : 1125-1130.

11. PITKALA K.H.,MANTYRANTA T. : Feelings related to first patient experiences in medical school. A qualitative study on students' personal portfolios. Patient Educ. Couns., 2004 ; 54 : 171-177.

12. NORMAN G.R., VAN DER VLEUTEN C.P., DE GRAAFF E. : Pitfalls in the pursuit of objectivity : issues of validity, efficiency and acceptability. Med. Educ., 1991 ; 25 : 119-126.

13. FRIEDMAN BEN DAVID M., DAVIS M.H., HARDEN R.M., HOWIE P.W., KER J., PIPPARD M.J. : AMEE Medical Education Guide No. 24: Portfolios as a method of student assessment. Med. Teach, 2001 ; 23 : 535-551.

14. REES C., SHEARD C. : Undergraduate medical students' views about a reflective portfolio assessment of their communication skills learning. Med. Educ., 2004 ; 38 : 125-128.