Planification systématique de l'apprentissage des gestes techniques en chirurgie urologique : essai méthodologique

11 juin 2002

Mots clés : urologie, Technique, enseignement, méthode Delphi, objectifs d'apprentissage.
Auteurs : SOULIÉ M., SIBERT L., SAMSON L., GRISE P., PLANTE P., CHARLIN B.
Référence : Prog Urol, 2002, 12, 43-51
Objectifs : Pour acquérir la compétence professionnelle, le jeune urologue en formation doit être aidé et guidé dans l'acquisition des habiletés techniques chirurgicales. Cet essai méthodologique a pour but de définir des objectifs d'apprentissage à partir de besoins formulés sous forme de gestes techniques de base.
Matériels et méthodes : Une planification systématique basée sur le cycle des apprentissages a été utilisée dans ce travail. Les besoins ont été identifiés par un questionnaire adressé à 4 groupes d'urologues en nombre limité (une douzaine) mais représentatifs des différents modes d'exercice de l'urologie dans plusieurs régions de France. Le recueil des données a été fait selon la méthode Delphi.
Résultats : Une liste des "10 interventions à maitriser en fin d'internat" a été définie de manière consensuelle à partir des réponses (79,2%) au questionnaire. Cette liste a servi de base à la conception d'objectifs d'apprentissage généraux et spécifiques par intervention. Ces objectifs ont été validés par les urologues consultés. Trois exemples de ces objectifs sont présentés.
Conclusion : La détermination claire des besoins et des objectifs d'apprentissage des gestes chirurgicaux pourrait amener une standardisation de la formation pratique des internes en urologie. Il sera nécessaire, dans un second temps, de la compléter par la détermination des moyens d'évaluation de l'atteinte des objectifs pour les tuteurs et les urologues en formation.



Dans toute discipline chirurgicale comme l'urologie, l'apprentissage des gestes techniques se fait avant tout par le compagnonnage, au cours des divers stages choisis dans les spécialités chirurgicales des services universitaires, puis secondairement dans les lieux d'exercice privés et publics. Malgré son incontestable efficacité, cet apprentissage technique est quelque peu aléatoire et n'est pas codifié de façon claire contrairement aux connaissances théoriques dispensées au sein des services et de l'Enseignement du Collège des Urologues (ECU) [21]. Le résultat de cet apprentissage est apprécié sur le ' produit fini ' en fin de cursus de l'interne, qui se base sur une appréciation globale du niveau de compétence rapportée dans le cahier de l'interne, sans une prise en compte standardisée et méthodique de ses aptitudes réelles aux techniques chirurgicales [12, 23].

De nombreux travaux de recherche ont été réalisés, depuis une dizaine d'années en Amérique du Nord, sur les moyens d'acquisition et d'évaluation des habiletés techniques en chirurgie, essentiellement pour les résidents en chirurgie générale et digestive [1, 5, 8, 11-13, 19, 20]. Rares sont les études rapportant des programmes structurés pour l'apprentissage des gestes techniques de base ou plus approfondis en spécialité chirurgicale [7, 18]. Nous n'avons pas identifié de tels travaux dans la discipline urologique.

Dans ce contexte, nous proposons un essai purement méthodologique de planification des apprentissages à partir de besoins formulés. Le contenu sur lequel s'exerce cet essai sera volontairement arbitraire et limité. Cette planification méthodique, mais non rigide, s'intéresse à l'acquisition progressive des gestes techniques de base dans le cadre d'une démarche consensuelle impliquant l'ensemble de la communauté urologique. Le premier temps de cette démarche est de déterminer les besoins essentiels et de définir les objectifs d'apprentissage correspondants, en utilisant la méthode Delphi [4, 6]. Le but de cette proposition de planification destinée à l'interne en formation urologique est d'être une aide et un guide dans l'acquisition progressive de la compétence technique [10, 14, 22].

MATERIEL ET METHODES - Préambule

Comme pour toute démarche d'activité de formation en sciences de l'éducation, ce travail s'appuie sur une planification systématique [2]. Cette planification comprend une série d'étapes interdépendantes et ordonnées en une séquence logique qui définit le cycle des apprentissages [3, 9] (Figure 1) :

- L'analyse des besoins éducatifs

- La formulation des objectifs d'apprentissage

- Le choix des moyens d'apprentissage

- La mesure de l'atteinte des objectifs par les étudiants

- L'évaluation de l'activité (de la formation aux techniques chirurgicales)

Figure 1 : Le cycle des apprentissages (d'après Jean P. [2]).

Dans ce travail, nous nous limiterons à l'identification des besoins et des objectifs d'apprentissage. Pour déterminer les objectifs, il faut avoir une perception claire des besoins éducatifs de l'apprenant, représenté ici par l'interne en formation urologique. L'étape de détermination des besoins est très souvent escamotée dans la planification des activités de formation.

Quelques définitions sont indispensables à la compréhension de la méthodologie qui a dicté la formulation de ce travail [3, 9].

Un besoin éducatif est une déficience qui peut être comblée par une activité d'apprentissage. C'est l'écart qui existe entre la situation actuelle et la situation désirée. Parmi les besoins éducatifs, on distingue :

- Les besoins ressentis qui sont les déficiences de l'apprenant telles qu'il les perçoit.

- Les besoins démontrés ou observés qui sont les déficiences mises en évidence par des observations faites par d'autres sur la performance réelle de l'apprenant.

Pour analyser les besoins ressentis et démontrés, le questionnaire d'enquête ou l'observation directe peuvent être utilisés.

- Les besoins normatifs correspondent au niveau de performance souhaité par rapport à la norme. Ils découlent des progrès constants de la science ou de la décision des institutions. Ces besoins sont déterminés par des experts indépendamment de l'apprenant.

L'analyse des besoins permet d'identifier un certain nombre de tâches que l'interne doit savoir accomplir au terme de son cursus. C'est en décomposant chacune de ces tâches que l'on arrive à identifier ce que l'interne doit acquérir pour pouvoir effectuer la tâche : ce sont les objectifs d'apprentissage.

Un objectif d'apprentissage est un énoncé qui décrit brièvement ce que l'étudiant sera capable de faire après l'apprentissage qu'il n'était pas capable de faire avant. Le contenu d'un objectif d'apprentissage doit théoriquement répondre à trois principes : être pertinent, univoque et réaliste. Un bon objectif doit correspondre à une action observable et se révéler utile, utilisable et pratique.

On distingue des objectifs généraux (ce vers quoi tend un apprentissage) qui englobent des objectifs spécifiques (exprimés en terme de comportements observables en fin de période de formation).

Les objectifs pédagogiques se répartissent en trois domaines de la connaissance : le domaine cognitif (le savoir ou les connaissances), le domaine psychomoteur (le savoir-faire ou les gestes) et le domaine affectif (le savoir-être ou les attitudes).

Trois niveaux taxonomiques sont considérés dans le domaine psychomoteur : l'imitation du geste, le contrôle précis d'un geste, l'accomplissement automatique d'un geste. Ces trois niveaux représentent une progression dans l'acquisition du geste.

Dans ce travail, nous nous sommes limités au domaine psychomoteur.

La détermination des besoins

Pour déterminer les besoins et définir les gestes chirurgicaux essentiels à acquérir, nous nous sommes appuyés sur une enquête réalisée auprès de petits groupes d'urologues exerçant dans diverses régions de France.

Quatre groupes équivalents d'urologues représentatifs des principaux modes d'exercice de l'urologie en France ont été interrogés : des urologues hospitalo-universitaires, des urologues hospitaliers non CHU et des urologues exerçant en secteur privé, des urologues en formation à deux niveaux : chefs de clinique (CCA) et internes inscrits au DES d'urologie.

Les besoins ressentis ont été identifiés auprès des internes et des CCA en première année. Les besoins démontrés ont été identifiés auprès des CCA plus anciens, des urologues libéraux et hospitaliers. Les besoins normatifs ont été énoncés par les PU-PH.

Collecte des données

Elle a été effectuée selon la méthode Delphi. Cette méthode est utilisée lorsqu'il s'agit de répondre à des questions tout en prenant en compte l'avis de plusieurs experts, par questionnaire et de façon séquentielle. Les experts sont renseignés de façon anonyme sur la réponse médiane du (ou des) groupe(s) et sont invités à modifier leur réponse s'ils le jugent à propos. Après un ou plusieurs tours, lorsque la proposition est consensuelle, elle est acceptée. Ce n'est pas une méthode de consensus mais une méthode de révélation de consensus (ce sur quoi les experts sont d'accord) ou de dissensus (ce sur quoi les experts sont en désaccord) [4, 6].

Tous les urologues ont été interrogés par courrier avec la même question, lors d'un premier tour :

"Quelles sont, pour vous, les 10 interventions qu'un interne en Urologie doit savoir maitriser à l'issue de son internat, avant de commencer le clinicat".

Les réponses étaient anonymes, mais il était demandé à chacun de mentionner son type d'exercice et de se situer en France par la ville ou la région d'exercice.

Tous les groupes ont été interrogés séparément avec une collecte itérative des données.

Ainsi, une liste des 10 interventions les plus fréquemment rapportées a pu être identifiée et à nouveau soumise lors d'un second tour aux différents groupes, pour informer les urologues des réponses de leurs collègues et connaitre leur opinion.

Formulation des objectifs

"La formulation d'un objectif spécifique décrit une action, un comportement observable et en précise les conditions de réalisation" [2, 3, 9]. A partir de la liste finalisée et validée par les différents groupes, des objectifs généraux et spécifiques ont été définis par les auteurs du travail. Lors d'un troisième tour, cette liste d'objectifs a été soumise pour opinion aux différents groupes et à des urologues non encore consultés en vue d'une validation consensuelle.

Résultats

Le questionnaire a été adressé à 4 groupes de 12 urologues confirmés ou en formation : 12 PU-PH, 12 urologues libéraux ou hospitaliers, 12 chefs de clinique-assistants (CCA), 12 internes inscrits au DESC d'urologie. Le nombre de réponses a été de 38 soit un taux de réponses de 79,2%. La durée totale de l'enquête a été de deux mois pour la réalisation des trois tours en vue de l'obtention d'un consensus.

Les régions intéressées par l'enquête ont été Midi-Pyrénées, la Basse-Normandie, le Languedoc-Roussillon, l'Ile-de-France, l'Ouest (pays nantais) et la Bretagne.

La liste des 10 interventions validées par les quatre groupes à l'issue des deux tours est présentée dans le Tableau I. Ces interventions ont été classées selon la plus grande fréquence rapportée dans les 38 réponses et non par ordre d'importance.

Il n'y a pas eu de différence majeure dans les propositions faites par les quatre groupes d'urologues, mais on notait plus d'interventions "difficiles" dans les réponses des internes en formation (notamment néphrectomie, cystectomie, prostatectomie radicale, pyéloplastie, laparoscopie, résection endoscopique de prostate ou de tumeur vésicale sans limite de taille ou de poids...).

Par ailleurs, il n'y avait pas de différence dans les interventions en fonction des régions.

Des objectifs généraux et spécifiques d'apprentissage des gestes techniques ont été définis pour chaque intervention, selon une présentation en tableau dichotomique. La formulation des objectifs a été faite selon l'item habituellement utilisé dans le contexte d'un apprentissage "l'étudiant sera capable de réaliser tel geste...". Le caractère séquentiel de ces gestes permettait de les dissocier et de les reproduire plusieurs fois pendant les différents stages en urologie.

Pour ne pas surcharger le manuscrit, nous avons décidé de ne présenter que trois exemples d'interventions avec leurs objectifs généraux et spécifiques : l'adénomectomie prostatique par voie trans-vésicale (Tableau II), la résection endoscopique d'une tumeur vésicale (Tableau III), l'abord coelioscopique dans le cadre d'une intervention sur le pelvis avec mise en place des trocarts (Tableau IV). Pour faciliter la conception didactique et simplifiée des tableaux, certains objectifs spécifiques ont été regroupés en rubrique pour des actions proches.



DISCUSSION

Le but essentiel des programmes de formation en urologie est l'acquisition de la compétence professionnelle, qui est "la capacité d'un individu à résoudre efficacement les divers problèmes qui se présentent dans son domaine d'exercice professionnel" [3]. La compétence clinique en urologie, comme dans les autres disciplines chirurgicales, est un construit multidimensionnel qui comprend de nombreux attributs, tels que les habiletés "cognitives" de recueil de données pertinentes, de résolution de problèmes et de raisonnement clinique, les habiletés "affectives" qui s'expriment dans la relation avec les patients et les autres professionnels de santé et enfin les habiletés "psychomotrices" techniques [10, 22]. En dépit des avancées faites en éducation médicale pratique depuis plusieurs décennies, l'enseignement et la mesure de la compétence technique en chirurgie ont continué à être informels et peu structurés [23]. Bien que l'acquisition de connaissances théoriques soit indispensable à la pratique de l'urologie, discipline médico-chirurgicale, la maitrise des gestes techniques chirurgicaux constitue la pierre angulaire de la compétence clinique en urologie. L'enseignement des habiletés chirurgicales est l'une des tâches les plus importantes et exhaltantes pour un chirurgien universitaire [12]. L'apprentissage des gestes techniques s'effectue avant tout au bloc opératoire tout au long du cursus universitaire. L'apprentissage des gestes en chirurgie reconnait les trois phases de la triade "démonstration du geste, pratique répétée et feed-back (retour d'information) immédiat sur la performance". La démonstration occupe la plus grande place au début pour s'effacer progressivement au profit de la pratique et du feed-back. Cet apprentissage bénéficie du compagnonnage traditionnel au cours de l'enseignement des disciplines chirurgicales. Les urologues en formation peuvent se familiariser et acquérir progressivement les principes de la chirurgie au contact direct de leurs aïnés qui leur font partager leur expérience au quotidien. Les limites du compagnonnage sont marquées par le manque d'uniformité d'une équipe à l'autre et la dépendance du facteur affectif dans la relation entre apprenant et enseignant [18].

Par ailleurs, le développement des nouveaux champs de la discipline vers des pôles d'intérêts particuliers (cancérologie, transplantation, neuro-urologie, andrologie, urologie de la femme, lithiase, urologie pédiatrique...) et l'explosion des techniques instrumentales, complémentaires ou alternatives à la chirurgie conventionnelle, ont contribué progressivement à une grande variabilité dans l'apprentissage des techniques de chirurgie urologique. Cette orientation progressive vers des pôles d'excellence voire vers une hyper-spécialisation sont des tendances qui se sont répandues au sein des équipes responsables de la formation. Les besoins de soins spécifiques des populations locales et le sous-effectif médical fréquent des équipes universitaires viennent accentuer cette constatation.

L'enseignement de l'urologie en France est délivré par le Collège des Urologues au niveau national et par les services universitaires au niveau inter-régional avec pour finalité la délivrance du Diplôme d'Etudes Spécialisées [21]. Cet enseignement en petits groupes est de qualité et a fait ses preuves. Néanmoins, le besoin d'uniformiser l'apprentissage des gestes techniques de la chirurgie urologique semble une nécessité pour que les programmes actuels d'enseignement puissent répondre aux nécessités de la pratique urologique future, aux exigences grandissantes des organismes de tutelle et aux besoins de la société.

Aux USA et au Canada, les programmes de formation urologique exigent une formation technique minimale pour l'exercice de la profession et énumèrent une liste d'interventions chirurgicales à savoir maitriser pour la délivrance du diplôme, comme dans le programme du Collège Royal des Médecins et Chirurgiens du Canada. Aucune étude récente n'a rapporté les modalités d'enseignement et d'acquisition progressive des gestes techniques chirurgicaux en urologie pour l'obtention du "produit fini" qu'est l'exécution maitrisée d'une intervention donnée.

Dans ce contexte, notre but a été de proposer une méthode séquentielle d'apprentissage pratique destinés aux urologues en formation, pour les aider et les conduire, geste par geste, à la réalisation progressive des interventions de base, tout au long de leur cursus. Il ne s'agissait pas de se limiter à une représentation schématique des temps opératoires de certaines interventions, que de nombreux livres de technique chirurgicale ont depuis longtemps parfaitement décrits.

Dans ce travail, la démarche pédagogique a été planifiée et systémique, correspondant au cycle des apprentissages. Ce concept est indispensable à la proposition de toute activité de formation pédagogique. Il peut être abordé de différente manière mais doit toujours l'être de façon méthodique en l'adaptant au contexte (ici expérimental) et au milieu (ici la formation urologique en France). Il nous est apparu indispensable d'interroger les urologues à plusieurs niveaux de formation et d'exercice. Compte tenu de l'homogénéité de la formation urologique en France, l'avis des plus jeunes et celui des urologues installés dans le secteur privé nous est apparu tout aussi important que celui des enseignants et des CCA pour définir les gestes techniques de base à maitriser en fin d'Internat. Cela a permis de construire des petits groupes homogènes, comme le requiert la méthode Delphi. Cette méthode a été mise au point à la RAND (Research ANd Development) Corporation à Santa Monica, à la fin de la deuxième guerre mondiale. Elle est utilisée dans de multiples domaines allant de la prévision à long terme dans le domaine du développement technologique à la fiabilité de composants de réacteurs nucléaires. Il s'agit d'une méthode pratique et efficace pour obtenir la meilleure estimation dans un contexte d'incertitudes. La méthode Delphi permet de neutraliser les effets de dominance (un expert prend l'ascendant sur les autres) ou de censure (un expert minoritaire n'ose pas exprimer sa position), les conflits entre personnes ou institutions et les difficultés d'animation des réunions de groupe. Son application n'impose pas l'utilisation obligatoire de grands échantillons d'experts [4, 6].

Parmi les 79% de réponses au questionnaire, il n'existait pas de différence dans les propositions des urologues universitaires et des urologues installés en privé ou en public. Au contraire, il existait une différence nette entre les besoins ressentis par les jeunes urologues en formation et les besoins normatifs ou démontrés par leurs ainés, ce qui apparait assez logique. En effet, les jeunes urologues ont manifesté le souhait d'en "découdre" plus tôt avec des interventions plus difficiles que celles proposées par leurs ainés pourtant expérimentés.

Entre les besoins normatifs et démontrés, il y avait très peu de divergence ce qui assure une certaine "validité de contenu" à cette étude, malgré la taille de l'échantillon volontairement limitée. De même, il n'y avait pas de différence dans les propositions des différents groupes selon les régions représentées. Ces éléments confirment la cohérence des différents modes de pratique au sein de la communauté urologique et témoignent également de l'érosion des phénomènes d'école sur le thème de la formation pratique.

Le contenu des objectifs d'apprentissage proposés est arbitraire et volontairement limité, mais la méthodologie se réfère aux principes pédagogiques de base et à la méthode Delphi qui vise à rechercher un consensus d'experts [6]. Ce contenu ne saurait en aucun cas couvrir l'intégralité de l'apprentissage des gestes techniques en urologie, ce qui n'était pas le but du travail. Il s'agissait d'abord de valider la démarche pédagogique auprès d'urologues représentatifs de tous les modes d'exercice, en nombre limité et en multicentrique.

La rédaction d'objectifs prend tout son sens si elle découle des besoins de formation démontrés et surtout ressentis par ceux-là même qui doivent acquérir les compétences nécessaires pour accomplir des tâches professionnelles concrètes [9]. Les objectifs d'apprentissage prennent leur origine dans les compétences professionnelles à acquérir [2]. Un objectif spécifique doit théoriquement être traduit en une seule phrase avec une seule action observable, pertinente et réaliste. Ces objectifs correspondent chacun à un temps opératoire et peuvent être effectués un à un, sous contrôle du senior (tuteur), d'abord isolément puis bout à bout pour qu'à terme l'interne puisse réaliser l'intervention.

Nous n'avons pas défini d'emblée le niveau taxonomique de ces objectifs d'apprentissage, car cette identification sera utilisée lors de la mise en application du projet. Néanmoins, il est logique de penser que ces objectifs s'intéressent au second niveau du domaine psychomoteur, correspondant au "contrôle précis d'un geste technique". L'accomplissement automatique d'un geste technique (niveau 3) relève d'une expertise que ne peut posséder un interne en fin de cursus, mais plutôt en fin de clinicat ou plus tard.

Les moyens d'apprentissage aux gestes chirurgicaux laissent peu de place au modèle expérimental [3]. Différentes méthodes d'apprentissage des gestes techniques en chirurgie ont été proposées dans la littérature mais n'y a pas eu de travail équivalent à celui-ci utilisant cette méthodologie pour fixer les objectifs. Les essais publiés sont surtout orientés vers la phase d'évaluation. A côté des ECOS (Examens Cliniques Objectifs et Structurés) largement utilisés en Amérique du Nord et à Rouen pour évaluer la compétence clinique, y compris en urologie, de nouveaux concepts objectifs et structurés ont été proposés pour tester les habiletés techniques opératoires [14, 15, 16, 22]. Ces modèles sont utilisés, en dehors du bloc opératoire, dans des sessions organisées sur l'animal, sur cadavre ou sur mannequin. Ces méthodes apparaissent reproductibles et efficaces pour l'objectif d'évaluation qu'on leur a fixé [1, 8, 13, 16, 17, 18].

Les apprentissages sur CD-ROM et sur des modèles de tissu simulé sont utilisés pour l'apprentissage de gestes précis en atelier, mais l'absence d'imprévu, notamment de saignement, et la qualité des images dans l'espace ne remplacent pas encore le champ opératoire ce qui limite leur intérêt [5, 19]. Une telle stratégie est difficile à reproduire dans toutes les spécialités chirurgicales où l'environnement technologique est différent et plus lourd.

Pour la laparoscopie, les possibilités de formation en France sont actuellement en nette progression, avec plusieurs centres ouverts aux urologues offrant un enseignement théorique, des manipulations sur laparo-trainers et un travail en binôme sur l'animal, dans des stages de durée déterminée. Néanmoins, l'organisation standardisée de cet apprentissage laparoscopique pour les urologues en formation (internes et chefs de clinique) est encore inégalement répartie.

Ce travail expérimental sera poursuivi par une validation large du modèle et du contenu par la communauté urologique, puis une mise en application sera proposée dans des services universitaires pour tester la pertinence, l'utilité en pratique et la reproductibilité du modèle. La détermination claire des besoins et des objectifs d'apprentissage aux gestes chirurgicaux urologiques peut déboucher sur une uniformisation de la formation pratique et du compagnonnage qui reste encore très variable d'une équipe à l'autre. Cette détermination devrait permettre de définir des moyens appropriés d'évaluation de l'atteinte des objectifs pour les urologues en formation et leurs tuteurs.

La méthodologie basée sur la planification systématique de la formation en sciences de l'éducation ne s'applique pas uniquement à l'apprentissage des habiletés techniques durant l'Internat en urologie. D'autres applications peuvent se concevoir telle que l'extension de ce type d'apprentissage aux gestes de base en chirurgie générale dans le cursus des internes en chirurgie de première année [7]. Cette méthode planifiée est adaptable à toute démarche formative d'un médecin quelque soient la période de son cursus et son mode d'exercice [2].

Conclusion

La maitrise des gestes techniques chirurgicaux est la pierre angulaire de la compétence clinique en urologie, comme dans toute discipline chirurgicale. L'apprentissage des habiletés techniques dans le cursus de l'interne peut s'appuyer sur une planification de la formation basée sur le cycle des apprentissages. L'élaboration des besoins et des objectifs d'apprentissage constituent les premières étapes fondamentales à toute proposition formative. La mise en application d'une telle planification méthodique de l'apprentissage des gestes techniques demandera une validation forte par la communauté urologique et devra faire la preuve de son efficacité, de son utilité et de sa pertinence. Ce travail expérimental dont le contenu est volontairement arbitraire et limité ne tend en aucun cas à polémiquer avec l'enseignement déjà en place, mais au contraire à le compléter et le renforcer dans le domaine psycho-moteur des habiletés techniques.

Références

1. FAULKNER H., REGEHR G., MARTIN J., REZNICK R. Validation of an objective structured assessment of technical skill for surgical residents. Acad. Med., 1996, 71, 1363-1365.

2. JEAN P. Pour une planification méthodique des activités de formation. Pédagogie Médicale, 2001, 2, 101-107.

3. JEAN P., DES MARCHAIS J.E., DELORME P. Apprendre à enseigner les sciences de la santé. Guide de formation pratique. Cahier 1. Faculté de médecine des universités de Montréal et de Sherbrooke, 4ème édition, 1993, pp 11-78.

4. KIRIGIA J.M. Economic evaluationin schistosomiasis : using the Delphi technique to assess effectiveness. Acta Trop., 1997, 64, 175-190.

5. KNEEBONE R.L. Twelve tips on teaching basic surgical skills using simulation and multimedia. Medical Teacher, 1999, 21, 571-575.

6. LINSTONE H.A., TUROFF M. The Delphi method : techniques and applications. In Reading : Advanced book program. Linstone H.A., Turoff M., eds. Don Mills, Ontario, Addison-Wesley, 1975, pp. 12-60.

7. LOSSING A.G., HATSWELL E.M., GIALS T., REZNICK R.K., SMITH L.C. A technical-skills course for 1st-year residents in general surgery : a descriptive study. Can. J. Surg., 1992, 35, 536-540.

8. MARTIN J.A., REGEHR G., REZNICK R., MacRAE H., MURNAGHAN J., HUTCHISON C., BROWN M. Objective structured assessment of technical skill (OSATS) for surgical residents. Br. J. Surg., 1997, 84, 273-278.

9. MILLER G., GRASER H.P., ABRAHAMSON S., HARNACK R.S., COHEN I.S., LAND A. Teaching and learning in medical school. Harvard University Press eds., Cambridge, Massachussets, 1961.

10. NORMAN G.E. Defining competence: a methodological review. in : Assessing clinical competence. Springer Series on Medical Education vol. 7. Neufeld V.R., Norman G.E. eds. New-York, Springer, 1985, pp. 15-36.

11. POERANU D. Objectives-based self-assessment of surgical residents (letter to the editor). Acad. Med., 2000, 75, 543.

12. REZNICK R.K. Teaching and testing technical skills. Am. J. Surg., 1993, 165, 358-361.

13. REZNICK R., REGEHR G., McREA H., MARTIN J. Testing technical skill via an innovative 'bench station' examination. Am. J. Surg., 1996, 172, 226-230.

14. SIBERT L., GRAND-MAISON P., CHARLIN B., GRISE P. Evaluation de la compétence clinique en urologie : approche innovatrice basée sur l'observation de la performance. Prog. Urol., 1997, 7, 581-589.

15. SIBERT L., GRAND-MAISON P., DOUCET J., WEBER J., GRISE P. Initial experience of an objective structured clinical examination in evaluating urology residents. Eur. Urol., 2000, 37, 621-627.

16. SLOAN D.A., DONNELLY M.B., JOHNSON S.B., SCHWARTZ R.W., STRODEL W.E. Use of an objective structured clinical examination (OSCE) to measure improvement in clinical competence during the surgical internship. Surgery, 1993, 114, 343-350.

17. SLOAN D.A., DONNELLY M.B., JOHNSON S.B., SCHWARTZ R.W., STRODEL W.E. Assessing surgical residents' and medical students' interpersonal skills. J. Surg. Res., 1994, 57, 613-618.

18. SLOAN D.A., DONNELLY M.B., SCHWARTZ R.W. The surgical clerkship : characteristics of the effective teacher. Med. Educ., 1996, 30, 18-23.

19. STOTTER A.T., BECKET A.T., HANSEN J.P., CAPPERAULD I., DUDLEY H.A. Simulation in surgical training using freeze dried material. Br. J. Surg., 1986, 73 : 52-54.

20. SZALAY D., McREA H., REGEHR G., REZNICK R. Using operative outcome to assess technical skill. Am. J. Surg., 2000, 180, 234-237.

21. THIBAULT P. La formation des urologues. Presse Méd., 1995, 32, 1519-1521.

22. WARF B.C., DONNELLY M.B., SCHWARTZ R.W., SLOAN D.A. Interpreting the judgement of surgical faculty regarding resident competence. J. Surg. Res., 1999, 86, 29-35.

23. WATTS J., FELDMAN W.B. Assessment of technical skills. In: Springer Series on Medical Education vol. 7. Neufeld V.R., Norman G.E. eds. New-York, Springer, 1985, pp. 259-274.