Invité à traiter de l’évaluation des compétences par le Ministère de l’enseignement supérieur et de la recherche lors des 3e Rencontres de l’aide à l’insertion professionnelle des étudiants, j’ai proposé quelques repères méthodologiques aux 250 participants présents. Voici l’essentiel de mes propos.

Évaluer, est-ce naturel ?

Évaluer les compétences à l’université serait devenu banal et habituel grâce à un curieux effet de discours. A force d’entendre comme une évidence et de lire dans nombre de documents officiels que 1) Il faut développer les compétences et que 2) il faut les évaluer, nous finissons par y croire et nous rendre à l’opinion dominante. Le monde est modifié par de tels discours performatifs.

Je pense pourtant que ces discours prescriptifs et performatifs doivent être tenus à distance. Pour encore mieux travailler à leur objet, peut être.

La question qui m’a été posée est « Pouvons-nous évaluer des compétences disciplinaires ? » Je relèverai tout d’abord un paradoxe. La discipline renvoie à une partition positiviste, celle qu’Auguste Comte a systématisée pour organiser la spécificité épistémologique de la science. La « discipline » et ses savoirs peut-elle s’encombrer de la compétence ? La compétence est une notion un peu étrange, d’abord orientée vers la performance. Ces deux ensembles sont parfois difficiles à marier. La question posée par la compétence n’est pas seulement celle des connaissances, c’est aussi et surtout celle de l’utilisation de ces connaissances conjuguée avec d’autres ressources cognitives.

Lichtenberger rappelait que la compétence vise essentiellement à répondre au « surcroit d’exigence » qui est une caractéristique du travail réel et que la prescription ne peut décrire. Est compétent, celui qui saura s’acquitter du travail ordinaire, soit 80 % des problèmes à traiter. Mais qu’en sera-t-il des 20 % restants ? Sera vraiment compétent, celui qui réussira dans les moments plus difficiles, là où l’imprévu échappe aux méthodes ordinaires. Sera compétent celui qui sera capable de triompher de ces difficultés en mobilisant un certain nombre de ressources pour gérer l’imprévu. Les connaissances disciplinaires n’étant pas destinées à jouer ce rôle d’adaptation aux conditions réelles du travail, elles ne font donc pas (toute) la compétence…

Évaluer, une question de méthode ? Le couple situation / compétence

La méthode d’évaluation des compétences fait, elle aussi, l’objet de prescriptions régulières : l’assertion « C’est en situation qu’on évalue la compétence ». C’est peut-être juste mais les fondements de cette affirmation sont oubliés la plupart du temps. Essayez donc de vous la faire expliquer…

Prenons l’exemple d’une pratique d’évaluation des compétences en formation infirmière. Nous allons mesurer le risque de la perte de sens lorsqu’un référentiel de validation est appliqué à la lettre alors qu’il devrait être utilisé « en connaissance de cause ». Les réingénieries des formations paramédicales mettent l’accent sur « l’approche par les compétences ». Parmi les cinquante-sept évaluations des six semestres, les plus nombreuses sont encore des validations de connaissances mais d’autres statuent sur des compétences. Le référentiel de validation propose notamment d’évaluer « en situation » par la simulation. Lorsqu’il s’est agit de travailler sur la transfusion sanguine, activité à risque, et les compétences du point de vue de la formation infirmière, un IFSI a collaboré avec les PU-PH de la faculté de médecine voisine. La faculté de médecine a ainsi produit un qcm dans le but de tester les connaissances. Dans un second temps, les formateurs ont suivi leur référentiel de validation et ont organisé des séances de simulation pour évaluer les compétences. Nous noterons que le qcm n’était pas prévu dans le référentiel de validation, il s’agit donc d’une épreuve de plus pour valider des connaissances là où le référentiel ne prévoit qu’une épreuve en situation simulée. Certains savoirs testés dans le qcm sont d’ailleurs plus utiles aux médecins et ne guident pas l’action infirmière. Pourquoi deux épreuves différentes ? Pourquoi ne rien lâcher du coté des savoirs biomédicaux ? L’approche par les compétences ne serait-elle pas connue et partagée par les médecins ?

En tout cas, nous avons deux épreuves différentes : les connaissances sont évaluées d’un coté, les compétences de l’autre, ce qui signifie très clairement que les connaissances constituent toujours la part noble de la formation et qu’elles doivent être testées sans autre source de pollution. Si la compétence est perçue généralement comme une combinatoire de ressources destinées à réguler l’action efficace, alors l’évaluation d’une compétence devrait tester cette organisation et devrait se prononcer sur la contribution des savoirs, ainsi que des autres ressources, à l’efficacité professionnelle. Dans le cas de ces deux évaluations, nous pouvons supposer que les connaissances ne seront pas examinées lors de la simulation… ce qui, tout de même, jette un doute sur la pertinence de l’évaluation par la simulation…

Intéressons nous à l’épreuve de la simulation, que constatons-nous ? La scène se déroule dans une salle de cours avec le matériel de transfusion à disposition sur les tables en formica. L’environnement est l’environnement standard de la formation. Nous sommes donc dans une situation simulée de basse fidélité vis-à-vis de l’environnement professionnel. Ce n’est pas forcément une difficulté si la simulation est bien centrée sur le problème professionnel à résoudre et que le débriefing se donne comme objectif de mettre en perspective le problème et la situation.

En cours de simulation par l’étudiant, lorsque les formateurs-évaluateurs perçoivent un comportement inadéquat, ils réagissent et l’étudiant, très attentif aux signaux non verbaux des évaluateurs, interrompt son activité et commence à rechercher activement quelle erreur il a pu commettre. Par exemple, un étudiant déplie un champ stérile qui va entrer en contact avec le drap, ou lors du contrôle pré-transfusionnel ultime, dernier contrôle de sécurité avant l’administration du concentré de globules rouges, l’étudiant ne montre pas qu’il a vérifié la date de péremption du produit. La compétence pourrait ne pas être validée.

De l’extérieur, nous constatons que les formateurs réagissent à la conformité de la tâche prescrite. Ils se fondent sur ce qu’ils perçoivent ou croient percevoir : le champ stérile a-t-il été correctement manipulé, toutes les vérifications ont-elles été ostensiblement réalisées ?

Cette épreuve ne sera pas suive d’un debriefing. On a vérifié une conformité de comportement mais on ne s’est pas du tout intéressé, ce qui interroge en IFSI, au raisonnement qui guide et organise les gestes. Dans ces conditions d’évaluation, l’action peut être réussie (conforme) mais la compétence n’est pas forcément acquise. Du moins, les évaluateurs ne peuvent le dire. Les évaluateurs ont-ils tout observé ? Comment être certain que l’enchainement des gestes n’est pas le fruit du hasard ? Quelle est la pertinence et la justesse des raisonnements de l’étudiant ? Après, tout, ce sont bien ses raisonnements qui lui permettront de faire face à la prochaine situation, réelle cette fois. Faute d’un débriefing, les évaluateurs ne peuvent rien certifier de la combinatoire des savoirs nécessaires sur les produits sanguins labiles, sur les méthodes de transfusion, sur les indicateurs d’évolution de la situation et de l’état de santé du patient, sur les informations que l’étudiant doit surveiller pour décider de la poursuite de son action ou de son adaptation.

Est-il possible d’évaluer les compétences ?

Au plan cognitif, les compétences sont des combinatoires de ressources, dont des savoirs disciplinaires et des connaissances sur l’action en situation. C’est cette combinatoire qu’il faut tester. Évaluer une compétence suppose de valider une capacité à piloter les ajustements des comportements en situation. Il existe même deux types d’évaluation. Le premier est diagnostique : ce que l’étudiant sait faire à un moment donné : est-ce qu’il est capable de manipuler correctement le champ stérile et de redire quels raisonnements l’amènent à agir de cette manière, dans cette situation particulière ? Le deuxième est pronostique : demain, dans le service où il aura des transfusions sanguines à réaliser sur une variété de patients, cet étudiant saura-t-il s’adapter à des niveaux de complexité variables ? Comment vérifier dans une séance de simulation que la pratique de l’étudiant va pouvoir prendre en compte un vrai patient et de vrais culots de sang ? Pourtant, la combinatoire de savoirs, de méthodes et de prise d’informations peut être testée avec une question comme : « Vous travaillez dans le service de médecine générale, et le professeur A. décide que la patient X. va bénéficier d’une transfusion autologue (autotransfusion) plutôt que d’une transfusion homologue, en provenance d’un donneur. Comment allez-vous vous organiser ? » La place des raisonnements est cruciale dans l’évaluation des compétences.

Gérard Vergnaud rappelle souvent qu’il existe quatre critères d’évaluation de la compétence. Un étudiant en soins infirmiers est compétent s’il peut réaliser les soins demandés, mais aussi s’il s’y prend d’une manière plus fiable, s’il dispose d’une plus grande variété de procédures pour une meilleure efficience, et enfin, s’il est moins démuni devant une situation nouvelle.

Chercher ses clefs sous le lampadaire

On trouve souvent ce qu’on s’attend à trouver et on cherche d’abord ses clefs perdues sous le lampadaire, non pas qu’elles y soient mais parce que c’est éclairé. Un des obstacles de l’évaluation de la compétence réside dans notre conception de la compétence. Nous ne trouverons pas la compétence si nous ne savons pas à quoi elle ressemble…

Cela dépend aussi de la conception de son rôle de formateur ou d’enseignant : les représentations font obstacle. Les obstacles sont en nous parce qu’une facilité de l’esprit nous fait continuer à croire en nos représentations initiales. Il ne suffit pourtant pas de se former à des théories cognitives ou sociocognitives de la compétence pour évaluer avec justesse sinon équité. Nous croyons souvent en savoir bien assez. Des formateurs estiment que la compétence n’est déjà plus un sujet : ils savent maintenant. Et demain, ils sauront aussi comment évaluer les compétences en simulation…. Mais peut-être ne savent-ils pas qu’ils ne savent pas.

Évaluer les compétences n’est pas la question la plus simple. Comment évaluer ce qui est de l’ordre de l’émergence, de l’indicible, de l’imprescriptible, qui va apparaître ou disparaître dans la situation ? Comment allons-nous constater ce qui ne peut pas être décrit au préalable dans un référentiel puisque les situations réelles ne sont pas prévisibles ?

Quelques pistes

La compétence entretient un rapport intime avec la situation et son environnement. Il est donc nécessaire de comprendre les résultats de l’évaluation en rapport avec les caractéristiques de la situation (d’évaluation) qui les fait émerger. La compétence est « située », comme tout le monde le sait dit.

L’activité est organisée. Tout autant que la performance, c’est le niveau d’abstraction et de généralisation de l’organisation cognitive de l’activité qu’il convient d’apprécier. Une performance, ou un échec, peut se manifester par hasard mais le maintien de la performance, et sa régularité dans des situations variables, repose sur un schème qui, lui, ne doit rien au hasard.

Le débriefing occupe donc une place cruciale du point de vue de l’évaluation de la compétence. Il fait prendre conscience des apprentissages et représente une opportunité de les exposer. L’évaluateur est actif dans ces débriefings. Il interroge, suggère, confirme ou contredit. Il étaye, au sens de Jérôme Bruner, et il peut dire « Si je lui montre, il apprend ». C’est le paradoxe des évaluations de compétence comme nous le montrent les entretiens avec les jurys de VAE. Curieuse posture de l’évaluateur qui sort de la neutralité mais vise à l’équité de traitement. L’évaluation des compétences est encore un moment d’apprentissage pour comprendre la situation-problème du moment et demain agir dans une situation différente.

Mais tout cela va à l’encontre de nos certitudes…