Il existe une technique infaillible pour vider de son sens l’évaluation : ne s’intéresser qu’à la satisfaction des bénéficiaires. Et, de surcroît, se tromper d’indicateur…

Il m’arrive de donner des cours dans des formations paramédicales ou de management hospitalier. J’ai constaté que certaines écoles ou instituts ont fait un effort significatif pour mieux piloter leurs formations en utilisant les résultats de l’évaluation des enseignements. Ainsi, j’ai reçu récemment les résultats de l’évaluation.
Premier constat, j’ai failli écrire « les résultats de mon évaluation »… Évaluation des enseignements ou évaluation des enseignants ? Cette distinction est difficile à établir et le courrier d’accompagnement fait l’impasse sur le problème. Tous les enseignants le savent : derrière l’enseignement se cache un enseignant. Les étudiants peuvent ils séparer l’enseignement de l’enseignant et, si oui, comment les aidons-nous à faire la part des choses ?

Deuxièmement, je ne savais pas qu’une évaluation était prévue. L’aurais-je su, cela aurait-il changé mon comportement ? Aurais-je tenté d’anticiper sur l’évaluation en améliorant mon cours ? Peut-être aurais-je pu renouveler mon stock de blagues et de bons mots pour mettre les rieurs de mon coté ? Je me serais certainement assuré toutes les dix minutes qu’ils comprenaient bien et que le cours répondaient à leurs attentes. Mais, au fait, avaient-ils des attentes ? Étaient-elles explicites ? Ils n’avaient pas choisi de suivre ce cours qu’ils ont découvert sur leur planning de la semaine…

Le courrier qui accompagnait mon score précisait que « le principe d’évaluation retenu par l’équipe est celui utilisé dans le milieu des entreprises pour la satisfaction de leur clientèle. Il repose sur une question posée aux étudiants à la fin de chaque intervention : « Recommanderiez-vous à un collègue cette intervention ? ». Nous y voilà… En matière d’évaluation des apprentissages, les instituts d’enseignement supérieur professionnel vont chercher leur références dans le milieu des entreprises. Les « entreprises », cette catégorie dont les contours sont si peu définis, ont-elles développé une expertise remarquable sur le sujet ? Allons voir : le benchmarking reste indispensable pour trouver des sources d’inspiration exogène. Cependant, la distance critique, elle aussi tout à fait indispensable, doit nous amener à nous nourrir des éléments les plus solides et les plus incontestables.
A ma connaissance, cette « question ultime » de la recommandation date du livre de Fred Reichheld et Bertrand Pointeau. Leur but est de nous convaincre de remettre l’expérience client au centre de la réflexion sur la croissance. Fort bien…

J’observerais toutefois, comme la Revue de la communauté polytechnicienne, que la question de la recommandation vise à mesurer la « fidélité » des clients vis-à-vis d’une entreprise. Notion très utile, je ne la discuterai pas, mais de l’appréciation de la fidélité à l’évaluation des apprentissages… Nous ne sommes ni sur le même niveau de complexité ni dans le même univers conceptuel. Si le but est de faire prospérer l’entreprise, la fidélité des clients est cruciale et nécessite des stratégies commerciales performantes pour augmenter la fidélité et maximiser les profits. Plutôt que de rechercher à l’infini des nouveaux clients, il est certainement préférable de ne pas négliger les clients prêts à renouveler l’achat.
La méthode est simple : les réponses à l’unique question sont classées une échelle de 0 (non, jamais) à 10 (oui, très certainement) ce qui permet de dégager trois groupes de clients, les « détracteurs, les neutres et les prescripteurs ». Les détracteurs se sont ainsi dénoncés d’eux-mêmes et l’entreprise va chercher à contrôler leur pouvoir de nuisance.

Dans le cadre des formations supérieures professionnelles, quelle est l’entreprise ? Qui sont les clients fidèles ? Que des étudiants « recommandent » leur centre de formation à un sens, en effet, mais le rapport que les étudiants ont entretenu à chaque intervention des enseignants non permanents ne se résume pas dans ce type de recommandation. Enfin, si la formation est une relation client – fournisseur (comme une autre ?), c’est alors le centre de formation qui pourrait logiquement recommander un fournisseur, un enseignant vacataire, à son réseau. À qui des étudiants peuvent-ils recommander un intervenant et avec quelles chances de succès ?
Une des clés du problème se trouve dans le courrier d’accompagnement : le centre recherche en fait « une mesure de la satisfaction ». Ah… Le retour de la satisfaction en formation sous couvert du pragmatisme entrepreneurial… Il me semble pourtant qu’il est possible de recommander quelque chose à autrui sans être satisfait personnellement, et réciproquement, simplement parce qu’on estime que les besoins de son collègue ne sont pas identiques aux siens, mais aussi pour de nombreuses autres raisons qui n’ont rien a voir ni avec la satisfaction ni avec les besoins.
Nous savons depuis les travaux de Kirkpatrick et Kirkpatrick dans les années 50 que la mesure de la satisfaction ne rapporte aucun élément fiable pour le pilotage des dispositifs de formation. Un apprenant peut être satisfait et n’avoir rien appris et la réciproque est tout aussi exacte. Évaluer une formation repose sur quatre dimensions. La première est une réaction face aux conditions de formation et correspond à la satisfaction perçue. Pour autant, un étudiant satisfait a t-il appris quelque chose ? Ses compétences sont-elles avérées ? Contribue t-il au développement des organisations dans lesquelles il agit ? Ces trois dernières dimensions renvoient véritablement à l’efficacité et à la signification des formations.

« Un score plutôt que rien »

Le calcul du score n’est pas banal : de 0 à 6 pour les détracteurs, de 7 à 8 pour les neutres, de 9 à 10 pour les prescripteurs. Au final, le score obtenu écarte les neutres pour uniquement établir la différence entre les prescripteurs et les détracteurs.
Je serais curieux de connaître les qualités psychométriques de cette échelle, laquelle ne ressemble à aucun type d’échelle de fréquence ou d’intensité couramment utilisée en évaluation. Les valeurs des échelles, discrètes ou continues, font l’objet de toutes les attentions pour précisément éviter des quotas de points qui ne possèdent pas la même valeur. Il est aussi possible de discuter la pertinence et l’utilité d’une valeur moyenne (les neutres) qu’il est toujours malaisé d’interpréter. Ici, ce n’est rien de moins que 20 % de la cotation…
Comment, dans ces conditions, interpréter le score ? Une donnée statistique ne « parle » jamais seule, il faut l’inclure dans une série : la série des scores de tous les intervenants ou, mieux encore, la série de scores attribués par cette promo. Il serait tout aussi intéressant de disposer des statistiques descriptives : moyenne, mode, médiane et surtout écart-type.

Pour une approche non simpliste de l’évaluation

Les outils d’évaluation manquent souvent leur cible. Les problématiques sont toujours complexes et sensibles et nous avons souvent besoin de renouveler nos cadres de références et nos outils pour comprendre les logiques à l’oeuvre. Pour avoir travaillé pendant six années à l’EHESP comme responsable de l’évaluation et du développement pédagogique, je sais combien on peut avancer à tâtons sur ces questions… Nous avions explorés plusieurs pistes dont notamment celle de l’analyse de l’évaluation des enseignements comme une relation de service. Nous nous étions aussi intéressés à la variable « auto-efficacité » des  professionnels lors des évaluations post-formation.

Aujourd’hui, je me suis constitué des outils simples qui veulent éviter une vision trop réductrice. J’utilise régulièrement la grille ci-dessous.