Évaluer les impacts d’une formation est aujourd’hui une injonction fréquente. Toutefois, le développement de l’évaluation post-formation pose une série de questions qui interroge la stratégie de l’organisme de formation et la faisabilité de l’évaluation. L’évaluation post-formation est-elle si pertinente et contribue t-elle vraiment au pilotage des formations, à moyen et à long terme ? Apporte t-elle une plus-value par rapport à l’évaluation « à chaud », mise en place immédiatement après la formation ? Comment conduire l’évaluation post-formation rapidement, efficacement et avec efficience ?

L’évaluation serait un processus indispensable à la conduite des actions de formation. C’est du moins ce que disent les prescripteurs de la formation, au point que les rituels sont maintenant bien installés (Devos et Dumay, 2006).

En conséquence, ils exigent de leurs prestataires qu’ils prévoient de mettre en œuvre ces processus d’évaluation, à chaud comme à froid. Les cahiers des charges et les appels d’offre standardisent cette exigence. Lancer une action de formation oblige à contrôler sa mise en œuvre et à en apprécier les résultats. Un mode de pilotage par les résultats et les impacts repose évidemment sur l’intention d’améliorer la qualité des prestations pédagogiques et donc de mieux répondre aux besoins des apprenants.

Au-delà de cette injonction, les prescripteurs de la formation croient-ils vraiment en la fiabilité des évaluations ? Ils se déclarent souvent insatisfaits de la qualité des retours. Après avoir examiné rapidement les questionnaires, ils ne prennent pas forcément de décisions très précises sur des actions correctrices. Un processus est activé sans constater toujours beaucoup d’effets (Gérard, 2003).

Le vocabulaire lui-même n’engage pas à la rigueur. L’évaluation « à chaud » renvoie à la méfiance vis-à-vis de l’émotion et de l’affectivité, matière chaude, non raisonnée, épidermique, encore sous le coup (!) de la formation. L’évaluation « à froid » n’est pas moins suspecte. Comme la vengeance, l’évaluation est un plat qui se mange froid. Des apprenants, règlent des comptes à distance. Ils ne sont plus comptables de rien et ne devront pas assumer publiquement leurs positions. Une telle quantité de biais introduits par l’évaluation entache la fiabilité des résultats. Une enquête serait d’ailleurs à conduire sur les pratiques réelles des prescripteurs face à cette incertitude. Leurs décisions de réajustement sont-elles vraiment guidées par les résultats de l’évaluation ou par d’autres contingences ?

Il serait d’ailleurs imprudent de modifier sans cesse la ligne de conduite, une formation a besoin de temps pour trouver ses marques et faire preuve d’efficacité. Réajuster la formation à chaque fois que les apprenants sont « insatisfaits » reviendrait à orienter une « formation-girouette » dans le sens d’un vent démagogique. La « satisfaction » n’est d’ailleurs jamais le bon critère d’évaluation, comme l’ont montré les travaux de Kirkpatrick et Kirkpatrick (2005). Et tous les formateurs le savent, les groupes se suivent et ne se ressemblent pas. Eux-mêmes interagiront différemment avec le groupe selon leur état du moment…

Quand un dispositif d’évaluation systématique des formations est institué, les enseignants ou les formateurs sont souvent très prudents sur l’utilisation des résultats collectés auprès des étudiants (Nagels et Vourc’h, 2010).

Si leur carrière dépend des appréciations des étudiants, certains enseignants cherchent alors à plus à plaire aux étudiants qu’à améliorer leurs pratiques pédagogiques. La plupart du temps, les étudiants ne sont pas dupes de ces tentatives de séduction. Alors, que mesure t-on vraiment ?

D’ailleurs, nous avons aussi un problème de mesure… L’évaluation n’est certainement pas une affaire scientifique, il serait illusoire de vouloir contrôler les biais qui entachent l’évaluation. Le processus doit alors être le plus léger et le plus pragmatique possible. Faute de nous dire la « vérité » sur la formation, qu’il remplisse sa part d’ « utilité » en justifiant quelques décisions de réajustement (Demaily, 2001). Dans ce cas, les outils doivent être maniables.

Six mois après la fin d’une formation, que demandez encore à celle-ci ? Quelles traces a-t-elle laissées ? De quels changements et de quelles compétences nouvelles la formation est elle une cause probable ? L’évaluation ne s’intéresse plus aux apprentissages mais aux impacts et aux modifications de parcours à plus ou moins long terme. La compétence, le développement personnel et professionnel, deviennent des objets à investiguer.

Un obstacle méthodologique surgit alors, évaluer le niveau de compétence et le mettre en relation avec la formation est une opération risquée. En six mois, les expériences accumulées par les professionnels viennent percuter les acquis en formation. En tout état de cause, la formation académique et/ou professionnelle n’est pas la seule cause de développement professionnel. Un doute majeur sur l’imputabilité subsistera toujours. Le travail est source d’apprentissages professionnels informels et de construction de compétences. D’autre part, aucun organisme de formation ne dispose des ressources pour mesurer sur le terrain le développement de compétences, avant et après la formation. Nous en resterons donc à un discours, à une déclaration subjective de compétences par les professionnels. Certains dispositifs ambitieux d’évaluation post-formation (Chauvigné, 2006), celui de l’ENSP puis de l’EHESP il y a quelques années, poussaient le raffinement jusqu’à recueillir tous les trois ans les opinions des employeurs après la formation des élèves directeurs et managers de la santé publique (Nagels, 2008). Les enquêtes par téléphone avaient pour fonction de trianguler des données et de tenter d’objectiver un développement professionnel perçu très subjectivement.

Une proposition d’outil

A titre personnel, j’utilise un bref questionnaire portant sur trois dimensions. Pas très scientifique mais très pratique et, au fond, les prescripteurs de formation n’en demandent pas plus. Ils comprennent bien la nécessité de collecter simplement un peu d’information, ils n’ont pas besoin d’un recueil de données très poussé qu’ils ne sauraient pas bien interpréter.

Les dimensions essentielles et leurs indicateurs sont les suivantes :

Capacité de l’organisme à assurer sa mission de formation

• L’organisme dispose t-il d’une capacité suffisante pour mettre en œuvre la formation ?
• L’accompagnement des apprenants permet-il de réussir la formation ?
• La formation délivrée est-elle pertinente eu égard au secteur d’activité professionnelle ?

Développement personnel et professionnel

• La formation contribue t-elle à l’acquisition ou au développement de compétences aujourd’hui mises en œuvre ?
• La formation contribue t-elle au développement personnel, par exemple en produisant des connaissances supplémentaires ou en créant des centres d’intérêt différents ou en favorisant de nouvelles compréhensions ?
• La formation favorise t-elle la résolution de problèmes professionnels plus nombreux ou plus complexes ?

Trajectoire professionnelle et adéquation de la formation

• Les acquis de la formation permettent-ils un changement de poste ?
• Le poste occupé actuellement correspond il aux compétences acquises ?
• La formation aide t-elle à assumer les exigences du poste de travail ?

Ce questionnaire est en ligne. Il est donc toujours disponible et l’exploitation statistique est automatisée. Notamment, il importe de comparer les séries de données entre elles pour saisir les variations d’un groupe à un autre, d’une formation à une autre.

Références

Chauvigné, C. (2006). Évaluation des impacts perçus de la formation sur les compétences professionnelles, XXIIIe congrès de l’AIPU, Innovation, formation et recherche en pédagogie universitaire, Monastir.

Demailly, L. (2001) Evaluer les politiques éducatives. Sens, enjeux, pratiques. Bruxelles : De Boeck.

Devos, C., & Dumay, X. (2006). Les facteurs qui influencent le transfert : une revue de la littérature. Savoirs, 3 (12), 9-46.

Gérard, F.-M. (2003). L’évaluation de l’efficacité d’une formation, Gestion 2000, 20 (3), 13-33.

Kirkpatrick, D., & Kirkpatrick, J. (2005). Evaluating training programs. The four levels (3eme éd.). San-Francisco: Berrett-Koehler Publishers.

Nagels, M. (2008). L’auto-efficacité, la variable oubliée du pilotage de la qualité. In Actes du 25ème Congrès. Le défi de la qualité dans l’enseignement supérieur : vers un changement de paradigme… (p. 364‑374). Montpellier, France.

Nagels, M., & Vourc’h, C. (2010). De l’évaluation, considérée comme une relation de service. Questions vives, 6(12), 45‑59.