Projet d’article à l’intention des stages de formations de formateurs : l’évaluation des politiques publiques, vecteur de veille et de développement pour la formation : le cas des filières francophones de l’AUF au sud du Viêt-nam
Auteur : Gilbert Palaoro / AuF antenne d’HCMVille, Vietnam
Résumé :
L’évaluation des politiques publiques est-elle un moyen permettant de posséder des modes opératoires de qualité, efficaces pour les acteurs de l’ingénierie pédagogique, pertinents pour les responsables du système public de formation et pour l’aide internationale au développement ? Tel est l’enjeu de cette communication.
Nous étudierons comment est-il possible, à partir des recherches et des pratiques d’évaluation existantes dans des institutions internationales, en Asie du sud-est et en particulier au Vietnam, d’améliorer des pratiques pédagogiques et d’aider à la mesure de l’efficience des politiques publiques. Nous observerons dans le champ des programmes francophones, par l’intermédiaire du réseau universitaire de l’Agence Universitaire de la Francophonie, comment l’évaluation permet de situer l’influence de l’environnement sur l’apprentissage et de réfléchir sur les moyens éventuels d’utiliser ces informations pour le développement de la recherche en ingénierie pédagogique.
Introduction
L’objet de notre travail sera de définir et de situer dans un premier temps la place de l’évaluation des politiques publiques pour les enseignants et dans les programmes internationaux d’enseignement. Pour illustrer notre propos, nous nous appuierons ensuite sur un travail d’enquête réalisé par l’Agence Universitaire de la Francophonie (AUF), Bureau Asie-Pacifique (BAP), pour les programmes universitaires de second cycle de la région. L’étude portera autant sur l’originalité méthodologique de l’enquête que sur ses résultats. Nous verrons que l’impact des résultats peut avoir des répercussions intéressantes sur le développement des programmes de l’agence mais aussi pour le secteur de la recherche.
L’évaluation d’une politique publique dans le champ d’activité des enseignants
De nombreux enseignants de français opèrent dans des formations liées à une offre internationale résultant de la demande régionale de pays tels que le Cambodge, le Vietnam et le Laos que nous nommerons « Région ». La majorité utilise couramment des pratiques d’évaluation centrée sur l’activité, sur l’apprenant, pour mesurer et contrôler des acquisitions. Ils concourent souvent aussi à des évaluations méthodologiques pour s’interroger sur les pratiques qui favorisent le développement des outils pédagogiques. L’apprentissage du français dans notre région est en général le fil conducteur de la communication pour des formations principalement commanditées par le secteur public, dans un contexte complexe de coopération multilatéral et international. La complexité est par exemple liée à l’apprentissage des langues vivantes qui induisent la diversité culturelle et l’influence internationale dans laquelle baignent les formations et les formateurs. L’évaluation centrée sur l’apprenant ou l’activité et celle centrée sur la méthodologie peuvent être complétées par une évaluation plus globale de la formation dans son contexte social et économique communément nommée évaluation des politiques publiques, utilisée notamment pour tous les projets appuyés par des financements publics. Cet outil d’évaluation peut être perçu comme une ingérence car il implique un regard sur les pratiques et sur les organisations, ce qui peut amener de fortes résistances 1079 . Elle peut surtout être fortement utile si son intérêt est compris et si elle est menée de manière à respecter une certaine déontologie de l’évaluation 1080 .
Selon le conseil scientifique de l’évaluation français 1081 , les éléments qui qualifient une évaluation sont les :
Objectifs : les motifs politiques qui ont justifié la naissance du projet.
Moyens : ensemble des outils ou des ressources utilisées pour conduire la politique.
Résultats : conséquences globales ou les effets de la politique pour la société ?
Ces éléments s’évaluant en fonction de leur :
Efficacité : mesures des effets propres de la politique par rapport aux objectifs ?
Efficience : les résultats de la politique sont-ils à la mesure des ressources attribuées ?
Pertinence : une politique se justifie très généralement par l’identification d’un « problème de société » auquel les pouvoirs publics se sentent tenus de faire face. Une politique sera dite pertinente si ses objectifs explicites sont adaptés à la nature du problème qu’elle est censée résoudre ou prendre en charge.
Reconnaissance internationale de l’évaluation des politiques publiques
Les programmes de coopération internationale sont soit une complémentarité des activités existantes, une coopération synergique des partenaires, ou la transposition de savoirs et/ou savoirs faire nouveaux. Ces programmes induisent des attentes importantes de la part de tous les acteurs, les étudiants/familles, les enseignants, les opérateurs et les bailleurs de fonds, les États d’accueil. Les autorités vietnamiennes souhaitent que l’offre internationale soit capable de stimuler le système d’enseignement supérieur 1082 . Ces formations sont à la fois intégrées dans le système d’éducation des pays d’Asie et dépendantes des coopérations internationales voire des systèmes éducatifs d’autres pays. Ce constat est accentué par l’exigence de qualité correspondant à une demande croissante de la population 1083 et constituant également l’une des bases de la stratégie de développement pour toute équipe pédagogique. Les formations sont soumises aux règles de la concurrence au même titre que toutes les prestations de service 1084 , particulièrement dans un pays comme le Vietnam où l’investissement des familles pour l’éducation est souvent proportionnellement considérable 1085 par rapport aux ressources de la famille. Á contraintes multiples, dépendantes d’acteurs différents, il résulte des objectifs complémentaires, ou contradictoires, citons une liste non exhaustive des exemples selon les catégories d’acteurs :
Ce type d’évaluation interroge en général de nombreux secteurs du programme et ses résultats peuvent donc intéresser tous les acteurs. Il n’empêche que l’évaluation répondra principalement aux questions de son commanditaire qui sera propriétaire des résultats. L’évaluation des programmes publiques de formation peut être réglementaire 1086 & 1087 , commanditée par les états 1088 , les établissements, les associations pour le conseil 1089 . Elle est naturellement intégrée dans les recherches universitaires et scientifiques sur l’évaluation.
L’enquête de l’Agence Universitaire de la Francophonie (AUF)
C’est dans ce cadre que le Bureau Asie Pacifique (BAP) de l’AUF a mis en place des outils permettant d’évaluer ses programmes et notamment le parcours des diplômés des Filières Universitaires Francophones (FUF) de second cycle, le « retour » en emploi de leur investissement francophone, manière de répondre aussi à la question de l’appréhension par les entreprises de la région de notre action de formation 1090 . Les objectifs secondaires de l’enquête sont la construction d’un fichier de suivi des anciens étudiants et le suivi des diplômés grâce au site internet sur l’emploi du Département de l’Emploi Francophone (DEF) 1091 . Nous vous proposons d’exposer cette enquête comme un exemple d’évaluation de politique publique essentiellement sous l’angle méthodologique avec une mise en perspective de résultats intéressants pour la formation et la recherche.
Cette enquête devait nous apporter une lecture sociale et économique locale sur les effets des programmes FUF et complète une gamme d’outils d’évaluation et de procédures pratiqués à l’AUF : indicateurs de résultats, bilans, évaluations, initiés par le Rectorat, le BAP, les pôles scientifiques ou les équipes locales en fonction des missions et des besoins des commanditaires.
Evaluation d’activité : L’enquête régionale menée sur le français dans les FUF
Tous ces outils peuvent contribuer à l’évaluation d’une politique publique. Prenons pour exemple l’évaluation qui a lieu en 2005 sur l’apprentissage du français dans les FUF du BAP. Malgré des résultats qui restaient globalement positifs, mais à partir de certains indicateurs négatifs, absentéisme, résultats aux examens, motivation des étudiants et des enseignants, difficultés de calendrier, etc. Il a été décidé de conduire une évaluation qui devait permettre un réajustement éventuel des moyens et une redynamisation du français dans les FUF. Ce travail a abouti notamment, à des concertations tous azimuts, à une modification importante de la répartition des horaires, à une redéfinition des besoins en formation, à un rapprochement des matières scientifiques de l’apprentissage du français mais surtout à une mise en valeur du français dans les FUF. Cette évaluation était pertinente pour le français dans les FUF mais ne permet pas, à elle seule, d’avoir un regard sur les effets en aval de la formation. On suppose que les méthodes utilisées soient satisfaisantes mais on ne peut pas totalement le vérifier. Par contre ses résultats ont été exploités pour l’enquête suivante.
Méthodologie de l’enquête AUF sur les diplômés des FUF
L’enquête a été limitée dans un premier temps aux 1878 diplômés des trois dernières promotions 2002-03-04 des FUF dans toute la région.
1 ère étape : questionnaire quantitatif fermé. Mars à Juin année N. test du questionnaire (voir annexe 1), contacts téléphoniques (au Vietnam) ou par courriel des diplômés au Vietnam. Six enquêteurs diplômés des filières ont mené l’enquête en vietnamien durant 3 mois. 1559 étudiants ont répondu. Toutes les informations sont enregistrées et exploitables sur l’intranet de l’agence.
2 ème étape : questionnaire quantitatif comparé. Août/Septembre Année N. Comme opération pilote, les résultats des 80 étudiants de la filière de gestion de l’université d’économie d’Ho Chi Minh ville, ont été comparés avec les 80 diplômés de la filière vietnamienne avec un échantillonnage le plus proche possible (nombre, sexe, spécialité choisie, niveau d’entrée au concours de l’université), en vietnamien par deux anciens diplômés de gestion de l’université.
3 ème étape : questionnaire qualitatif comparé. Octobre Année N. Une quinzaine de diplômés des deux groupes vont être interrogés à partir d’un questionnaire (voir annexe 2) qui permettra d’approfondir la connaissance sur le parcours des jeunes et leurs représentations quant à leur rôle dans l’entreprise. Ils sont menés soit en français, en anglais, ou en vietnamien par un permanent de l’AUF avec traduction simultanée de manière à garantir une meilleure communication. Les entretiens seront enregistrés et transcrits.
4ème étape : analyse des résultats. Novembre Année N.
Les limites de l’enquête
Cette enquête est partielle car elle ne permettra pas à elle seule d’évaluer le programme des FUF. Par exemples, elle n’aborde pas :
Par contre elle informe sur le parcours des jeunes et permet la vérification si les objectifs initiaux sont atteints tant pour les bailleurs de fonds, que pour les États d’accueil, les familles et les étudiants. Les résultats obtenus pourraient suffire, au regard des objectifs fixés mais dans le contexte d’excellence et de concurrence de la formation, il nous semble intéressant de pouvoir réaliser de manière expérimentale une étude comparative réalisée, par faute de moyens et de temps sur les seuls diplômés de la FUF de gestion. Pour les mêmes motifs, nous questionnons uniquement les représentations (en terme symbolique et psychologique) propres à chaque diplômé et non pas celles émanant de leur environnement social, familial ou professionnel (collègues, et/ou supérieurs hiérarchiques).
Une ouverture scientifique
Cette enquête permet de mesurer l’influence de la francophonie sur les jeunes diplômés sur les lieux de travail mais surtout de réaliser qu’elle doit aussi être mesurée dans les lieux de formation où ils sont plus de 30% à étudier. Ce travail a permis d’interroger les méthodes et d’expérimenter les possibilités de mener des enquêtes comparatives dans le domaine de l’éducation et ce, dans un contexte difficile qui n’invite pas toujours à l’objectivité : concurrence sur le « marché » des formations, limitation des crédits pour le développement et l’éducation, interrogations sur le positionnement de la francophonie dans le monde. Malgré ces difficultés, il est très intéressant de connaître dans le fond et grâce à l’enquête, l’environnement global de l’activité y compris son impact social et économique. C’est une démarche professionnelle qui s’inscrit dans la culture des grandes entreprises et organisations internationales.
De l’évaluation à la recherche
Cette enquête est un outil d’aide à la décision permettant d’analyser le présent pour construire le futur et devient ainsi un outil de veille stratégique. Mais avec l’intérêt méthodologique que suscite l’étude comparative émerge celui lié aux informations inattendues qui découlent de tout travail d’évaluation. Nous avons appris par exemple qu’au niveau :
De tous les domaines c’est celui de l’évaluation de l’efficacité pédagogique qui aura amené le plus d’intérêts pour les évolutions possibles dans nos pratiques quotidiennes et pour l’exploitation scientifique/recherche qui pourrait en découler. Des observations et informations relatives à l’environnement psychopédagogique et techno-pédagogique des FUF ont par exemple permis de découvrir que :
Comme le démontrait Laborit 1094 , les informations recueillies suffiront peut-être pour interférer sur certains de nos comportements pédagogiques, savoir permettant d’éveiller l’esprit, de prendre conscience ? Elles peuvent être aussi une source intéressante pour la recherche sur l’environnement psycho et/ou techno-pédagogique des programmes en approfondissant les causes et les conséquences de ces phénomènes pour les apprentissages et les formations dans notre région.
L’évaluation de l’enseignement supérieur UNESCO. Par J.L Rontopoulou, N°60. Principes de la planification de l’éducation,1998.
Dans la conduite de l’évaluation l’interprétation humaine est la résultante d’une combinaison entre la réalité des faits et la personnalité globale de l’évaluateur, de son rapport avec le passé, de son caractère, de sa fonction d’acteur de fait ou volontaire dans un champ social ou dans une entreprise quelconque. Indiquons une classification possible de ces rapports en référençant certains des auteurs qui les ont étudiés :
-le rapport aux valeurs : Max Weber, Economie et société, tome 1: Les catégories de la sociologie, édition Poche,1995. présentation de l’auteur http://fr.wikipedia.org/wiki/Max_Weber
-le rapport au positionnement social, Pierre Bourdieu, Socio-Analyse.
-le rapport à la stratégie d’acteur, Michel Crozier, l’acteur et le système, Erhard Friedberg, édition du Seuil, 1977.
-le rapport à la dimension symbolique, Paul Diel, Psychologie de la motivation, édition Broché.
Réf p 13, « Petit Guide de l’Evaluation des Politiques Publiques ». Conseil Scientifique de l’Evaluation, op. cit.
Nous avons constaté, lors des entretiens qualitatifs avec toutes les catégories d’acteurs, que l’exigence attendue d’un programme de formation internationale est automatiquement plus importante lorsqu’il peut être comparé avec des programmes.
Dossier par Lâm Thanh Liêm et Jean Maïs, « Education et formation professionnelle au Vietnam », Supplément EDA N° 307.
C.Cudennec et G.Tocquer, Service Asia, op. cit.
Article journal, « Tuôi Tre » ( La Jeunesse), Cours supplémentaires, les chiffres qui font sursautés, 10/07/2004.
En France, le Conseil National de l’Evaluation est chargé d’appliquer le Décret no 98-1048 du 18 novembre 1998 relatif à l'évaluation des politiques publiques. En Belgique, le Haut conseil de l’évaluation de l’école joue ce rôle d’évaluation des politiques publiques. En Australie, les institutions universitaires publiques sont régulièrement évaluées par « The Australian Higher Education Quality Assurance Framework »
L’Australie a mis en place un système d’évaluation globale des universités qui permet de répartir les aides publiques.
Politique et management public, volume 8, mars 1990.
KPMG, multinationale d’audit et de conseil spécialisée dans le secteur de la formation et des grandes organisations publiques, site internet : http://www.kpmg.fr
En référence au bilan de l’enquête réalisée sous la direction de Pierre Muller, responsable des programmes AUF, BAP.
Département de l’Emploi Francophone, DEF, activité créée par l’AUF en collaboration avec l’Agence Intergouvernementale de la Francophonie (AIF) et la Chambre de Commerce et de l’Industrie Française au Vietnam (CCIFV). Aide au développement de l’emploi francophone en Asie Pacifique.
Nous vous invitons à regarder par exemple le rapport de l’OCDE, Organisation de Coopération et de Développement Economiques : Regard sur l’éducation France, note de présentation 2005. Site internet http://www.oecd.org/dataoecd/40/60/35342888.pdf
Une évaluation expérimentale sur le positionnement des FUF de l’AUF au sein des établissements membres est en cours. Des expertises réalisées par des scientifiques membre du consortium ont régulièrement lieu sur les FUF en collaboration directe avec les partenaires de la région.
Structure biologique, psychologie du comportement et environnement, Henry Laborit, chirurgien, philosophe, chercheur (né à Ha Noi en 1914 - 1995), découvert dans le film d'Alain Resnais « Mon oncle d’Amérique », voir bibliographie et présentation, http://www.colba.net/~piermon/V1labori.htm