Annexe 3.4 - Recherche & Action dans le cadre de l’évaluation des politiques publiques

Projet d’article à l’intention des stages de formations de formateurs : l’évaluation des politiques publiques, vecteur de veille et de développement pour la formation : le cas des filières francophones de l’AUF au sud du Viêt-nam

Auteur : Gilbert Palaoro / AuF antenne d’HCMVille, Vietnam

Résumé :

L’évaluation des politiques publiques est-elle un moyen permettant de posséder des modes opératoires de qualité, efficaces pour les acteurs de l’ingénierie pédagogique, pertinents pour les responsables du système public de formation et pour l’aide internationale au développement ? Tel est l’enjeu de cette communication.

Nous étudierons comment est-il possible, à partir des recherches et des pratiques d’évaluation existantes dans des institutions internationales, en Asie du sud-est et en particulier au Vietnam, d’améliorer des pratiques pédagogiques et d’aider à la mesure de l’efficience des politiques publiques. Nous observerons dans le champ des programmes francophones, par l’intermédiaire du réseau universitaire de l’Agence Universitaire de la Francophonie, comment l’évaluation permet de situer l’influence de l’environnement sur l’apprentissage et de réfléchir sur les moyens éventuels d’utiliser ces informations pour le développement de la recherche en ingénierie pédagogique.

Introduction

L’objet de notre travail sera de définir et de situer dans un premier temps la place de l’évaluation des politiques publiques pour les enseignants et dans les programmes internationaux d’enseignement. Pour illustrer notre propos, nous nous appuierons ensuite sur un travail d’enquête réalisé par l’Agence Universitaire de la Francophonie (AUF), Bureau Asie-Pacifique (BAP), pour les programmes universitaires de second cycle de la région. L’étude portera autant sur l’originalité méthodologique de l’enquête que sur ses résultats. Nous verrons que l’impact des résultats peut avoir des répercussions intéressantes sur le développement des programmes de l’agence mais aussi pour le secteur de la recherche.

L’évaluation d’une politique publique dans le champ d’activité des enseignants

De nombreux enseignants de français opèrent dans des formations liées à une offre internationale résultant de la demande régionale de pays tels que le Cambodge, le Vietnam et le Laos que nous nommerons « Région ». La majorité utilise couramment des pratiques d’évaluation centrée sur l’activité, sur l’apprenant, pour mesurer et contrôler des acquisitions. Ils concourent souvent aussi à des évaluations méthodologiques pour s’interroger sur les pratiques qui favorisent le développement des outils pédagogiques. L’apprentissage du français dans notre région est en général le fil conducteur de la communication pour des formations principalement commanditées par le secteur public, dans un contexte complexe de coopération multilatéral et international. La complexité est par exemple liée à l’apprentissage des langues vivantes qui induisent la diversité culturelle et l’influence internationale dans laquelle baignent les formations et les formateurs. L’évaluation centrée sur l’apprenant ou l’activité et celle centrée sur la méthodologie peuvent être complétées par une évaluation plus globale de la formation dans son contexte social et économique communément nommée évaluation des politiques publiques, utilisée notamment pour tous les projets appuyés par des financements publics. Cet outil d’évaluation peut être perçu comme une ingérence car il implique un regard sur les pratiques et sur les organisations, ce qui peut amener de fortes résistances ¹⁰⁷⁹ . Elle peut surtout être fortement utile si son intérêt est compris et si elle est menée de manière à respecter une certaine déontologie de l’évaluation ¹⁰⁸⁰ .

Selon le conseil scientifique de l’évaluation français ¹⁰⁸¹ , les éléments qui qualifient une évaluation sont les :

Objectifs : les motifs politiques qui ont justifié la naissance du projet.

Moyens  : ensemble des outils ou des ressources utilisées pour conduire la politique.

Résultats : conséquences globales ou les effets de la politique pour la société ?

Ces éléments s’évaluant en fonction de leur :

Efficacité : mesures des effets propres de la politique par rapport aux objectifs ?

Efficience : les résultats de la politique sont-ils à la mesure des ressources attribuées ?

Pertinence : une politique se justifie très généralement par l’identification d’un « problème de société » auquel les pouvoirs publics se sentent tenus de faire face. Une politique sera dite pertinente si ses objectifs explicites sont adaptés à la nature du problème qu’elle est censée résoudre ou prendre en charge.

Reconnaissance internationale de l’évaluation des politiques publiques

Les programmes de coopération internationale sont soit une complémentarité des activités existantes, une coopération synergique des partenaires, ou la transposition de savoirs et/ou savoirs faire nouveaux. Ces programmes induisent des attentes importantes de la part de tous les acteurs, les étudiants/familles, les enseignants, les opérateurs et les bailleurs de fonds, les États d’accueil. Les autorités vietnamiennes souhaitent que l’offre internationale soit capable de stimuler le système d’enseignement supérieur ¹⁰⁸² . Ces formations sont à la fois intégrées dans le système d’éducation des pays d’Asie et dépendantes des coopérations internationales voire des systèmes éducatifs d’autres pays. Ce constat est accentué par l’exigence de qualité correspondant à une demande croissante de la population ¹⁰⁸³ et constituant également l’une des bases de la stratégie de développement pour toute équipe pédagogique. Les formations sont soumises aux règles de la concurrence au même titre que toutes les prestations de service ¹⁰⁸⁴ , particulièrement dans un pays comme le Vietnam où l’investissement des familles pour l’éducation est souvent proportionnellement considérable ¹⁰⁸⁵ par rapport aux ressources de la famille. Á contraintes multiples, dépendantes d’acteurs différents, il résulte des objectifs complémentaires, ou contradictoires, citons une liste non exhaustive des exemples selon les catégories d’acteurs :

• Les pays d’accueil, attendent des résultats économiques positifs, souhaitent la pérennité des formations et le transfèrent des savoirs, recherchent des ressources pour l’investissement,
• Les partenaires internationaux souhaitent justifier une politique de développement grâce à la pertinence des programmes qui doivent avoir un terme, être rentables et visibles,
• Les étudiants et les familles recherchent un retour d’investissement rapide, une rentabilité individuelle orientée vers le développement d’une carrière,
• Les ingénieurs et opérateurs de la pédagogie recherchent l’évolution des pratiques, la pérennité à travers la transmission des savoirs et des savoir-faire, l’efficacité pédagogique.

Ce type d’évaluation interroge en général de nombreux secteurs du programme et ses résultats peuvent donc intéresser tous les acteurs. Il n’empêche que l’évaluation répondra principalement aux questions de son commanditaire qui sera propriétaire des résultats. L’évaluation des programmes publiques de formation peut être réglementaire ¹⁰⁸⁶ & ¹⁰⁸⁷ , commanditée par les états ¹⁰⁸⁸ , les établissements, les associations pour le conseil ¹⁰⁸⁹ . Elle est naturellement intégrée dans les recherches universitaires et scientifiques sur l’évaluation.

L’enquête de l’Agence Universitaire de la Francophonie (AUF)

C’est dans ce cadre que le Bureau Asie Pacifique (BAP) de l’AUF a mis en place des outils permettant d’évaluer ses programmes et notamment le parcours des diplômés des Filières Universitaires Francophones (FUF) de second cycle, le « retour » en emploi de leur investissement francophone, manière de répondre aussi à la question de l’appréhension par les entreprises de la région de notre action de formation ¹⁰⁹⁰ . Les objectifs secondaires de l’enquête sont la construction d’un fichier de suivi des anciens étudiants et le suivi des diplômés grâce au site internet sur l’emploi du Département de l’Emploi Francophone (DEF) ¹⁰⁹¹ . Nous vous proposons d’exposer cette enquête comme un exemple d’évaluation de politique publique essentiellement sous l’angle méthodologique avec une mise en perspective de résultats intéressants pour la formation et la recherche.

Cette enquête devait nous apporter une lecture sociale et économique locale sur les effets des programmes FUF et complète une gamme d’outils d’évaluation et de procédures pratiqués à l’AUF : indicateurs de résultats, bilans, évaluations, initiés par le Rectorat, le BAP, les pôles scientifiques ou les équipes locales en fonction des missions et des besoins des commanditaires.

Evaluation d’activité : L’enquête régionale menée sur le français dans les FUF

Tous ces outils peuvent contribuer à l’évaluation d’une politique publique. Prenons pour exemple l’évaluation qui a lieu en 2005 sur l’apprentissage du français dans les FUF du BAP. Malgré des résultats qui restaient globalement positifs, mais à partir de certains indicateurs négatifs, absentéisme, résultats aux examens, motivation des étudiants et des enseignants, difficultés de calendrier, etc. Il a été décidé de conduire une évaluation qui devait permettre un réajustement éventuel des moyens et une redynamisation du français dans les FUF. Ce travail a abouti notamment, à des concertations tous azimuts, à une modification importante de la répartition des horaires, à une redéfinition des besoins en formation, à un rapprochement des matières scientifiques de l’apprentissage du français mais surtout à une mise en valeur du français dans les FUF. Cette évaluation était pertinente pour le français dans les FUF mais ne permet pas, à elle seule, d’avoir un regard sur les effets en aval de la formation. On suppose que les méthodes utilisées soient satisfaisantes mais on ne peut pas totalement le vérifier. Par contre ses résultats ont été exploités pour l’enquête suivante.

Méthodologie de l’enquête AUF sur les diplômés des FUF

L’enquête a été limitée dans un premier temps aux 1878 diplômés des trois dernières promotions 2002-03-04 des FUF dans toute la région.

1 ère étape : questionnaire quantitatif fermé. Mars à Juin année N. test du questionnaire (voir annexe 1), contacts téléphoniques (au Vietnam) ou par courriel des diplômés au Vietnam. Six enquêteurs diplômés des filières ont mené l’enquête en vietnamien durant 3 mois. 1559 étudiants ont répondu. Toutes les informations sont enregistrées et exploitables sur l’intranet de l’agence.

2 ème étape : questionnaire quantitatif comparé. Août/Septembre Année N. Comme opération pilote, les résultats des 80 étudiants de la filière de gestion de l’université d’économie d’Ho Chi Minh ville, ont été comparés avec les 80 diplômés de la filière vietnamienne avec un échantillonnage le plus proche possible (nombre, sexe, spécialité choisie, niveau d’entrée au concours de l’université), en vietnamien par deux anciens diplômés de gestion de l’université.

3 ème étape : questionnaire qualitatif comparé. Octobre Année N. Une quinzaine de diplômés des deux groupes vont être interrogés à partir d’un questionnaire (voir annexe 2) qui permettra d’approfondir la connaissance sur le parcours des jeunes et leurs représentations quant à leur rôle dans l’entreprise. Ils sont menés soit en français, en anglais, ou en vietnamien par un permanent de l’AUF avec traduction simultanée de manière à garantir une meilleure communication. Les entretiens seront enregistrés et transcrits.

4ème étape : analyse des résultats. Novembre Année N.

Les limites de l’enquête

Cette enquête est partielle car elle ne permettra pas à elle seule d’évaluer le programme des FUF. Par exemples, elle n’aborde pas :

• l’efficacité financière déjà mesurée par l’AUF par le coût annuel de chaque étudiant ou le coût général annuel de chaque FUF ¹⁰⁹²
• la pérennité des programmes qui sont pour certains en cours d’évaluation grâce à d’autres méthodes ¹⁰⁹³ .

Par contre elle informe sur le parcours des jeunes et permet la vérification si les objectifs initiaux sont atteints tant pour les bailleurs de fonds, que pour les États d’accueil, les familles et les étudiants. Les résultats obtenus pourraient suffire, au regard des objectifs fixés mais dans le contexte d’excellence et de concurrence de la formation, il nous semble intéressant de pouvoir réaliser de manière expérimentale une étude comparative réalisée, par faute de moyens et de temps sur les seuls diplômés de la FUF de gestion. Pour les mêmes motifs, nous questionnons uniquement les représentations (en terme symbolique et psychologique) propres à chaque diplômé et non pas celles émanant de leur environnement social, familial ou professionnel (collègues, et/ou supérieurs hiérarchiques).

Une ouverture scientifique

Cette enquête permet de mesurer l’influence de la francophonie sur les jeunes diplômés sur les lieux de travail mais surtout de réaliser qu’elle doit aussi être mesurée dans les lieux de formation où ils sont plus de 30% à étudier. Ce travail a permis d’interroger les méthodes et d’expérimenter les possibilités de mener des enquêtes comparatives dans le domaine de l’éducation et ce, dans un contexte difficile qui n’invite pas toujours à l’objectivité : concurrence sur le « marché » des formations, limitation des crédits pour le développement et l’éducation, interrogations sur le positionnement de la francophonie dans le monde. Malgré ces difficultés, il est très intéressant de connaître dans le fond et grâce à l’enquête, l’environnement global de l’activité y compris son impact social et économique. C’est une démarche professionnelle qui s’inscrit dans la culture des grandes entreprises et organisations internationales.

De l’évaluation à la recherche

Cette enquête est un outil d’aide à la décision permettant d’analyser le présent pour construire le futur et devient ainsi un outil de veille stratégique. Mais avec l’intérêt méthodologique que suscite l’étude comparative émerge celui lié aux informations inattendues qui découlent de tout travail d’évaluation. Nous avons appris par exemple qu’au niveau :

• de l’efficacité pour les étudiants, plus de 30% d’entre eux poursuivent des études de 3ème cycle, leurs parcours professionnel indique une progression intéressante vers les fonctions cadre de l’entreprise
• institutionnel, la facilité avec laquelle les partenaires acceptent l’enquête et s’intéressent sérieusement à ce type d’évaluation
• de l’apprentissage du français, l’importance pour les étudiants de l’étudier en tant que valorisation sociale mais aussi l’impact négatif des cours de soutien qui leur sont parfois imposés

De tous les domaines c’est celui de l’évaluation de l’efficacité pédagogique qui aura amené le plus d’intérêts pour les évolutions possibles dans nos pratiques quotidiennes et pour l’exploitation scientifique/recherche qui pourrait en découler. Des observations et informations relatives à l’environnement psychopédagogique et techno-pédagogique des FUF ont par exemple permis de découvrir que :

• les rythmes biologiques des étudiants interrogent sur la capacité à apprendre et à mémoriser ;
• certains étudiants ont développé des capacités d’organisation qu’ils jugent très positives grâce aux contraintes intrinsèques au programme, capacités et état que l’on pourrait exploiter pour tendre vers des pratiques d’enseignement encore plus actives ;
• les bourses de mobilité jouent très fortement sur l’ambiance entre les étudiants dans les classes entraînant des rivalités, ce qui peut nous révéler des problématiques intéressantes sur la dynamique de groupe.

Comme le démontrait Laborit ¹⁰⁹⁴ , les informations recueillies suffiront peut-être pour interférer sur certains de nos comportements pédagogiques, savoir permettant d’éveiller l’esprit, de prendre conscience ? Elles peuvent être aussi une source intéressante pour la recherche sur l’environnement psycho et/ou techno-pédagogique des programmes en approfondissant les causes et les conséquences de ces phénomènes pour les apprentissages et les formations dans notre région.