En matière d'évaluation, nous avons exploré différentes théories, avant de trouver une voie qui corresponde à notre intention et à notre but.
Si l'acte d'évaluation peut se définir comme "un jugement de valeur porté sur une action collective ou individuelle, sur la base de la mesure des écarts entre les objectifs affichés et les performances réalisés" 707 , en considérant l'accès à la formation ou à l'emploi comme objectifs, notre évaluation pourrait consister à constater qu'après avoir consulté la MIFE les personnes accéderaient à une formation ou à un emploi. Dans le cas contraire, il nous resterait à en analyser les raisons. Non seulement cette procédure est en partie déjà utilisée pour les comptes rendus d'activité demandés par les financeurs de la structure 708 mais, en focalisant sur des effets, certes observables quoique uniquement externes, nous serions dans l'impossibilité d'apprécier cette pratique dans toute sa dimension éducative et dans sa complexité. Il convient donc d'aller plus avant dans l'expression des finalités et le choix de la méthode.
Au-delà de la mesure des performances, il pourrait également s'agir d'apprécier l'efficacité de la pratique d'orientation de la MIFE, non seulement du point de vue de l'atteinte d'objectifs déterminés, mais aussi en regard des finalités exprimées par les promoteurs et de ses qualités intrinsèques, qui détermineraient son efficacité, voire sa réussite. Nous entrerions alors dans une évaluation qualitative 709 , qui est une façon de "faire parler" 710 le dispositif en mettant l'accent sur les caractéristiques de l'action elle-même, "dans la mesure où l'on fait l'hypothèse que les performances observées ou mesurées au terme de l'action évaluée sont le produit de l'action elle-même" 711 . Dans ce cas, il s'agirait d'analyser, au travers de la pratique des entretiens et des outils d'orientation, ce qui contribue à l'élaboration de projet professionnel, en appliquant une méthodologie qui vise à apprécier la cohérence, l'adéquation des moyens, l'efficacité, les effets d'impact et d'en calculer les coûts 712 . Nous nous engagerons en partie dans ce type d'analyse, en privilégiant les trois derniers éléments que nous venons d'évoquer, mais nous souhaiterions dépasser l'examen des seuls effets observables. En effet, quelle pourrait être l'évaluation d'une pratique d'orientation par ces effets externes, alors que selon des recherches effectuées par des universitaires canadiens, la dynamique interne de la personne semblerait plus déterminante dans la démarche d'orientation ? 713 Mais comment évaluer à partir de causes intra-personnelles, appartenant à la personnalité propre, voire à la boîte noire de chacun, en qui sont enfouis pèle mêle des éléments, conscients et inconscients, de son histoire, de sa généalogie, de son système de représentations, de pensée et de valeurs, de sa construction psychique ? François Aballéa rappelle à juste titre que, si "toute évaluation, surtout toute évaluation à posteriori, repose sur l'hypothèse d'un lien de causalité entre l'action engagée et les résultats - l'atteinte du but - auxquels on est parvenu ... assez souvent, ce lien de causalité est impossible à établir de façon incontestable" 714 .
Ne pouvant nous satisfaire d'évaluer des résultats, dans un seul rapport linéaire de type cause-effet, nous nous engagerons dans une évaluation qualitative plus fine, orientée vers la "recherche de sens" 715 , telle qu'elle a été modélisée par Charles Hadji. En effet, ce philosophe de l'éducation qui s'est attaché à la question des finalités dans l'évaluation des pratiques éducatives, rappelle que l'approche qualitative a été théorisée par Jacques Ardoino et Guy Berger 716 . Ces chercheurs ont dégagé trois niveaux :"l'évaluation estimative", orientée vers le quantitatif, privilégiant la mesure et la fonction d'expert, "l'évaluation appréciative", composée de deux démarches distinctes correspondant à des conceptions philosophiques différentes. L'une est d'apprécier en terme de valeur, ce qui veut dire juger, la seconde, constituant la véritable évaluation selon eux, est tournée vers la recherche de sens, la compréhension, terme plus global, qui "implique l'explication, l'interprétation, mais aussi l'empathie expérientielle" 717 . En fonction de ces deux intentions différentes, l’alternative consiste à se placer dans une position de juge ou de philosophe, selon les termes de Charles Hadji : "L'expert tente de saisir le réel en le soupesant ; le juge de l'apprécier par rapport à un devoir être. Celui que nous désignerons comme le philosophe, à l'extrémité du continuum qui va de la mesure à l'évaluation, a en commun avec l'expert l'ambition de saisir l'être. Non pas, cependant pour en dire le poids, mais le sens" 718 . Dans la mesure où toute pratique d'évaluation est en quelque sorte "un mixte qui articule des intentions concernant l'activité d'évaluation elle-même (à quoi sert-il d'évaluer?) et des intentions concernant son usage social (à quoi sert l'évaluation ?)" 719 , dans notre recherche, nous traverserons ces trois modes, en privilégiant le dernier.
En effet, en soulignant que "l'intention de comprendre conduit à interpréter la réalité dans sa complexité, sa multidimensionnalité" 720 , cette approche nous permettra d'appréhender le processus d'élaboration et de conduite de projet professionnel, d'en expliciter le contenu, les étapes et les conditions de réalisation, et enfin de mesurer l'impact de la relation d'orientation sur cette dynamique. En effet en plus de l'analyse des effets sur les personnes de la pratique d'orientation de la MIFE, nous nous poserons la question du processus même d'élaboration de projet et, plus particulièrement, des facteurs de mise en mouvement de la personne pour s'engager dans un processus de changement et de choix professionnel.
Nous tenterons de répondre à cette question au travers de l'expérience vécue par les personnes et de ce qu'elles ont rapporté au cours de l'entretien d'évaluation que nous avons eu avec elles. Nous avons donc fait le choix d'une évaluation a posteriori, basée sur la parole exprimée sur la prestation d'orientation de la MIFE, que nous avons consignée par enregistrement magnétique et soumise à une interprétation 721 . Comme le souligne Charles Hadji, tout dispositif d'évaluation doit pouvoir échapper à deux écueils : d'une part, les préjugés, favorables ou défavorables et, d'autre part, le manque de rigueur scientifique 722 . Nous tenterons de naviguer à vue sur cet océan du discours de l'autre, en gardant le cap de la vérification de nos hypothèses.
Revue Fors, L'évaluation qualitative, Paris, Fondation pour la recherche sociale (FORS), n°111 et 112, Juillet/Septembre 1989, p. 3.
Cf. les documents "Bilan quantitatif et qualitatif des EMOP réalisés par la MIFE de Savoie", réalisés chaque année pour le Conseil régional, mentionnant le suivi des personnes après la prestation EMOP, en terme d'emploi (CDI, CDD, contrat aidé, création d'activité), de formation et de poursuite de la procédure d'orientation.
L'évaluation qualitative a été développée dans les années 80 à la Délégation à la Formation Professionnelle, dans le but de "marquer la rupture avec un certain mode d'analyse et d'évaluation de programmes ou d'actions trop centré à la prise en compte d'aspects physico-financiers".Cf. François ABALLÉA, "L'évaluation qualitative : approche méthodologique", in Recherche sociale, FORS, 1989, n° 111, p. 5.
François ABALLÉA, Art. cit., p. 6.
Ibid., p. 6.
Cf. Art. cit., pp. 5-24. La démarche d'évaluation qualitative, définie par François Aballéa dégage six concepts centraux :
- Cohérence interne, entre les finalités, les buts et les objectifs,
- Cohérence externe, par rapport aux destinataires, à l'environnement local, aux caractéristiques institutionnelles
- Adéquation des moyens, se situant à l'articulation de la cohérence interne et externe,
- Efficacité par rapport aux objectifs, énoncés de manière univoque et en terme de comportements observables (la réussite), par rapport au but, c'est-à-dire "ce qui devra être atteint à moyen terme" (les résultats), par rapport aux finalités, qui renvoient aux intentions de ses auteurs, et aux valeurs à promouvoir (le processus), et l'appréciation de l'impact (effets positifs ou négatifs, prévus ou non, mais non explicitement recherchés au travers de l'action),
- Analyse du coût de l'opération en rapport avec l'efficacité (ce que l'auteur nomme "efficience"),
- Coût social (prise en compte de l'impact de l'opération sur les autres sources de dépenses).
Le noyau dur de la démarche d'évaluation se situe dans la plupart des cas à l'atteinte des objectifs opérationnels, à la mesure des écarts entre les objectifs affichés et réalisés, tandis que l'appréciation de l'efficacité par rapport aux finalités pose davantage de problèmes dans la mesure où il n'est pas toujours facile de définir explicitement tous les indicateurs.
En effet, les effets positifs de toute intervention d'orientation dépendraient, pour 65%, de la personne elle-même (de sa personnalité propre, de ses ressources, de son contexte de vie et de son environnement ...), que 20% relèveraient de la compétence personnelle des conseillers eux-mêmes, et enfin 10 à 15%seraient liés aux techniques et méthodesutilisées.Remarquons toutefois que ces résultats ne semblent pas prendre en compte l’effet de la relation interpersonnelle conseiller-personne, qui nous intéresse ici tout particulièrement. Cf. Conrad LECOMTE, "Évaluation des difficultés d’insertion sociale professionnelle par l'entretien", Communication au 22e Congrès Mondial de l'Orientation, Annecy, 1987, résumé in Bulletin ACOF, n °322, Mars 1989, p. 905.
François ABALLEA, "L'évaluation qualitative, approche méthodologique" in Recherche Sociale, Fondation pour la Recherche Sociale (FORS), Paris, n°111, juillet septembre 1989, pp. 5-32.
Charles HADJI, "Comment le PEI pourrait-il bénéficier de l'évaluation qu'il mérite ?", in ouvragecollectif préfacé par Gaston Paravy et postfacé par Guy Avanzini, Médiation éducative et éducabilité cognitive, autour du PEI, Lyon, Chronique sociale, 1996, p. 87.
Charles Hadji distingue trois types d'évaluation : l'évaluation-vérification, essentiellement tournée vers le contrôle et l'apport de preuves, l'évaluation-régulation visant à ajuster l'action des opérateurs, et l'évaluation-recherche de sens, en vue d'en comprendre le processus.
Jacques ARDOINO et Guy BERGER, "L'évaluation comme interprétation", in revue POUR, n°107, pp. 120-123.
Jacky BEILLEROT, Voies et voix de la formation, Paris, Éditions universitaires, 1995, p.79.
Charles HADJI, L'évaluation, règles du jeu, des intentions aux outils, Paris, ESF, 1989, pp. 73-74.
Charles HADJI, Op. cit., p. 150.
Charles HADJI, Op. cit., p. 74.
Nous sommes consciente de la richesse mais aussi des limites de ce choix, mais si nous l'avons fait, c'est qu'il nous semble correspondre à l'esprit de la pratique de la MIFE qui est de privilégier la parole de la personne.
Charles Hadji, "Comment le PEI pourrait-il bénéficier de l'évaluation qu'il mérite ?", in Op. cit., p. 85.