3.1 Facettes de la validité de la catégorie « non formel »

La validité d’un énoncé peut être envisagée sous différents aspects. Particulièrement dans ce domaine, la prudence s’oppose au simplisme. Considérant la validité sous plusieurs angles, dont nous n’avons donné qu’un aperçu en évoquant l’exactitude et la précision, Mainville⁴³⁰ en propose cette définition générale: «‘il ne suffit pas que les inscriptions entretiennent un rapport optimal de fidélité avec l’événement, il faut aussi que ces inscriptions soient en rapport avec ce que l’on cherche à dire à propos de cet événement ../... . La validité des inscriptions renvoie à la question du rapport des indices et des traces avec le concept qui permet de commenter l’observation’». Mainville et Rumeau-Rouquette s’accordent au moins sur l’idée que la validité repose sur l’idée qu’une mesure doit mesurer ce qu’elle est censée mesurer. Ce dernier utilise le terme d’exactitude.

Pour que l’éducation non formelle puisse être définie exactement, celle-ci doit pouvoir décrire ce qu’elle entend décrire, l’exactitude d’un énoncé étant la première condition de sa validité⁴³¹. L’autonomie de la classe de référence de l’énoncé est donc nécessaire. Or, par son caractère non autonome indiqué explicitement par plusieurs définitions mais aussi et surtout par la C.I.T.E., l’éducation non formelle s’expose à l’inexactitude de sa qualification. De ce fait, aucun méta-discours catégorique ne vient en effet trancher le statut de la classe. Pour cette seule raison, puisqu’il s’agit selon Rumeau-Rouquette d’une condition nécessaire à la validité, celle-ci devrait être discutée. Cependant, bien que l’exactitude renvoie à une définition assez partagée de la validité, il conviendrait de ne pas aller trop vite en besogne. On a tôt fait de rejeter la validité d’un énoncé si on n’en explore pas plusieurs facettes.

Envisageons alors les questions de validité interne et de validité externe de la catégorie.

La validité interne concerne la pertinence ou la justesse de l’explication fournie par les auteurs des classifications, en particulier de la C.I.T.E., pour expliquer les résultats de leurs travaux. Carr-Hill a souligné le processus inductif conduisant à cette qualification. Mais ce qu’aucun des auteurs ne souligne clairement, c’est le caractère sensible ou spécifique des catégories non formel. Aussi, nous faut-il apporter quelques précisions valables à propos de toute classification d’un quelconque domaine d’activités.

Le caractère sensible d’une mesure consiste à recenser d’une manière très large des événements selon un critère d’admission extrêmement englobant. L’instrument de mesure est sensible en ce sens qu’il réagit très souvent : la classe accepte un nombre important d’évènements et elle compte un nombre élevé de données correspondant au critère de référence. Du fait de sa réceptivité très large, la classe accepte aussi des événements qui pourraient ne pas y être : c’est le cas par exemple de l’alphabétisation des adultes au Mozambique, instituée par l’Etat avec un système d’échelle. On peut donc trouver dans une classe sensible des vrais positifs (correspondant bien aux attributs de la classe) et des faux-positifs (s’apparentant en première lecture aux attributs de la casse). Toute activité d’éducation hors du champ scolaire est donc susceptible d’entrer dans la classe non formel. Il est donc normal que cette population au sein de la classe issue d’une mesure sensible soit extrêmement nombreuse. C’est le propos d’Evans. La validité interne de la C.I.T.E. ne pourrait être mise en cause de ce point de vue, si le propos de la classification ne consistait pas à décrire de manière spécifique les activités d’éducation pour tous les âges quels que soient les contextes. Or, elle se propose de mettre en lumière plus qu’une classe sensible.

Concernant la spécificité des mesures, celle-ci est inversement proportionnelle au caractère sensible. Une mesure sensible peut être spécifique mais les deux conditions sont rarement réunies. La mesure spécifique ne prélève que les critères spécifiés de l’objet qu’elle mesure, si un élément de spécificité est retenu pour la classe du non formel, tout élément ne comportant pas cette spécificité est exclu de la classe. La préoccupation des analyses de Bibeau, comme celle de Carr-Hill, concerne la spécificité majorée des prélèvements d’éducation non formelle. Leurs analyses n’en établissent pourtant que des particularités, elles en soulignent des exemples ou des illustrations. Ce n’est pas à proprement parler un travail de catégorisation dans une perspective classique. Lorsque Carr-Hill déplore la profusion de sous catégories entrant difficilement dans la classe sensible éducation non formelle, il souligne en réalité la difficulté à établir une mesure se voulant à la fois sensible et spécifique. En prétendant fournir à l’éducation non formelle une spécificité, on devrait exclure de la classe sensible les événements non porteurs de cette spécificité. Et c’est sur ce point précis que la validité interne de la classification se lézarde.

Quant à la validité externe d’une recherche, elle s’intéresse à la pertinence de généraliser une conclusion à d’autres contextes ou à d’autres populations que les échantillons utilisés pour l’établissement des classifications. Il s’agit du bien-fondé des classifications, celles-ci ne fonctionnant pas pour elles-mêmes, mais bien dans un registre universel et à des fins particulières. La vocation de la C.I.T.E. réside dans sa contribution à rendre compte des mesures statistiques spécifiques des différents Etats de manière à favoriser les comparaisons internationales. Or, la validité externe se heurte ici aussi à la mauvaise pratique de la mesure sensible et spécifique pour les qualifications. Alors que certaines définitions présentent l’éducation non formelle par des illustrations et non par des traits spécifiques, elles prétendent pourtant montrer son caractère universel. Il leur est donc impossible dans ce cas d’autoriser une quelconque généralisation. Le caractère particulier et non spécifique de la forme mozambicaine d’éducation non formelle ne peut être généralisé à la classe éducation non formelle, pas plus que la forme que prendrait l’éducation non formelle à travers des clubs sportifs ne rendrait compte à elle seule de l’ensemble de la classe. Pour que la classe éducation non formelle réponde à l’exigence de validité de contenu, autre forme de la spécificité, il faudrait qu’elle couvre l’ensemble des activités de la classe non formelle, tâche actuellement impossible.

Or, pour qu’une classification puisse assumer les deux modes, sensible et spécifique, elle doit nécessairement changer son instrument de mesure et assumer une rupture importante du point de vue de la méthode. Cette rupture n’apparaît pas. Nous reproduisons ci-dessous les définitions que donne Mainville de la fidélité d’un instrument de mesure.

Tableau 28 : Présentation des définitions de la fidélité selon Mainville (S.)

Capacité d’un instrument de mesure de reproduire les mêmes résultats lors de circonstances identiques, peu importe l’observateur et le nombre de mesures prises

Caractéristiques d’une technique qui assure de recueillir les mêmes données chaque fois que les mêmes phénomènes se produisent

Conformité d’un indicateur (ce que l’on veut observer ou mesurer)avec sa représentation (les données que nous avons recueillies

Les deux premières définitions provenant du domaine psychométrique retiennent la constance et la stabilité. Il s’agit de mesures construites et surtout provoquées. Or, les données recueillies peuvent être provoquées, invoquées mais aussi suscitées. Dans le cadre des différentes définitions de l’éducation non formelle recensées, les mesures sont tirées d’observations empiriques et ne sont jamais testées statistiquement. Les mesures sont des mesures invoquées de manière inductive. Si la précision davantage visible chez Bibeau et chez Carr-Hill permet d’augurer la définition de formes possibles, elle sera toujours limitée par l’absence de rupture au sein des classifications.

Nous pouvons donc affirmer que la validité externe, interne, et de contenu de l’éducation non formelle ne s’attestent pas. Les mesures sont trop sensibles pour prétendre à la spécificité.

Cela est-il grave ? Cela ne le serait pas si les planificateurs n’indiquaient pas à plusieurs reprises l’éventualité de considérer l’éducation non formelle comme une mesure compensatoire. Nous plaçant du point de vue des pays à faibles revenus, fortement dépendants des aides bi et multilatérales et nous appuyant sur les classifications et les comparaisons internationales, la question mérite bien entendu d’être traitée. Nous pouvons maintenant envisager notre proposition d’éducation formelle, familiale et éventuelle en examinant uniquement l’autonomie de chacune des différentes classes. L’analyse portera sur les couplages possibles entre les trois classes.