2.3. Les critères d’interprétation : Efficacité, Efficience et Pertinence
On ne peut parler d’indicateur que grâce à l’interprétation qui lui est donnée. Un indicateur isolé de son contexte est un chiffre qui ne renseigne sur rien. Ce chiffre ne devient indicateur que s’il est interprété par rapport au contexte qui l’a généré. Lors d’une enquête qui a touché un ensemble de services publics administratifs français, Jacques Dejean et al. (1998) reprennent une série d’indicateurs (indice de satisfaction : 96%, nombre de réclamations : 2, nombre d’abonnés : 24 sur 45 propositions, taux de consultation : 8 par jour, nombre d’incidents : 3), pour s’interroger :
‘“ En fonction de quel critère allons-nous pouvoir dire que 2 réclamations, c’est un bon ou un mauvais résultat ?En fonction de quoi pouvons-nous décider que 24 abonnements sur 45 propositions sont un bon résultat ?
Que vaut un taux de consultation de 8 par jour si nous n’avons défini aucune norme de référence en matière de taux de consultation ?
Comment savoir si 3 incidents, c’est un bon résultat, lorsque nous ne savons pas à quoi comparer ce résultat ? ” 106 ’
C’est dire à quel point il ne suffit pas d’avoir des indicateurs de résultats pour prétendre faire de l’évaluation. Ces indicateurs permettent de contrôler que des actions ont été accomplies mais ne permettent pas de porter des jugements sur les effets de ces actions et leur bien fondé. Ce sont de simples outils de contrôle du fonctionnement du service à l’image des tableaux de bord. Il s’agirait alors d’indicateursde résultats et non pas d’effets de ces résultats. Cette distinction fondamentale entre évaluation et contrôle n’est pas toujours respectée au niveau des pratiques qui ont souvent tendance à réduire l’évaluation aux recueils statistiques.
Si le contrôle cherche à vérifier le respect des normes et des règles sans porter de jugement de valeur, l’évaluation, quant à elle, cherche justement à construire un jugement de valeur sur les actions accomplies. Or, elle ne peut le faire sans se référer à des critères de jugement. C’est là où intervient la deuxième étape de l’évaluation, celle des recoupements des indicateurs (des chiffres), des interprétations et des analyses à la base de critères précis, avant de déboucher sur les jugements.
‘“ Il faut, pour évaluer le même service, croiser plusieurs indicateurs, car, de par leur structure même, certains indicateurs mesureront plutôt l’efficience (la mise en oeuvre des moyens) et d’autres plutôt l’efficacité (l’atteinte des objectifs.) ” 107 ’
Le critère se distingue de l’indicateur. “ Les critères sont de l’ordre du référent et les indicateurs de l’ordre du référé. ” 108 Trois critères sont identifiés dans la littérature relative à ce sujet : l’efficacité, l’efficience et la pertinence. Ces critères sont obtenus par le croisement des trois composantes d’un système de production, à savoir les objectifs, les moyens et les résultats d’une organisation donnée. [GAZAGNES, 1993]
Lorsque l’on compare les objectifs d’une organisation à ses résultats, c’est l’efficacité de l’organisation que l’on cherche à évaluer. L’efficacité est un critère en partie quantifiable. Cela signifie que les objectifs doivent être quantifiés (pourcentage, délais, ratios, échelle d’appréciation, etc.)
Lorsque l’on rapporte les résultats aux moyens, c’est l’efficience que l’on cherche à évaluer. Ce critère est quantifiable. “ Une activité est efficiente si elle emploie le minimum de moyens ou si elle produit un meilleur résultat avec les mêmes moyens ” 109
La confrontation des objectifs avec les moyens permet d’évaluer la pertinence du système.
‘“ La performance se définit comme l’“ efficacité dans la fourniture de services par la bibliothèque et l’efficience dans l’emploi des ressources pour fournir ces services ”. 110 ’