1. L’évolution des pratiques d’évaluation en bibliothèques
1.1. Une longue tradition quantitativiste
La tendance à limiter l’évaluation aux statistiques a longtemps dominé les pratiques des bibliothèques en la matière. L’esprit qui animait les professionnels était que plus on recueille de chiffres, plus on aura des informations utiles dans la prise de décisions rationnelles et pertinentes. Gorman (1999) reprend les aspects soumis au comptage dans les bibliothèques pour s’interroger “ si de telles données peuvent permettre de faire une corrélation entre les moyens et la productivité. ” 96
S’agissant des collections par exemple, Gorman remarque que la plupart des rapports annuels d’activité des bibliothèques se contentent de relater l’évolution de la taille de la collection, laissant sous-entendre par-là qu’il y a un lien entre la taille de la collection et sa qualité. D’autres bibliothèques, partent du principe qu’il y a forcément une relation entre quantité et qualité pour avancer les décomptes du nombre de prêts et de consultations des documents comme indicateur de la qualité de leurs collections. Mais encore une fois, on peut se demander si le décompte des prêts ou des utilisations des documents de la bibliothèque est un indicateur valide de l’exhaustivité ou de la pertinence d’une collection. Les chiffres recueillis indiquent tout simplement que des documents ont été consultés, peut-être parce que rien de mieux n’était disponible. La qualité d’une collection se révèle en effet au travers d’études détaillées et basées sur des techniques comparatives. La comparaison se fait entre les documents d’une collection locale avec une mesure extérieure quelconque (une bibliographie de référence, la collection d’une bibliothèque de référence.) L’une des méthodes d’évaluation comparative des collections est la méthode Conspectus élaborée par le réseau RLG(Research Libraries Group) aux Etats-Unis. Cette méthode s’appuie sur le cadre de classification de la bibliothèque du congrès, pour définir différents niveaux dans une collection avec une pondération sur une échelle de 0 à 5 (0 : hors sujet, 1 : niveau minimum d’acquisitions, 2 : information de base, 3 : enseignement, 4 : recherche, 5 : exhaustivité). La pondération est établie à la base de comparaisons avec les bibliographies de référence. Cette pondération est complétée par deux autres indicateurs relatifs au rythme des acquisitions et aux langues couvertes (E : anglais, F : documents sélectionnés+ anglais, W : large couverture en langues vivantes, Y : documents en une seule langue). Ainsi une pondération du type 3E/4W signifie pour une discipline donnée que la collection part d’un niveau enseignement exclusivement en anglais pour atteindre un niveau recherche avec large couverture de langues.
Les systèmes d’information informatisés offrent une autre opportunité pour améliorer les résultats que l’on peut tirer du comptage classique. Il s’agit de remplacer le comptage des usagers, des usages et des collections par le décompte des requêtes passées sur les systèmes automatisés. Ainsi, il est devenu possible de déterminer le nombre de requêtes ayant reçu une réponse et avec quel degré de satisfaction, le nombre de requêtes non abouties, etc. Des indicateurs plus fiables sur la qualité des collections et des systèmes de recherche (catalogues) sont mis en place comme le taux de rappel et le taux de précision lors d’une requête. Le taux de rappel désigne le rapport du nombre de documents pertinents trouvés sur le nombre total de documents pertinents de la base. Le nombre de documents pertinents existants dans la base mais qui ne sont pas trouvés par le système lors de la requête désigne le taux de silence. Le taux de rappel et le silence ne sont pas directement mesurables par l’utilisateur final car en interrogeant la base, il ne connaît pas le nombre total de documents pertinents qu’elle contient. Le taux de précision se définit comme le nombre de documents pertinents trouvés sur le nombre total de documents trouvés. Les documents trouvés par le système mais qui ne sont pas pertinents correspondent au taux de bruit. “ Le taux de rappel varie en raison inverse du taux de précision. Il y a donc impossibilité d’avoir à la fois exhaustivité et pertinence. ” 97
La durée d’une requête est, elle aussi, une variable à prendre en compte dans l’évaluation quantitative d’un système d’information. Car tous les systèmes ne présentent pas les mêmes performances par rapport au temps de réponse. Les systèmes informatiques permettent des mécanismes d’enregistrement de la durée des requêtes.
Malgré les avancées des techniques de comptage, qu’il s’agisse des usagers, des collections ou des requêtes, la quantification reste confrontée à un problème intrinsèque inhérent aux limites mêmes des chiffres qui ne peuvent pas tout capter et relater.
‘“ Les professionnels devraient songer à élargir leurs méthodes de recueil et d’analyse de données aux données qualitatives, dans le but d’arriver à une plus grande fiabilité et à une interprétation plus affinée des résultats de leurs enquêtes. ” 99 ’