2.3. Procédures de contrôle et méthodes d’évaluation

Les méthodes et moyens utilisés pour le suivi et l’évaluation tels que définis par la BnF sont :

• Rapports annuels présentés et discutés lors de séances d’évaluation annuelles,
• échanges de listes d’acquisitions,
• rencontres et contacts courants avec les acquéreurs,
• accès réciproque aux catalogues par Internet pour une meilleure connaissance des fonds par les acquéreurs. ²⁰⁷

Les membres du réseau, à l’image de l’ensemble des bibliothèques françaises, accusent un retard en matière d’évaluation par comparaison aux autres organisations publiques participant à des réseaux de coopération (universités, laboratoires de recherche, services sociaux, etc.) Ils n’ont pas de traditions fortes, exhaustives et homogènes en matière d’évaluation. Pourtant les pratiques (l’ESGBU, l’ESGBGE, etc.), les moyens et les normes d’évaluation ne cessent de se généraliser et de s’homogénéiser (systèmes intégrés de gestion de bibliothèques, norme sur les indicateurs de performance, etc.) ^* Il est vrai que la profession a encore du mal à digérer et à intégrer les outils d’évaluation qui sont par définition lourds et contraignants.

‘“ Certains de nos partenaires au sein du pôle partent de l’idée que celui-ci ne peut être que bénéfique et par conséquent il n’est pas nécessaire de savoir ce qu’il coûte par rapport à ce qu’il apporte. ” [PCDS3]’

Quant à l’évaluation exigée par la BnF de ses associés, elle soulève plusieurs questions auprès de ces derniers.

Une première question soulevée par les correspondants des pôles concerne les segments de l’année couverts par cette évaluation qualifiée d’annuelle et qui ne couvre pourtant pas l’ensemble de l’année administrative. Deux facteurs expliquent ce décalage. Le premier est lié aux retards dans le déblocage des différentes tranches de la subvention. L’argent dépensé au cours d’une année est souvent imputé sur l’exercice d’une année antérieure dont l’évaluation a été déjà faite. Les évaluations obtenues demeureront partielles et ne reflèteront pas la réalité de l’activité sur l’ensemble d’une année tant que ce retard n’est pas rattrapé. Les conditions pour éviter ces retards sont assez complexes et dépassent en partie les compétences de la BnF (lourdeur administrative, procédures de contrôle des dépenses publiques, etc.) Le deuxième facteur tient au décalage entre les échéances de l’année administrative et celles de l’année universitaire pour les BU qui représentent une partie importante des pôles associés. Les établissements universitaires ne peuvent évaluer que par rapport à une année universitaire qui est par définition à cheval entre deux années administratives.

‘“ La réunion d’évaluation intervient à mi-parcours de l’année. Elle ne reflète pas l’activité de la totalité de l’année en question. Il y a un décalage entre la période visée par l’évaluation et la période d’activité réelle. ” [PCDS6 PUDS1, PUDS14, PUDS5, PUDS3, PUDS8, PUDS4, PCDS2, PCDS3, PCDS1a]’

Quant au contenu même de l’évaluation, beaucoup de pôles associés reprochent aux formulaires conçus par le secteur des pôles associés à la BnF la focalisation sur les aspects comptables et administratifs du fonctionnement des pôles et la négligence des aspects scientifiques et documentaires de cette coopération, tels que l’évaluation des collections et des usages. Si certains imputent ce manque à la jeunesse du réseau, d’autres y voient le signe que la seule évaluation qui intéresse la BnF est celle qui a trait à la gestion de la subvention. Cette idée trouve un appui dans le fait que la BnF ne procède à aucune évaluation avec les pôles associés label auxquels elle n’accorde pas de subvention financière.

‘“ L’évaluation que fait le secteur des PA à la BnF ne sert qu’à justifier la raison d’être de cette politique. On a l’impression de servir d’alibi à la BnF pour dire qu’elle assure un rôle national. ” [PUDS6, PUDS15, PUDL7]
“ Les pôles label ne sont sollicités pour aucune évaluation de leur coopération avec elle. Le meilleur moyen de mesurer les apports de cette association à la BnF serait des enquêtes de satisfaction portant sur les usages, les usagers et les collections. ” [PUDL2, PUDL8]’

D’autre part, les formulaires de la BnF demandent aux pôles certaines données qu’ils sont incapables de fournir. Les pôles ne répondent pas tous de la même façon aux formulaires qu’ils reçoivent. Ils n’ont pas les mêmes possibilités de réponse, ni les mêmes façons de fonctionner. Exemple, si l’accès est direct on ne peut pas comptabiliser le nombre des consultations, s’il est indirect on peut le faire. Certains pôles préfèrent répondre qu’ils ne possèdent pas de données sur certains aspects ; d’autres fournissent des données approximatives, parfois même fictives (taux d’occupation, coût de traitement, taux des documents traités, etc.)

‘“ Une réforme des formulaires d’évaluation est nécessaire, car ce qui compte le plus dans ces formulaires c’est l’équilibre comptable, la transparence de la gestion budgétaire et l’exactitude des chiffres. Ces formulaires sont compliqués. Certains chiffres ne peuvent être établis. Ils sont soit non fournis, soit établis à la louche (taux d’occupation, etc.) L’évaluation doit être orientée vers les aspects qualitatifs (évaluation des collections, la qualité scientifique des acquisitions, la satisfaction des usagers, etc.) ” [PUDS1, PUDS3, PUDS4 PUDS5, PUDS6, PUDS7, PUDS8, PUDS11, PUDS14, PCDS1a, PCDS1b, PCDS2, PCDS3]
“ Le PEB n’est pas un indicateur fiable : son augmentation peut être liée à d’autres facteurs que le PA. Le taux de satisfaction des demandes PEB peut être faussé par des demandes mal orientées ou aussi par les outils de localisation et d’accès à distance qui font que la sélection se fait en aval, donc un haut taux de satisfaction n’est pas synonyme d’exhaustivité. ” [PUDS6]’

D’un autre côté, nombre de correspondants interviewés remarquent que ce réseau est encore en phase de construction et que par conséquent il est encore tôt d’évaluer certains de ses aspects notamment les aspects scientifiques. S’il est vrai que certains aspects du fonctionnement de ce réseau se prêtent à une évaluation immédiate sans avoir besoin de cumuler des données dans le temps (les contacts et rapports humains, l’échange d’informations, les procédures administratives, l’exécution des conventions, etc.), il n’en est pas moins vrai que certains autres aspects nécessitent une accumulation d’expériences, de données et d’observations dans le temps avant de pouvoir procéder aux comparaisons, interprétations et analyses nécessaires.

‘“ S’il n’y a pas un décollage de nos statistiques PEB, un jour ou l’autre, la BnF va nous demander des explications et pourrait même arrêter la subvention. ” [PCDS6]’

N’oublions pas que les salles recherche à la BnF ne sont ouvertes à leur public que depuis la fin de l’année 1998. Il est encore tôt par exemple de mesurer si cette collection nationale concertée a atteint un degré d’exhaustivité satisfaisant ; si elle présente plus d’avantages que d’inconvénients ; si son taux d’utilisation et de circulation justifie ses coûts. Le plus gros de l’évaluation reste à venir. Mais une évaluation scientifique, efficace et utile nécessite la définition en amont des données à collecter, des moyens et méthodes de cette collecte, ainsi que la persévérance dans la collecte des données ainsi définies.

‘“ En dehors des chiffres très peu parlants que nous fournissons dans le cadre de l’évaluation annuelle, nous n’avons pas des données précises sur l’usage et les usagers par exemple. L’évaluation requiert des outils statistiques et informatiques, des compétences et des pratiques que nous n’avons pas. Il est vrai que tant que le CCF n’est pas encore opérationnel, on ne peut pas avoir une idée sur l’incidence de cette coopération sur nous. ” [PUDS14, PUDS5, PCDS2, PCDS3, PCDS4, PCDS1b, PCDS7a, PCDS7b]’

Enfin, le temps est un facteur essentiel pour avoir le recul nécessaire à l’objectivité des données recueillies et des enseignements qu’on en tire.

‘“ Une collection étant par définition cumulative, l’effet d’un réseau de partage documentaire ne peut se mesurer que dans la durée. Le PA est très jeune, donc on ne peut pas l’évaluer maintenant. ” [PUDS14, PUDS6, PUDS5, PUDS13, PUDS11, PUDL8, PUDL3, PCDS2, PCDS6, PCDS4, PUDS1, PUDS12]’