Certains indicateurs sont mobilisés dans l’évaluation de plus d’un seul aspect, ils sont dits des indicateurs polyvalents, à l’image des exemples suivants :
Le fait qu’une composante produise l’effet et son contraire en même temps ne veut pas dire que les deux effets se neutralisent, car la valeur absolue pondérale des effets (c’est-à-dire le poids de l’effet une fois débarrassé de sa charge négative ou positive) n’est pas la même. Autrement dit, on ne peut pas opposer à chaque effet négatif un effet positif, pour peu qu’ils concernent le même aspect à évaluer, en espérant qu’ils se neutralisent. Dans l’exemple plus haut des effets temporels de la technologie, le gain de temps permis par celle-ci n’est pas forcément équivalent à la perte de temps qu’elle engendre. Un seul effet positif (un avantage) peut contrebalancer plusieurs effets négatifs réunis et vice versa.
Il est rare que l’évaluation d’un aspect se base sur un seul indicateur. Il est souvent indispensable d’associer, en les recoupant, plusieurs indicateurs pour avoir une évaluation d’un seul aspect. L’association et le recoupement des indicateurs supposent que les indicateurs sont comparables. Or, ces derniers sont très hétéroclites et n’ont pas toujours la même unité de valeur, même lorsqu’ils ont la même nature. Les caractéristiques organisationnelles, par exemple, ont une nature chiffrée (la taille du réseau, la durée du système d’obligations, le taux de recouvrement, les horaires d’accès, etc.) mais ne portent pas sur les mêmes valeurs. Le système d’obligations ou les objectifs derrière la coopération se présentent, eux, sous forme discursive. Dans d’autres cas, les indicateurs sont des noms (des mots) comme les nouveaux services créés suite à l’entrée au réseau, les modes d’accès, etc. On peut également avoir des indicateurs sous forme de réponse par oui ou non. Dans ces cas, comment apprécier les phénomènes compensatoires qui s’opèrent entre des avantages et des inconvénients générés, au niveau d’un même niveau de manifestation, par des indicateurs de natures différentes ? Par exemple, comment apprécier le solde net entre un avantage de pouvoir offert par une position avantageuse dans la structure du réseau (un bon score de centralité) et les inconvénients, en terme de pouvoir aussi, d’un système d’obligations assez vague ou très contraignant ? Les exemples dans ce sens sont nombreux.
Cependant la multiplication, en vue de leur recoupement, des indicateurs pose la question du coût de l’évaluation et des contraintes de la prise de décision (contrainte de temps, multiplicité des données à collecter, complexité et lourdeur des interprétations, etc.) C’est pourquoi le principe du recoupement des indicateurs ne doit pas aller à l’encontre du principe du réalisme et de la rentabilité de l’évaluation. Cela signifie qu’il faudra toujours se poser la question de ce que rapporte une évaluation affinée par rapport à ce qu’elle coûte.
Ceci est d’autant plus vrai que l’indicateur est un outil de l’évaluation et non pas l’évaluation elle-même. C’est l’interprétation que l’on fait de l’indicateur et le jugement qu’on y porte qui font l’évaluation. Cela implique le recours à un deuxième outil auquel on confrontera l’indicateur ; c’est le critère de jugement (le référent). C’est de l’écart entre l’indicateur et le référent que naît le jugement. Cet écart n’est pas toujours quantifiable, mais il est, en tous cas, qualifiable par exemple de positif, négatif, avantageux, désavantageux, etc.
Le tableau ci-après dresse un panorama des indicateurs et de leurs critères de jugement respectifs. Pour définir les critères de jugement, nous nous sommes basés sur deux éléments :
Ainsi, le référent peut être un objectif défini par la bibliothèque, une norme à respecter, etc.
| Indicateurs | Caractérisation de l’indicateur | Critères de jugement (référents) |
| Pré-requis (ou conditions d’entrée au réseau) | Noms + Description (mise à niveau technologique : achat de matériels, de normes, de logiciels, etc.) | Moyens propres de la bibliothèque et ses capacités à remplir ces conditions sans nuire à son équilibre. |
| Scénarios d’adoption des nouveaux standards | Description | Poids et rôle de la bibliothèque dans le choix des standards du réseau. Sort réservé aux standards de la bibliothèque. |
| Distances (ou coefficient de centralité) | Chiffre | Connexité optimale permise par une architecture ouverte et souple du type application client/serveur, architecture maillée… Types d’échange souhaités par la bibliothèque |
| Ancrage | Noms (la bibliothèque, un service de la bibliothèque, l’organisme de rattachement, un ensemble de bibliothèques, etc.) | Objectifs propres de la bibliothèque |
| Diversité | Chiffre (nombre de catégories institutionnelles) + Noms (classification des membres du réseau par catégories institutionnelles) | Cohésion, entente et enrichissement attendu Vocation et missions de la bibliothèque |
| Sens de circulation (réciprocité) | Nom + Description | Réciprocité = avantage ; Absence de réciprocité = inconvénient majeur |
| Organes de coordination | Réponse par Oui/Non + Description | Oui = avantage ; Non = inconvénient. Exigences des bibliothèques en matière de centralisation et de décentralisation organisationnelles et informatiques |
| Contenu du système d’obligations | Clauses : énonciation formelle des droits et devoirs | Mesures disciplinaires Rapport devoirs/droits Capacité à honorer les obligations |
| Forme juridique du système d’obligations | Noms (contrats, conventions, etc.) | Niveau de flexibilité souhaité par la bibliothèque |
| Origine de l’idée de coopération (instigateur) | Description (procédures et noms d’acteurs institutionnels) | Le réseau ne se décrète pas d’en haut, ni ne se crée artificiellement. C’est la conséquence logique des coopérations librement consenties. |
| Rapports avec la (les) tutelle(s) | Description | Evolution de la marge d’autonomie par rapport à la(les) tutelle(s) Evolution des allocations Niveau d’écoute dont dispose la bibliothèque auprès de la(les) tutelle(s) |
| Relations interpersonnelles externes | Réponse par Oui/Non | Rôle dans l’assouplissement du système d’obligations Rôle dans les situations de blocage, d’urgence, etc. |
| Taille du réseau | Chiffre | Moyens mis à la disposition du réseau Structure et choix technologiques du réseau |
| Densité (Évolutivité de la taille du réseau) | Chiffre (nombre de partenaires que le réseau peut encore accueillir) | Composition (taille et diversité) du réseau Carte documentaire |
| Contenu transactionnel (fréquence et intensité) | Chiffres (nombre de réunions, de courriers échangés, de mail, d’appels téléphoniques) + Noms (types de contacts) | Disponibilité de la bibliothèque par rapport aux sollicitations du réseau Préférences de la bibliothèque quant aux modes d’échange |
| Durée du système d’obligations | Chiffre (tel nombre d’années) | Objectifs de la bibliothèque |
| Objectifs des différents acteurs | Discours | Niveau souhaité de convergence d’intérêts (ou niveau toléré de divergence d’intérêts) |
| Antécédents en matière de coopération | Réponse par Oui/Non | Oui = avantage ; Non = sans effet Avantage apprécié en fonction de la richesse des leçons tirées. |
| Participation à d’autres réseaux | Réponse par Oui/Non + Noms + Description | Oui = avantage ; Non = sans effet Avantage apprécié en fonction de l’interconnectivité du réseau objet de l’évaluation avec les autres réseaux |
| Participation de nos partenaires à d’autres réseaux | Réponse par Oui/Non + Noms + Description | Oui = avantage ; Non = sans effet Avantage apprécié en fonction de l’interconnectivité des réseaux impliquant nos partenaires avec le réseau objet de l’évaluation |
| Risque de verrouillage technologique | Description | Base installée des utilisateurs de la technologie en question Niveau d’ouverture et de compatibilités de la technologie en question |
| Nature des transactions commerciales avec les différents fournisseurs | Chiffres (taux de remise, délais, etc.) + Description | Nature des transactions avec les mêmes fournisseurs avant le réseau. |
| Moyens d’accès aux ressources bibliographiques de nos partenaires | Noms (OPAC, Hypercatalogues, catalogue collectif, Z 39.50, etc.) | Niveau de performance technologique atteint de nos jours en la matière. Objectifs de la bibliothèque |
| Multiplicité des chemins d’accès | Réponse par Oui/Non | Oui = avantage ; Non = sans effet |
| Fluidité des systèmes informatisés (temps de transmission) | Chiffre | Niveau de performance moyen dans les autres réseaux Objectifs de la bibliothèque |
| Services susceptibles d’être automatisés | Noms et/ou Chiffres | Impact sur la qualité des prestations offertes aux usagers de la bibliothèque : les services perçus (à ne pas confondre avec les services rendus
Gain de temps, de productivité et autres économies |
| Taux de recouvrement | Chiffres (ou pourcentages) | Politique documentaire et équilibre des collections de la bibliothèque |
| Equilibre des collections | Chiffres (statistiques) + Noms (les thématiques) + Description | Politique documentaire de la bibliothèque (sa charte des collections, son plan de développement des collections, etc.) |
| Nouveaux services de base créés | Noms | Défaillances de la bibliothèque par rapport aux publics qu’elle cible. |
| Nouveaux services périphériques créés (améliorations apportées aux services de base existants) | Noms et/ou Descriptions | Qualité des services rendus Qualité des services perçus (satisfaction des usagers) |
| Installations mises à la disposition des usagers grâce au réseau | Noms (ordinateurs et tout autre équipement de bibliothèques) | Objectifs de la bibliothèque Besoins des usagers |
| Assistance aux usagers | Réponse par Oui/Non + Noms et/ou Description | Nature des prestations & Besoins des usagers (Il se peut qu’un Oui soit synonyme de surqualité, donc d’inconvénient) |
| Associations d’usagers | Réponse par Oui/Non + Description | Oui = avantage ; Non = peut être un inconvénient Avantage ou inconvénient appréciés en fonction de la nature d’implication dans l’animation du réseau et des besoins ressentis |
| Tarification/gratuité des services | Noms et/ou Description + chiffres | Pratiques de la bibliothèque en la matière. Si tarification il y a, toute diminution est un avantage. Toute augmentation est un inconvénient dont l’importance est évaluée en fonction des nouvelles prestations offertes par le réseau. |
| Modes de fourniture des documents | Noms (PEB, accès à distance, reproduction, etc.) | Objectifs de la bibliothèque Besoins des usagers |
| Horaires d’accès aux services | Chiffres | Horaires pratiqués par la bibliothèque L’idéal de nos jours étant un accès illimité (24/h24h) via Internet |
| Conditions d’accès | Réponse par Oui/Non + Description (restriction d’accès à certaines catégories de public, mots de passe, équipements particuliers, etc.) | Conditions d’accès appliquées par la bibliothèque à ses usagers |
| Publics ciblés par les domaines de coopération | Noms + Description | Publics visés par la bibliothèque |
| Connaissance mutuelle des publics respectifs | Réponse par Oui/Non | Oui = avantage ; Non = inconvénient Avantage apprécié en fonction des échanges en la matière (informations diverses, visites professionnelles, etc.) |
| Dépendance au réseau | Description | Arbitrage fait (dosage) entre tâches distribuées et tâches centralisées. |
| Sollicitude de nos moyens propres par nos partenaires | Description | Inconvénient apprécié en fonction de l’importance de la sollicitude des moyens et des dégradations qu’ils encourent. |
| Évolution des postes de travail | Chiffres + Description (création, suppression, redéploiement, etc.) | Moyens de la bibliothèque en ressources humaines Organisation du travail au sein de la bibliothèque |
| Taux d’occupation par le réseau | Chiffres (volume horaire, pourcentage, etc.) | Répartition du travail Mobilité et polyvalence des ressources humaines. |
| Motivations | Description (prise d’initiative & volontarisme) | Appréciations du responsable de la bibliothèque en fonction de sa politique en matière de gestion des ressources humaines. |
| Relations interpersonnelles internes | Description (affinités, conflits, regroupements, clans, etc.) | Incidence sur la cohésion de l’équipe, son efficacité, etc. |
| Actions et programmes de formation | Réponse par Oui ou Non + Description (programmes, modules, etc.) | Objectifs et besoins propres de la bibliothèque. Une réponse par Oui n’est pas forcément synonyme d’avantage |
| Capitalisation des connaissances | Réponse par Oui/Non + Noms + Description (fiches descriptives des travaux réalisés, manuels évolutifs de procédures, protocoles d’évaluation, etc.) | Nature des travaux réalisés dans le cadre de la coopération Besoins de la bibliothèque en matière d’échange d’expérience et de savoir-faire. (Parfois, l’existence de pratiques de capitalisation de connaissances peut être synonyme de surqualité, donc d’inconvénient) |
-Voir à ce sujet : GRIFFITHS & KING (1997), KINGMA (1997), CARBONE (1997, 1998), GORMAN (1999)]