a. L’explication du jugement de valeur.

Bon nombre d’études41 ont tenté de faire apparaître les critères objectifs dans l’attribution d’un jugement de valeur à un document. Ces critères ont, la plupart du temps, été référencé à partir de l’expression directe des utilisateurs. Les plus significatifs sont :

  • La représentation du document  Les études antérieures à 1977 montrent clairement l’influence de ce facteur. Les contraintes techniques de construction des bases de données ne permettaient pas, à l’époque, de faire une représentation aussi fidèle que souhaitée du document primaire. Actuellement, les descriptions sont plus complètes, et les études menées tendent à prouver que les jugements sont à peu près similaires, que l’on utilise la description ou le document entier.

  • L’impression de nouveauté  C’est l’un des critères jugés le plus efficient. Il n’est pas question ici uniquement de la date de parution, mais d’une impression générale induite par un vocabulaire, un style et des références utilisées pour la rédaction. Ce critère a été décrit comme facilement identifiable par l’utilisateur et les juges extérieurs. Les concepteurs de systèmes de recherche travaillent d’ailleurs sur une nouvelle génération de SRI, les « Beyond topical IRSs ». Les études encore trop récentes [MIZ97] ne nous permettent pas de porter un jugement sur ce travail.

  • Les mots descripteurs  Les études montrent que ce n’est plus la quantité de mots descripteurs qui influe sur le jugement, mais bien leur qualité, c’est à dire la précision des termes employés.

  • L’état du savoir de l’utilisateur  Rees42 et Wilson43 travaillent sur l’importance de l’état du savoir de l’utilisateur pour le jugement de valeur. Mizzaro remarque que les considérations cognitives sur l’apprentissage sont prises en compte.

  • Les possibilités d’expression de la requête  Plus le système sera évolué et plus l’expression du besoin de l’utilisateur sera fine. Cette impression de « coller au plus près » à la réalité va influer sur ses critères de jugements. Ce critère a été l’un des plus marquants pour l’élaboration de systèmes interactifs.

  • Le temps  L’aspect dynamique du jugement de valeur commence à être pris en compte dès 1966. Goffman [MIZ97] note qu’il ne faut pas uniquement considérer les documents réponses, mais aussi le temps et l’ordre de présentation. Les études sur la dynamique, la variation, et l’évolution au cours du temps des jugements de valeur, pour un même utilisateur, ont montré l’effet indéniable de l’ordre de présentation des documents44 45. La nature dynamique de l’expression du besoin d’information et de la formulation de la requête explique en grande partie ces variations. L’exemple du projet d’évaluation OPAC, présenté plus loin, montre bien qu’il faut dater les requêtes pour l’analyse. En effet, si la même requête est effectuée plusieurs fois à intervalles de temps successifs, les jugements de valeur seront presque sûrement différents à chaque fois. Le moment où s’effectue le jugement de pertinence est considéré comme le facteur clé. Ces études ont eu un effet considérable dans l’élaboration de nouveaux SRI. Elles justifient et permettent la modélisation de SRI interactifs. Ces systèmes stimulent et améliorent la définition des besoins, et donc la recherche, par une communication bidirectionnelle avec l’utilisateur. La figure I-4 sur la chaîne de traitement prendra alors la forme (cf. figure I-6) :

message URL FIG006.gif
Figure I-6 : La chaîne d'interrogation avec un système interactif

Certains critères, comme l’ordre de présentation des documents, les possibilités d’expression de la requête ou le nombre de mots descripteurs, sont purement objectifs. Ils peuvent être analysés et quantifiés assez facilement. D’autres critères au contraire, comme l’impression de nouveauté ou l’état du savoir de l’utilisateur, sont exprimés par les utilisateurs ou les juges. Nous ne devons donc pas oublier leur subjectivité, et nous devrons la prendre en compte dans l’élaboration du jugement de valeur.

Aux différents critères présentés précédemment il faut donc ajouter :

  • Les juges ou les utilisateurs

  • La situation de jugement  D’une manière très pratique cela concerne le contexte dans lequel se fait l’interrogation (la luminosité et la température du lieu, le positionnement du système...)

  • Le mode et le contexte d’expression du jugement.

Nous développerons ces points dans le paragraphe suivant.

Notes
41.

dans [MIZ97] : Cuadra et Katter en 1967 isolent 38 variables affectant le jugement de valeur.

42.

dans [MIZ97] : REES - The relevance of relevance to the testing and evaluation of document retrieval systems. In ASLIB Proceedings. - 18 -1966 - pp 316-324.

43.

dans [MIZ97] : WILSON P. - Situational relevance. In Information Storage and Retrieval - 9(8) - 1973 - pp 457-471.

44.

Remarque : Les propriétés de description du profil de l’utilisateur et des documents dans le cadre du projet Profil-Doc vont être utilisées non seulement pour le filtrage des documents réponse mais aussi modifier leur ordre de présentation. Nous verrons comment plus en détail dans le chapitre III.

45.

BROOKES B. C. - The foundations of information science. - In Journal of information science - 2 - 1980 - pp 125-275.