Le premier objet à prendre en compte est le système. Les expérimentateurs ont tout d’abord considéré le système comme une « boite noire ». Cette interprétation est dépassée. En effet, les développements récents des systèmes de recherche interactifs rendent caduc un raisonnement si simple, il faut considérer le système d’une manière plus large, tout le problème est alors de savoir jusqu’ou élargir, et en particulier dans quelle mesure insérer l’utilisateur dans cette description ? Si nous reprenons le modèle de Roberston et al [ROB92], nous pouvons considérer le système comme une association entre le mécanisme de recherche d’information - « la machine » - et l’activité humaine qui permet d’aboutir à l’information trouvée (le processus de recherche, l’indexation,...) l’entrée restant toujours la requête initiale, la sortie étant composée des documents réponse et du processus qui a permis de les trouver. Un autre point de vue est de ne considérer strictement que la machine dans la description du système. Les protocoles d’évaluation s’attachent alors à décrire précisément les différents traitements effectuer lors de l’utilisation du système pour en mettre en évidence les caractéristiques. La première manière de décrire un système est sa structure, c'est à dire quels sont les composants qui le forment et comment ils se hiérarchisent. Les quatre composantes les plus communément analysées sont la collection, la description, la recherche et la présentation. La seconde manière d’analyser un système est sa logique, c'est à dire ce qu'il fait et comment il le fait. Le système sera donc analysé selon que les traitements de type booléen, vectoriel ou probabiliste sont adéquats ou non en fonction des objectifs motivant l’étude. En effet, la description du système, sa modélisation et donc le type d’évaluation menée sont guidés par les objectifs à réaliser.
L’originalité du système Profil-Doc est une caractérisation et un découpage de l’information en unités documentaires. Les propriétés, adjointes pour décrire les parties de documents, vont être utilisées pour filtrer l’information selon l’usage présupposé en fonction du profil de l’utilisateur. Dans le protocole nous avons donc présenté une méthode d’analyse de la caractérisation de l’information. De plus, en considérant les facteurs d’impact analysés, le protocole présenté permet de discuter la méthode effective employée pour produire un filtrage selon l’usage, à savoir dans notre cas, l’utilisation d’une matrice d’association, d’un vecteur résultant et des fonctions d’aiguillage. L’objectif est alors de valider l’une ou l’autre des ces méthodes ou d’optimiser la recherche. Nous avons modélisé les différentes méthodes sous la forme de huit méthodes de filtrage.
Le second objet à prendre en compte dans le cadre d’évaluation est l’utilisateur. Une opposition est fortement marquée entre les tests opérationnels, où le jugement de valeur sur le système est directement exprimé par l’utilisateur, et les tests « en laboratoire », où l’utilisateur est simulé. Le conflit entre les expérimentations en laboratoire et opérationnelles est un conflit entre d’un côté un contrôle total sur les variables opérationnelles, la mesurabilité et la répétabilité des tests, et de l’autre le réalisme. Notre objectif n’est pas de tester un système opérationnel, nous souhaitons considérer l’action de l’utilisateur comme un des paramètres contrôlables de la recherche, nous simulons donc les utilisateurs. Généralement, l’utilisateur apparaît ou interfère avec le système uniquement par sa requête. Dans notre cas, il doit renseigner aussi son profil, c’est à dire son niveau éducationnel, l’étape de sa recherche, le type de recherche et le champs disciplinaire concerné. C’est à partir de ce profil que le filtrage selon l’usage est opéré. Il a donc fallu modéliser l’utilisateur selon son profil et son besoin informationnel. Trois profils d’utilisateurs distincts ont été sélectionnés. Pour chacun de ces trois profils, les 8 types de filtrages ont été appliqués, d’où l’obtention de 24 stratégies de filtrage distinctes selon l’usage. Pour modéliser le besoin informationnel nous avons crée une collection de 652 questions 128 représentatives de la base de données. L’avantage de cette modélisation est la possibilité de répétabilité, de mise à jour et de généralisation.
Les questions sont ici construites à partir de séquences de phrases