a. Mesure de proximité utilisée

Nous obtenons 25 ensembles de 652 réponses pour évaluer le système. L’analyse va consister à comparer, pour chacune des 652 requêtes en langage naturel, les 25 corpus réponses obtenus avec les différents filtrages. Sous réserve que le système respecte bien l’hypothèse 1 (cf chapitre II-3-2), il est possible de construire une mesure de proximité ordonnée des ensembles réponses à partir de :

• une mesure de distance classique en documentation vérifiant l’hypothèse 2 (cf chapitre II-3-2).

• une fonction affine, positive, strictement décroissante, vérifiant une condition de normalisation (cf chapitre II-3-3)

L’ensemble des réponses SPIRIT respecte bien l’hypothèse 1. Une question est composée d’une requête en langage naturel et/ou d’une requête factuelle. Les termes descripteurs de la classe sont extraits des mots de la requête en langage naturel. Si nous appliquons deux filtres différents sur deux questions ayant la même requête en langage naturel, un document présent dans les deux réponses sera positionné, dans les deux cas, dans une classe décrite par la même équation booléenne. De plus, les deux ensembles réponse auront leurs classes communes identiquement ordonnées.

Nous pouvons donc utiliser une mesure de proximité ordonnée pour comparer nos ensembles réponse. Nous utiliserons la mesure P δ présentée au chapitre II-3-3. Rappelons sa définition.