5.3.1.3 Conclusion

Lorsque la similarité entre l’ensemble de données du problème à résoudre et son plus proche voisin est faible, la prédiction des performances des algorithmes n’est pas très fiable. Pour les besoins de maintenance de la base de cas, cette prédiction erronée est sauvegardée dans la base de cas, ce qui entraîne une propagation de l’erreur de prédiction lors des futures prédictions.

Pour éviter ce problème, nous avons fixé à partir de simulations un seuil de similarité en deçà duquel nous ne considérons plus deux ensembles de données comme similaires.

Tableau 5.6 Algorithmes de prédiction de performance
1ppv Nouvelle approche
Pour chaque ensemble de donnéesD j de l’ensemble d’apprentissage faire
calculer SIM(X, D i );
fin pour
rechercher max (SIM(X, D i ))
Pour chaque ensemble de donnéesD j de l’ensemble d’apprentissage faire
calculer SIM(X, D i );
fin pour
rechercher max (SIM(X, D i ))
si max (SIM(X, D i ))>= Seuil alors
utiliser les mesures de performance des algorithmes de A sur D j pour la prédiction;
sinon exécuter le système multi-agent afin de retrouver les performances des algorithmes de A sur X.
fin si

En effet, nous avons effectué une méta-analyse en exécutant une trentaine d'algorithmes (A) de classification supervisée de données sur une centaine d'ensembles de données (D) connus (UCI), l’idée étant de procéder à un apprentissage suivi d’une vérification. Nous avons ensuite calculé les similarités entre les différentes paires possibles de ces ensembles de données. Nous avons retiré tour à tour les données (critères de comparaison et mesures de performances des algorithmes) d’un ensemble de données de la base de cas, puis nous avons prédits les performances des algorithmes de A sur cet ensemble de données en fonction des performances des algorithmes sur son plus proche voisin. Pour chaque couple (ensemble de données, plus proche voisin), nous avons évalué la proximité entre les résultats obtenus par prédiction des performances des différents algorithmes en fonction du taux de similarité entre les deux ensembles de données. Les résultats de ce procédé nous ont permis de fixer ce seuil de similarité.

L’application de cette approche permet par exemple pour les cas présentés dans la première série d’expérimentations de restreindre la liste des plus proches voisins d’un problème à traiter, réduisant ainsi le nombre de mauvaises prédictions. Par exemple pour le premier test, on aura par application de la nouvelle approche : le plus proche voisin de d 1 est :Digits. La similarité entre d1 et Digits est au-dessus du seuil de similarité fixé. Les résultats de prédictions resteront les mêmes que ceux du tableau 5.7. Le plus proche voisin de d 2  est : aucun ensemble de données. Toutes les similarités entre d 2 et les ensembles de données de D sont inférieures au seuil de similarité fixé. En ce qui concerne d 2 , puisqu’on a trouvé qu’aucun cas traité par l’environnement n’est similaire à d 2 , l’exécution des algorithmes de A sur d 2 en parallèle permet d’acquérir des connaissances réelles quant à la performance des algorithmes de A sur d 2 .

Pour le second test, l’approche que nous proposons, suite à la recherche des plus proches voisins de d renverra un message suivant lequel, aucun cas traité par la base des cas n’est proche de d. Le processus utilisé pour le traitement de d 2 servira à retrouver les performances des algorithmes de A sur d.