5.3.1.1 Premier test

Pour ce test, nous avons considéré un ensemble D constitué de cinq ensembles de données [Michie et al, 1994], [Blake et Merz, 1998], [Metal, 2005] dont les valeurs des mesures de comparaison sont connues,

Le premier ensemble de données du problème à résoudre est : d 1 = kldigits et le second ensemble de données d 2 = heart.

Les performances des algorithmes de A sur D sont connues, plus précisément, elles sont issues des précédentes exécutions dans l’environnement.

Tout le monde s’accorde sur le fait que l’algorithme des kppv permet d’obtenir de meilleurs résultats pour k=1. Dans le cadre de ce test, nous nous sommes donc limités au plus proche voisin de l’ensemble de données à traiter.

Application de l’algorithme des plus proches voisins 

Le plus proche voisin de d 1 dans D est l’ensemble de données Digits.

Le plus proche voisin de d 2 dans D est l’ensemble de données Shuttle.

Prédiction des performances des algorithmes de A sur les données similaires à d 1 et d 2

Pour la performance des algorithmes, nous avons choisi de travailler avec les cinq meilleurs algorithmes ayant servi à l’exécution de chaque ensemble de données (Digits et Shuttle), ensembles de données plus similaires à d 1 et d 2 . Cette information est tirée de l’historique des exécutions passées.

Nous avons choisi de travailler avec un paramètre k=5 pour mieux matérialiser la propagation de l’erreur de prédiction tout au long des traitements.

L’idée de la prédiction est la suivante : s’il existe un ensemble de données déjà traité similaire à l’ensemble de données du problème de l’utilisateur, l’exécution des algorithmes les plus appropriés au traitement de l’ensemble de données traité pour le problème de l’utilisateur aboutira aux meilleurs résultats. Les meilleurs algorithmes à utiliser pour Digits sont KNN, Quadisc, LVQ, Cascade, Alloc80 et les meilleurs algorithmes à utiliser pour Shuttle sont NewId, BayesTree, Cn2, Cal5 et CART.

Tableau 5.3 Prédiction des performances des algorithmes de A sur d1 et sur d2.
  1 2 3 4 5
Digits KNN Quadisc LVQ Cascade Alloc80
Shuttle NewId BayesTree Cn2 Cal5 CART

Performance effective de d 1 et d 2 et évaluation de la qualité des prédictions

Après avoir obtenu les prédictions de performances des algorithmes de A sur d 1 et sur d 2 nous avons cherché à savoir quelle était la pertinence de ces prédictions. Pour cela, nous avons calculé la performance effective des algorithmes de A sur d 1 , par exécution de tous les algorithmes disponibles. Nous avons obtenu le tableau 5.4 ci-dessous. Les meilleurs algorithmes pour d 1 sont KNN, Alloc80, Quadisc, LVQ, Dipol92 et pour d 2 NaiveBayes, Discrim, Logdisc, Alloc80, Quadisc.

Tableau 5.4 Performance effective des algorithmes de A sur d1 et sur d2.
  1 2 3 4 5
d 1 KNN Alloc80 Quadisc LVQ Dipol92
d 2 NaiveBayes Discrim Logdiscr Alloc80 Quadisc

Les données de d 1 et celles de son plus proche voisin (SIM (d 1 , digits) = 0.9998) sont très similaires. On retrouve dans la prédiction des performances des algorithmes de A sur d 1 (tableau 5.4, deuxième ligne) pratiquement les mêmes algorithmes de classification supervisée que ceux de la performance effective de A sur d 1 (tableau 5.4, troisième ligne) à l’exception d’un seul (l’algorithme Cascade est prédit en quatrième position des algorithmes les plus appropriés au traitement de d 1 alors que dans la performance effective de d 1 , on obtient Dipol92).

En ce qui concerne les données de d 2 , elles ne sont pas similaires à celles de shuttle (son plus proche voisin) (SIM(d 2 , shuttle) = 0.93). Aucun algorithme prédit par le plus proche voisin (tableau 5.6) n’apparaît dans la liste de performance effective de A sur d 2 (tableau 5.8).