L’expérience que nous avons acquise en conduisant ces différentes évaluations nous amène à penser que nous avons évalué l’impact du logiciel sur l’apprentissage trop prématurément. Pour dépasser cette difficulté, nous pensons que l’analyse des usages doit être intégrée à la conception itérative, préalablement à l’évaluation de l’impact du logiciel sur l’apprentissage.
Dans cette perspective, nous proposons une démarche de conception itérative qui alterne les différents types d’évaluation afin de prendre en compte à la fois l’utilisabilité, l’utilité du système et son usage en situation au cours de la conception 4 .
Après avoir précisé les spécifications d’un premier prototype et l’avoir implémenté, une première étape consiste à évaluer l’utilisabilité du système. Nous avons présenté différentes méthodes d’évaluation précédemment (cf chapitre 10 section 1.2). La mise en évidence des défauts d’utilisabilité peut conduire à de nouvelles spécifications et à une modification du prototype.
L’étape suivante consiste à observer et à analyser les usages en situation réelle d’utilisation. En effet, avant d’évaluer l’impact du logiciel sur l’apprentissage, il nous semble nécessaire d’observer la manière dont les apprenants se l’approprient (observation de la genèse instrumentale du logiciel) et l’utilisent effectivement. L’analyse des usages peut apporter des informations sur le temps nécessaire pour que l’EIAH soit pris en main, l’utilisation effective, et doit permettre d’identifier des difficultés éventuelles. Cette analyse des usages pourra conduire à des modifications du système et à la constitution d’un scénario pédagogique pour faciliter la prise en main du logiciel. Elle pourra être répétée au cours du cycle de conception, afin de « raffiner » la conception du produit à travers des observations d’usages régulières (Hautecouverture et al., 2004).
Lorsque l’observation et l’analyse des usages sont satisfaisantes pour les concepteurs, on pourra alors évaluer l’impact du logiciel sur l’apprentissage à l’aide d’une méthode comparative. Cette méthode nécessite d’avoir un nombre de sujets plus important et de décider d’une condition contrôle. Nous avons vu que le choix de la condition contrôle est délicat ; il doit d’abord être orienté par l’objectif de l’évaluation. Veut-on évaluer l’impact de ce logiciel sur l’apprentissage ou seulement d’une fonctionnalité du logiciel ? Veut-on montrer que ce logiciel est meilleur qu’une autre méthode existante ?
Si l’objectif est de montrer que le système a un impact sur l’apprentissage, on peut comparer l’EIAH à une situation sans intervention (cf. Ainsworth, Wood et O’Malley, 1998). Si l’objectif est de montrer que le système est meilleur qu’une autre méthode, on doit le comparer à cette méthode. Ainsi, certaines études ont comparé le système à l’enseignant (cf. Shute et Glaser, 1990 ; Koedinger et al., 1997). Enfin, pour connaître l’impact de certaines fonctions du logiciel sur l’apprentissage, on peut comparer l’EIAH à une autre version de l’EIAH (cf. Aleven, Koedinger et Cross, 1999 ;Arroyo et al., 2000) ou à un EIAH contrôle pour lequel on a supprimé certaines fonctions (Mark et Greer, 1995 ; Luckin et Du boulay, 1999). Si un scénario pédagogique a été proposé, l’évaluation pourra être faite suivant ce scénario ; les connaissances acquises par l’apprenant en interaction avec l’EIAH étant dépendantes de la situation d’apprentissage, le scénario permettra de connaître les différents paramètres de la situation dans laquelle l’apprentissage s’est déroulé.
La prise en compte des usages au cours de la conception itérative des EIAH, va dans le sens d’études en ergonomie cognitive (voir par exemple Béguin et Rabardel, 2000, Decortis et al., 2001). Cette position se développe également dans le domaine des EIAH (Hautecouverture et al., 2004 ; Cottier et Choquet, 2005). Cependant, cette proposition pose différents problèmes. D’abord, ces différentes évaluations successives sont coûteuses en temps (temps de conception, d’observation des usages, d’analyse), ce qui paraît difficilement compatible avec les délais souvent restreints imposés par des contraintes d’ordre économiques. De plus, l’observation et l’analyse des usages posent de nombreux problèmes d’ordre méthodologique. Si certaines méthodes consistent à analyser les interactions entre apprenants (pour des systèmes tels que des plateformes collaboratives), elles ne sont pas utilisables pour analyser l’usage d’EIAH utilisés individuellement. Les méthodes de recueil et d’analyse des usages sont donc encore à développer. Nous pensons que la confrontation des observations et des traces d’interaction pourrait être une voie d’analyse.
Cette démarche d’évaluation devrait être plus particulièrement adaptée aux EIAH destinés à être utilisés individuellement dans une situation de formation en présence.