10.2. Évaluer l’utilité

Après l’évaluation de l’utilisabilité, il est nécessaire d’évaluer l’utilité du système. Rappelons que l’utilité est l’adéquation entre les fonctions fournies par le système et celles nécessaires à l’utilisateur pour atteindre les objectifs de haut niveau pour lequel a été conçu le système.

Classiquement, l’évaluation de l’utilité consiste à observer si l’utilisateur est capable d’accomplir sa tâche à partir des fonctionnalités du système. Pour cela, il est nécessaire de bien formaliser la tâche que l’utilisateur doit accomplir.

Dans le cadre des EIAH, l’objectif à atteindre comporte deux niveaux : l'apprentissage (de la discipline enseignée et non de la manipulation du système) et la réalisation de tâches proposées par le système (résolution de problèmes, recherche d’informations, simulations…) (Jean, 2000). Même si ces niveaux sont connectés, il n’y a pas de lien direct entre la réalisation de la tâche et l’apprentissage effectif, un échec dans la réalisation de la tâche pouvant, dans certaines conditions, être bénéfique pour l’apprentissage. Évaluer l’utilité d’un EIAH ne consiste donc pas seulement à vérifier que l’utilisateur peut réaliser la tâche qu’il souhaite accomplir (ce qui peut se faire selon les méthodes classiques de mesure de l’utilité), mais aussi à évaluer l’objectif de plus haut niveau qu’est l’apprentissage.

Il existe de nombreuses méthodes pour évaluer l’apprentissage. Ces méthodes, issues de techniques non spécifiques aux EIAH, peuvent être adaptées pour évaluer de tels systèmes. Elles peuvent permettre de quantifier l’impact de l’EIAH sur l’apprentissage, d’informer sur l’activité de l’apprenant durant l’utilisation de l’EIAH ou encore de prendre en compte la situation dans laquelle se déroule l’apprentissage. Nous proposons une rapide description de ces différentes méthodes.

La méthode comparative, développée par la psychologie cognitive, est souvent utilisée pour évaluer les EIAH. Elle consiste à comparer l’effet de plusieurs situations sur l’apprentissage qui en résulte. Shute et Regian (1993) présentent en détail l’application de cette méthode aux EIAH. Tricot et Lafontaine (2002) en rappellent le principe général : « prescrire une tâche en rapport avec l’apprentissage visé pour évaluer l’état des connaissances du participant ; faire ensuite apprendre à l’apprenant ce que l’on veut lui faire apprendre [dans notre cas, au travers de l’utilisation de l’EIAH)] prescrire enfin une seconde tâche, analogue à la première. S’il y a une différence positive de performance entre les deux tâches, on considère alors que le sujet a appris quelque chose. » Pour vérifier que la différence obtenue est bien due à l’utilisation de l’EIAH, on utilise généralement une condition contrôle dans laquelle les participants font « exactement la même chose » (même consigne, même environnement, mêmes contenus, etc.) sauf ce qui est évalué. La difficulté réside dans le choix de la condition contrôle : faut-il comparer l’EIAH à un enseignement oral ? À un autre système ? À une version tronquée de l’EIAH testé ? Malgré cette difficulté, cette méthode permet d’observer le résultat d’un changement dû au système et d’inférer les connaissances acquises par l’apprenant avec un certain degré de généralité.

Toutefois, cette méthode ne permet pas de comprendre ce qui se passe au cours de l’apprentissage ou au cours de l’utilisation du dispositif de formation. Or pour comprendre et interpréter les résultats obtenus avec la méthode comparative, il peut être important de savoir ce qu’a fait l’apprenant durant l’utilisation du logiciel. Des méthodes « on-line » (Rouet et Passerault, 1999) permettent d’identifier l’activité de l’apprenant au cours de l’utilisation du logiciel. Certaines méthodes (telles que le paradigme de double tâche) issues de recherches en compréhension de texte, permettent d’identifier sur quels éléments l’apprenant a focalisé son attention. D’autres méthodes permettent de mieux comprendre les processus d’apprentissage mis en œuvre. Ainsi, le recueil des verbalisations (Caverni, 1988), qui consiste à demander à l’apprenant de penser à haute voix durant l’activité proposée, permet d’identifier les raisonnements qu’il peut mettre en œuvre pour la réaliser. Cette méthode est très utilisée dans de nombreuses études anglo-saxonnes sur l’apprentissage. Cependant elle a certaines limites : l’activité de verbalisation peut interférer avec la tâche principale, et les verbalisations recueillies reflètent une interprétation du raisonnement de l’apprenant plutôt que le raisonnement lui-même.

La collecte de documents et de traces d’interactions peut compléter les informations verbales. Lors de l’utilisation d’un logiciel, un grand nombre de documents sont produits (productions informatisées des élèves, productions écrites comme les brouillons). Il peut être intéressant de les analyser, par exemple pour confirmer une interprétation. Les traces d’interaction entre l’apprenant et le système sont également une source d’informations précieuses. Si elles se résument parfois aux productions de l’élève, elles sont souvent beaucoup plus riches et diversifiées (frappe du clavier, clic, déplacement de la souris, utilisation des menus et fonctionnalités, dialogues…). Tous ces éléments ne sont pas nécessairement pertinents ; ces traces brutes doivent ensuite être interprétées. Ainsi, Dubourg, Delozanne et Grugeon (1995) considèrent les événements-système tels que les clics et les frappes au clavier comme des observables de trop bas niveau pour étudier l’interaction. Ils définissent donc les événements-logiciel (menu, fonction activée) comme des séquences d’événements-système correspondant à une action significative pour la situation d’interaction. Selon Balacheff (1994 b), la succession des événements-logiciel recueillis au cours d’une session définit le modèle comportemental de l’apprenant. Une interprétation de ce modèle permet de construire le modèle épistémique dont le rôle est d’attribuer une signification aux comportements de l’apprenant en identifiant ses buts, stratégies et connaissances. Toute la difficulté réside ici dans l’interprétation des traces. Champin, Prié et Mille (2004) proposent une autre alternative pour analyser les traces d’interaction : le modèle MUSETTE. Ce modèle propose que la trace d’utilisation recueillie soit conforme à un modèle d’utilisation préalablement défini décrivant les objets et les relations manipulés par l’utilisateur du système informatique. La trace primitive ainsi construite peut ensuite être analysée a posteriori en recherchant des séquences définies par l’expérimentateur correspondant à des épisodes d’apprentissage signifiants.

En complément de ces méthodes, les méthodes ethnographiques permettent de prendre en compte la situation dans laquelle l’apprentissage se déroule. Ces méthodes consistent à observer une situation « de l’intérieur ». L’observateur fait parti de la situation qu’il observe, il est pleinement conscient de la subjectivité de sa situation et adopte donc une position réflexive sur sa pratique d’observation. Pour l’évaluation des EIAH, l’observation peut porter sur un apprenant, un groupe d’apprenants ou une classe entière (Barfurth et al., 1994). L’observation individuelle apporte des informations intéressantes et diverses permettant de comprendre les interactions entre l’apprenant et le système, en décrivant les fonctionnalités utilisées, les difficultés rencontrées, les stratégies adoptées ou encore la motivation de l’apprenant. L’observation d’apprenants qui travaillent en groupes peut donner des informations sur leurs interactions avec le système ainsi que sur les connaissances qu’ils élaborent à travers leurs interactions (Gilly, Roux et Trognon, 1999). L’observation d’une classe dans son ensemble peut permettre d’identifier son fonctionnement et peut aider à mettre en évidence les caractéristiques de l’enseignement (Fasse et Kolodner, 2000). L’observation peut être facilitée par le recours à des instruments d’observation (grilles d’observation, eye-tracking) (Fasse et Kolodner, 2000 ; Barfurth et al. 1994, Rouet et Passerault, 1999) et à des instruments d’enregistrement (vidéo) afin de faire a posteriori une analyse plus fine de la situation. En complément des observations, la tenue d’un journal de bord peut augmenter la fiabilité des observations en intégrant le point de vue subjectif et réflexif de l’observateur (Barfurth et al., 1994).

Les données issues de l’observation peuvent être complétées par des entrevues individuelles ou collectives avec les apprenants. Les entretiens peuvent être ouverts (les thèmes abordés varient en fonction du participant), structurés (les questions sont prédéfinies) ou semi structurés (les questions à poser sont prédéfinies, mais une place est laissée pour des réponses plus individualisées). Les réponses et les remarques des apprenants collectées durant l’entretien peuvent éclairer l’interprétation de résultats obtenus par d’autres méthodes, permettre de comprendre le cheminement interne de l’apprenant ou donner des indications sur le degré de conscience de l’apprenant face à son apprentissage. Dans le cadre d’une évaluation en classe, il peut être utile de faire en complément des entretiens avec les enseignants pour confronter les différents points de vue sur le déroulement de l’évaluation (Barfurth et al., 1994).