11.1. Evaluation du logiciel en laboratoire

Nous avons d’abord évalué l’EIAH Ambre-add lors d’une pré-expérimentation en laboratoire afin de vérifier que le système était utilisable par des élèves de cycle 2 et afin d’identifier les problèmes posés par le système.

En concertation avec les enseignants et la conseillère pédagogique qui sont intervenus dans le projet, nous avons plus particulièrement choisi de tester le logiciel auprès d’élèves en classe de CE1 car les problèmes additifs à une étape, présentés par le logiciel, font l’objet d’une partie importante du programme de mathématiques cette année là, et sont plus particulièrement traités au second semestre de l’année, durant la période où nous avons évalué le logiciel.

Pour tester l’utilisabilité du système et identifier les différents problèmes qu’il pourrait soulever, nous avons réalisé une observation individuelle de cinq élèves de CE1 utilisant l’EIAH. Nous avons complété cette observation par un questionnaire afin de récolter des informations sur les utilisateurs telles que leur goût pour les mathématiques ou leur familiarité avec un ordinateur, et afin de connaître leur satisfaction.

Pour définir des critères d’observation qui permettent d’évaluer l’utilisabilité de Ambre-add, nous avons choisi sept critères parmi les critères ergonomiques proposés par Bastien et Scapin (1993), Nielsen (1993) et Schneiderman (1992) :

• La prise en main du logiciel : est-ce que les apprenants comprennent comment utiliser le logiciel ? Est ce qu’il est pris en main facilement ?
• La compréhension générale : est-ce que les utilisateurs comprennent le principe de l’EIAH (par exemple les différentes étapes à suivre pour résoudre un problème, le lien entre les étapes) ?
• L’efficacité : est-ce que la tâche (ici la résolution de problème) peut être accomplie facilement avec le logiciel ? Est-ce que certains éléments de l’interface conduisent à des erreurs systématiques qui entravent la réalisation de la tâche ?
• La gestion des erreurs : y a-t-il des problèmes ergonomiques qui conduisent à des erreurs d’utilisation du système ? Est-ce que les utilisateurs comprennent leurs erreurs ? Comment réagissent-ils aux messages fournis par l’EIAH ?
• La gestion de l’aide : est ce que les utilisateurs utilisent l’aide proposée ? Comprennent-ils les messages d’aide ?
• La surcharge cognitive : y a-t-il des étapes qui entraînent une surcharge cognitive ?
• La satisfaction : le logiciel est-il facile et agréable à utiliser ?

A partir de ces critères, des observables ont été définis (la liste complète est présentée annexe 8).