11.1.2. Résultats

Les cinq utilisateurs qui ont participé à l’expérience étaient familiers avec l’utilisation d’un ordinateur (régulièrement utilisé à la maison ou à l’école) et quatre utilisateurs sur cinq disaient aimer les mathématiques. Par contre certains avaient un faible niveau en lecture.

L’observation de ces utilisateurs et l’analyse de leurs réponses ont permis d’évaluer l’utilisabilité du logiciel et de mettre en évidence des problèmes importants.

La première partie du logiciel rencontrée par les utilisateurs était composée d’écrans statiques présentant le principe de Ambre et les schémas utilisés dans le logiciel. Le temps passé sur cette partie a montré que ces informations n’étaient pas lues. Après cette présentation du logiciel, les utilisateurs pouvaient lire et analyser les exemples représentatifs de différentes classes de problèmes. Dans cette phase, les utilisateurs ont tous passé beaucoup de temps à chercher comment interagir avec le système mais peu de temps à comprendre le problème. En effet, les éléments d’interface utilisés dans cette étape évoquaient des cases à remplir. Par ailleurs, leurs attitudes (gestes et soupirs) durant cette phase laissent supposer qu’ils ressentaient une surcharge cognitive.

Après avoir vu les exemples, les élèves devaient résoudre les problèmes. D’une manière générale, comme l’indique le temps mis par tous les apprenants pour résoudre le premier problème (souvent plus de 30 minutes), la prise en main du logiciel est assez longue. Ce résultat n’est pas surprenant étant donné qu’il faut découvrir les consignes, les tâches à réaliser et les éléments d’interface. Les utilisateurs ont parfois éprouvé des difficultés pour comprendre le fonctionnement du logiciel (par exemple, il ont eu des difficultés à identifier l’action à réaliser pour accomplir la tâche demandée) et pour utiliser certains éléments d’interface comme les listes déroulantes ou les flèches de navigation. Toutefois, la plupart de ces difficultés semblent disparaître lors du second problème (et l’enfant qui a à nouveau utilisé Ambre-add une semaine plus tard l’a repris en main très facilement). Un problème d’ordre mathématique semble récurrent chez tous les utilisateurs même après avoir résolu un premier problème : après avoir construit l’addition à trou (ex : 32+ ?=43), ils ont tous de très grosses difficultés à trouver l’opération correspondante (ex : 43-32= ?) (Figure 30). Cette difficulté n’avait été évoquée avant l’expérimentation ni par la conseillère pédagogique ni par les enseignants ayant collaboré à la conception.

Il est à noter que l’attitude des utilisateurs durant l’étape d’adaptation (soupirs, gestes) ainsi que les difficultés exprimées dans le questionnaire laissent supposer que cette étape impose une charge cognitive trop importante.

A l’issue de la première utilisation, le fonctionnement global du logiciel ne semble pas bien compris : les utilisateurs ne font pas vraiment le lien entre les différentes étapes.

Les erreurs commises par l’apprenant sont le plus souvent liées aux mathématiques et non à l’ergonomie du logiciel. Lorsqu’une erreur se produit, le logiciel fournit un message de diagnostic et d’explication. Lors de l’apparition de ce message, tous les utilisateurs comprennent qu’ils ont réalisé une erreur, mais ils ne comprennent pas toujours où se situe cette erreur, ce qui les conduit parfois à remettre en cause une étape juste. Le système d’aide n’a été que peu utilisé spontanément, les utilisateurs préférant interroger l’expérimentateur. Après une première suggestion, ceux-ci ont eu recours spontanément à l’aide et au diagnostic. Les messages d’aide ne sont pas toujours bien compris même si les réponses au questionnaire laissent supposer le contraire. La difficulté de compréhension de l’aide semble relative à un manque de compréhension du système (notion de problème-type, dénomination des différentes sous-étapes) plus qu’à un problème de vocabulaire ou de contenu.

En résumé, les utilisateurs ne prêtent pas attention à la présentation du logiciel. Dans la phase de présentation des exemples, ils cherchent comment interagir avec le système plutôt que lire et analyser des exemples. La prise en main de Ambre-add est longue, mais ensuite, le logiciel s’utilise plus facilement. Une séance d’utilisation ne semble pas suffisante pour accéder à une compréhension satisfaisante du fonctionnement général du logiciel. Les erreurs commises sont liées aux mathématiques et non à l’interface, en particulier dans l’étape de résolution. L’aide et le diagnostic sont utilisés et pris en compte, mais les messages ne sont pas toujours bien compris.