Annexe 8 : Liste des observables utilisés pour préparer l’observation des utilisateurs de Ambre-add en laboratoire

• prise en main du logiciel:
• • délais très longs apparemment non justifiés
  • observation des demandes d’aide de premier niveau.
  • temps pendant lequel l’apprenant cherche ce qu’il doit faire,
  • questions éventuelles que l’apprenant se pose au début de l’utilisation
  • gestes, mimiques traduisant des difficultés d’utilisation
  • hésitations
  • retours en arrière
  • temps sur la phase 0, temps passé sur la consigne
  • verbalisations spontanées : vocabulaire sur lequel il bute, répétition de la consignequestionnaire

• Efficacité d’utilisation
• • Difficultés systématiques,
  • Indices identiques aux précédents répétés dans le temps
  • Signes d’agacement, d’incompréhension répétée ou de découragement
  • hésitations
  • retours en arrière
  • verbalisations traduisant un effort disproportionné
  • manipulations inutiles,ne conduisant pas à l’effet voulu

• Facilité de mémorisation
• • Lors de la 2e séance :
  • Difficulté à réutiliser certains éléments d’interface
  • Temps de reprise en main de l’outil
  • Nombre de problèmes résolus
  • Nombre de problème sur lesquels des difficultés de prise en main existent
  • Questions de compréhension sur le fonctionnement du système
  • Gestes, mimiques, verbalisations montant que l’apprenant « se sent perdu »

• les erreurs
• • Etude des verbalisations en cas d’erreur,
  • Etude des mimiques d’agacement de l’utilisateur,
  • nombre d’erreurs
  • Indicateurs d’un sentiment de surprise lorsqu’un erreur est indiquée
  • Temps de lecture des messages d’explications
  • comportement d’essai erreur.

• Compréhension générale
• • Questionnaire
  • Test : explication de chaque schéma, donner un exemple
  • Observation de la navigation entre étapes
  • Temps passé sur les schémas
  • erreurs faites par rapport aux choix des schémas
  • utilisation de l’aide

• Charge cognitive
• • Expressions d’un sentiment d’être perdu, dépassé
  • Questionnaire
  • Echelle subjective

• Satisfaction
• • Questionnaire comprenant une échelle de satisfaction