2.1.3. Fréquences et croisements

Grâce à ces fichiers et aux fonctions proposées par le logiciel SPSS, il était facile pour chaque variable de générer les fréquences correspondant à chacune des catégories préalablement définies. Dans le cas d’une question à choix multiple, en plus des catégories correspondant aux choix proposés à l’élève, on rajoute les deux catégories « pas de réponse » ou « plusieurs cases cochées ». Par exemple, pour la question 4 de l’exercice 1 du test 4 (« Un oiseau vole dans les airs. La Terre exerce une force sur lui. »), on a cinq catégories correspondant à la variable « réponse des élèves à cette question » :

1. VRAI
2. FAUX
3. On ne peut pas savoir
4. Plusieurs cases cochées
5. Pas de réponse

La catégorie 5 « pas de réponse » est à part puisqu’elle peut être comprise ou non dans les calculs de pourcentage. Nous avons décidé de compter les cas de « non-réponse », qui représentent selon nous un indicateur de la difficulté d’un exercice.

L’objectif de la question 4 de l’exercice 1 du test 4 est de savoir si l’élève identifie la force exercée par la Terre sur un objet à proximité de sa surface, ici un oiseau dans les airs. Il est intéressant de croiser la réponse à cette question avec la réponse à la question 6 du même exercice (« Un homme nage dans une piscine. La Terre exerce une force sur lui. »). Les catégories de réponses sont identiques. On peut utiliser la fonction « tableau croisé » du logiciel SPSS. Les résultats obtenus sont présentés dans le Tableau 10-3.

On voit dans le Tableau 10-3 que sur les 394 qui ont eu à répondre au test 4, trois n’ont pas répondu à la question 1.4 et sept n’ont pas répondu à la question 1.6. On voit aussi que 322 élèves (soit 81,7% des élèves qui ont eu à répondre) ont donné la bonne réponse pour les deux questions. On remarque ici l’intérêt de poser deux questions testant a priori la même compétence : le taux de réussite à la question 1.4 est de 84,5%, le taux de réussite à la question 1.6 est de 92,6% et le taux de réussite aux deux questions est de 81,7%. Compte-tenu de ces résultats, on peut conclure que la situation proposée dans la question 1.6 (un homme dans une piscine) pose plus de difficultés aux élèves puisqu’il y a plus d’élèves qui n’ont pas répondu et plus d’élèves qui ont répondu de manière incorrecte.

Le recours au taux de réussite (pourcentage d’élèves qui répondent correctement à la question posée) permet d’avoir un aperçu du degré de difficulté des questions. Ce taux de réussite est d’ailleurs appelé « indice de facilité » par Chastrette (1989). Ceci peut être un outil pour donner à l’enseignant une référence, une idée de ce qu’il peut attendre de ses élèves. Il faudra bien sûr qu’il tienne compte des particularités de sa classe (niveau général, temps passé à enseigner ce point, etc.) pour réajuster cette référence.

Les fréquences présentent aussi un avantage pour le chercheur. Elles permettent de distinguer les questions qui ne posent pas de problème des questions plus délicates. Si ces résultats diffèrent des travaux sur les difficultés des élèves, il sera intéressant de chercher à comprendre la raison de cet écart. C’est aussi un point de repère pour orienter la discussion lors des entretiens. Après s’être assuré que ce qui semble acquis est confirmé par les entretiens, on pourra passer plus de temps à essayer de comprendre les difficultés sous-jacentes aux questions auxquelles l’élève n’a pas pu répondre ou a mal répondu.

Le recours aux croisements permet d’améliorer la fidélité des inférences faites à partir des réponses (Black, 1998b) puisque les réponses des élèves sont très variables selon le contexte de la situation proposée dans l’exercice. Les croisements donnent une idée du taux de réussite moyen sur l’ensemble des questions ayant le même objectif.