1.2. Utilisation et validation des outils

Les outils que nous avons développés ont été utilisés par différents enseignants. Ceux-là n’ont pas jugé nécessaire de prévenir leurs élèves de la différence de ces tests. Ils s’inscrivaient donc dans le contrat classique.

Chaque enseignant ayant utilisé nos tests a pu définir un barème et donner une note à l’ensemble de ces élèves. La moyenne des notes sur ces tests était un peu élevée mais restait « acceptable ». Les enseignants qui ont utilisé nos quatre tests n’ont pas donné d’évaluation supplémentaire sur l’enseignement de mécanique. Cependant, nous pensons que nos tests ne sont probablement pas suffisants pour les enseignants et qu’ils devraient être donnés en plus de problèmes d’évaluation qui évaluent plusieurs compétences en même temps et qui préparent à l’épreuve du baccalauréat.

Du point de vue des élèves, nous avons vu que nos tests ont été bien acceptés. Il n’y a pas eu de problème majeur de compréhension de l’énoncé. Les élèves interviewés n’ont pas semblé déstabilisés par la forme des tests.

Deux remarques sont apparues :

la nécessité de réfléchir pour répondre aux questions du test et de ne pas simplement « appliquer le cours » ;

l’avantage d’avoir des choix de réponses (permettant pour certains élèves de proposer des alternatives auxquelles ils n’auraient pas penser, pour d’autres au contraire de faire le tri parmi les différentes réponses qui pouvaient leur venir à l’esprit).

L’analyse des réponses écrites des élèves nous a permis d’établir la maîtrise des différentes composantes de concepts enseignés pour les élèves en regardant le nombre de bonnes réponses données aux différentes questions mettant en jeu cette composante (cf. Conclusion de la Partie « Analyse des test », pp.270 et suivantes).

Il était bien sûr nécessaire de valider ces résultats. Nous avons choisi d’utiliser la cohérence interne des réponses des élèves afin d’améliorer les indicateurs de la compréhension. Nous avons aussi mis en place une validation externe au test en menant des entretiens individuels auprès d’élèves ayant répondu aux questions par écrit. Sur les 12 élèves pour lesquels nous avons analysé l’entretien, aucun n’a donné des réponses en total désaccord avec ses réponses écrites. Dans l’ensemble, l’analyse des entretiens a confirmé les conclusions obtenues à partir des réponses écrites.

Cependant, nous avons noté des hésitations chez de nombreux élèves, voire des instabilités dans le temps. Les élèves semblent avoir écrit ce qui leur paraissait correct au moment du devoir surveillé mais pensent parfois qu’une autre réponse serait plus appropriée le jour de l’entretien. Ce changement peut être dû aux conditions de passation mais aussi à l’instabilité dans le temps des connaissances des élèves. On aurait pu avoir plus d’informations en effectuant un deuxième entretien ultérieur pour voir si la réponse donnée lors du premier entretien était stable dans le temps.