Dans la mesure où il s’avère impossible de travailler sur la population entière, une première réflexion consiste à déterminer un échantillon, que Nicolas Guéguen définit comme « ‘un sous-ensemble d’une population à partir duquel on souhaite procéder à un certain nombre de mesures’ »143.
A l’origine, notre intention était de bénéficier d’une population un peu supérieure à une soixantaine d’individus. Le souhait d’atteindre cette quantité d’individus renvoie au fait que la normalité gaussienne ne s’applique réellement qu’à partir d’un seuil de 60 individus. En d’autres termes, nous considérions que ce nombre rendait plus crédible notre échantillon au regard de sa population de référence: nous pouvions nous attendre en ce qui concerne les résultats en métaphonologie ou dans le « lire-écrire » à une distribution proche de la courbe de Gauss (représentée grossièrement dans le graphique ci-après).
A l’origine, l’expérimentation était organisée sur deux établissements que nous appellerons l’école Simon et l’école Tardif, situées dans le même secteur. Finalement, elle se déroulera uniquement dans l’école Simon avant d’être exportée sur un nouveau secteur avec l’école Legrand. Plusieurs problèmes sont apparus, entraînant une diminution progressive et significative de la population (mortalité expérimentale).
L’impossibilité de recueillir, auprès des parents, tous les bilans réalisés en CP fut probablement le plus gros obstacle144. Sur une promotion d’élèves, le fait de ne pas avoir l’ensemble des évaluations pouvait provoquer une modification de la population. Clairement, les indications sur la nature des premiers documents renvoyés par les parents, tendaient à croire qu’il s’agissait en réalité uniquement des bons élèves. Pour ceux ou celles qui avaient connu des faiblesses durant la scolarité de CP, sanctionnées dans les bilans, le pourcentage de retour témoignait d’une petite représentation.
Les approches du « lire-écrire », même si elles s’appuyaient sur des manuels identiques, ne respectaient pas des progressions absolument semblables, ni des exigences similaires. Dans une classe, la priorité était donnée à l’installation du code tandis que dans l’autre, ce critère ne semblait pas prioritaire.
La faisabilité d’entreprendre une autre notation pour les bilans évalués par des points de couleur (vert : acquis ; orange : en cours d’acquisition ; rouge : non acquis) se posait en fonction du temps imparti au chercheur.
GUEGUEN Nicolas, Manuel de statistiques pour psychologues, Op. Cit., page 65.
Les deux écoles ne conservaient que les appréciations des contrôles et acceptaient que les évaluations, réalisées par les enseignants comme une sorte de fichier, soient gardées par les parents.