5.4.1011Méthodologie

Afin d'analyser la finesse de l'auto-évaluation de certitude, nous disposons de deux mesures intéressantes : le coefficient Gamma de Goodman-Kruskal (G; Nelson, 1984) et l'indice de calibration (C ; Oskamp, 1962).

5.4.1.1011Coefficient Gamma et Coefficient de discrimination

Le coefficient Gamma de Goodman-Kruskal, dont la valeur s'étend de -1 à +1, est un test non paramétrique qui permet d'estimer l'équilibre de la répartition des réponses dans plusieurs catégories, déterminées par le croisement de deux variables. Dans notre cas, chaque mot rappelé sera classé en fonction de son caractère de bonne ou mauvaise réponse et selon la certitude subjective qui lui est associée. Cet indice permet donc d'évaluer la sensibilité du sujet face à la pertinence de ses réponses. En attribuant une certitude à ses réponses, le sujet donne une estimation de son sentiment d'avoir été récemment en contact avec les items. Nous évaluons donc la connaissance qu'ont les sujets du contenu de leur mémoire dans un contexte spécifique. Ce coefficient permet d'appréhender la capacité de discrimination (encore nommée résolution) entre les bonnes et les mauvaises réponses ; il constitue donc une mesure relative de la correspondance entre les évaluations subjectives et objectives de la performance (Koriat, 1997).

Pour obtenir la valeur du coefficient, on compte le nombre de paires d'items congruentes et le nombre de paires divergentes. Une paire congruente est comptabilisée chaque fois qu'une réponse juste est jugée plus « sûre» qu'une réponse fausse, et une paire divergente concerne les cas où une réponse fausse est jugée comme plus « sûre» qu'une réponse vraie (Izaute, 1989 ; Izaute et al., 1996 ; Nelson, 1984). Ces définitions exclusives amènent à ne pas considérer le nombre total de paires d'items mais seulement le nombre de paires d'items placés dans des niveaux différents des deux variables. Illustrons cela par un tableau (V.3) qui correspond à notre propre recherche :

Tableau V. 3 : Croisement des variables Performance de rappel et Certitude évaluée pour une série de données. Illustration pour le calcul du coefficient Gamma de Goodman-Kruskal.

	Certitude
Rappel	Forte (C2)	Hésitation (C1)	Faible (C0)
Bonne réponse	A	B	C
Mauvaise réponse	D	E	F

Le nombre de paires congruentes, ou encore concordantes, s'obtient par le calcul de (AE) + (AF) + (BF)¹²³ et le nombre de paires divergentes par le calcul de (DB) + (DC) + (EC). Notons que le nombre total de paires d'items d'une telle série s'obtient par la somme des produits des 6 cases (soit 15 produits : AB, AC, AD, AE, AF, BC, BD, BE, BF, CD, CE, CF, DE, DF, EF) à laquelle on ajoute encore le nombre de paires d'items dans chaque case¹²⁴.

Le coefficient Gamma (G) s'obtient par la formule suivante :

Ce coefficient, tel que défini dans la littérature sur les relations entre mémoire et métamémoire (Izaute et al ., 1996 ; Nelson, 1984), se prête assez mal à notre expérience car nous obtenons un grand nombre de cas où les cases de la table de contingence (performance par certitude) sont vides. Les sujets utilisent rarement tous les niveaux de l'échelle d'évaluation. Cela est surtout vrai en rappel libre, où survient un nombre limité de mauvaises réponses. De plus, lorsqu'une réponse fausse apparaît en rappel libre, elle est souvent évaluée avec la même certitude (forte) que les bonnes réponses, ce qui témoigne d'un manque de sensibilité des sujets dans une telle tâche.

Ces situations aboutissent à une impossibilité de calculer la valeur de gamma, car il n'y a aucune paire concordante et aucune paire divergente : nous nous trouvons dans le cas d'une division par 0 ; cette situation représente 41,4% de nos observations (27 sujets étudiés dans 3 rappels libres et 3 rappels indicés, soit 162 valeurs au total). Le tableau V.4 procure une illustration où le coefficient Gamma est impossible à calculer car le nombre de paires concordantes (8 × 0 + 8 × 0 + 0 × 0) et le nombre de paires discordantes (2 × 0 + 2 × 0 + 0 × 0) valent 0.

Tableau V. 4 : Descriptif et recensement des situations où le calcul de Gamma est impossible. Illustration du cas où toutes les réponses (8 justes et 2 fausses) sont jugées avec un niveau de certitude équivalent.

Tableau V. 5 : Descriptif et recensement des situations menant à des valeurs extrêmes de Gamma. Illustration du cas (x x φ / φ x x) où les réponses justes sont jugées dans les deux premiers niveaux de certitude et où les réponses fausses sont jugées dans les deux derniers niveaux de certitude.

De plus, dans un nombre important de situations, gamma prend la valeur +1 (cela représente 32,1% des observations) ; la discrimination entre les réponses vraies et fausses est alors considérée comme parfaite (tableau V.5). Cela se produit par exemple lorsque les réponses justes sont assorties d'une certitude forte et que les réponses fausses sont assorties d'une certitude forte ou nulle (cas le plus fréquent). D'un point de vue purement psychologique et mnésique, il ne semble pas que l'on puisse affirmer que, dans un tel cas, la discrimination soit aussi bonne que celle d'un sujet qui aurait donné toutes ses réponses justes avec une forte certitude et toutes ses réponses fausses avec une faible certitude. Notons que cette dernière situation n'a été observée que 2 fois sur un total de 162.

Tableau V. 6 : Nouvelle conception du coefficient de discrimination (D) à partir de l'ensemble des paires rappelées et classées dans les trois niveaux de certitude. A, B, C sont les noms des cases de la table de contingence issue du croisement des variables Performance (2 niveaux) et Certitude (3 niveaux) – voir tableau V.3, p.393).

Compte tenu d'une proportion de 75% de valeurs inexploitables dans notre expérience (calcul impossible ou valeurs extrêmes -1 et +1), il nous a fallu élargir la définition des termes de concordances et de divergences de façon à prendre en compte toutes les paires de réponses possibles (tableau V.6). Le nouveau coefficient obtenu sera noté D, pour discrimination. Nous verrons qu'il se rapproche énormément de l'indice de calibration. Bien entendu, il n'est pas question ici d'attribuer à ce nouveau coefficient une quelconque valeur de test statistique sur des fréquences ou de vouloir comparer ses propriétés statistiques à celles du G de Goodman-Kruskal.

Avec ce nouveau coefficient, nous pouvons prendre en compte les cas où les sujets ne donnent que des réponses exactes, classées ou non dans un même niveau de certitude (cases A, B et C), et les cas où toutes les réponses, justes et fausses, sont assorties d'un même sentiment de certitude (cases A / D, B / E et C / F). Ces différents cas sont relativement fréquents, notamment en rappel libre. Avec cette mesure, sur les 162 coefficients calculés, seuls 25,3% prennent les valeurs extrêmes -1 et +1, et il n'existe plus de calculs impossibles.