5.4.1.2011Indice de calibration

Un autre indice sera pertinent pour évaluer l'appariement entre la performance et la certitude. Il s'agit de l'indice de calibration individuelle (Oskamp, 1962 ; Izaute, 1989 ; Izaute et al ., 1996, Lichtenstein et al., 1982) qui tient compte du nombre total de réponses et de leur répartition dans les différents niveaux de certitude. Cet indice revient à estimer la proportion de réponses mal évaluées par rapport au cadre théorique. Il s'obtient par :

où

• i correspond aux différents niveaux de certitude,

• ni est le nombre de réponses classées dans chaque niveau,

• |di| est la différence en valeur absolue entre la performance et la certitude

• N est le nombre total de jugements, donc de mots rappelés.

Une calibration parfaite donnera une valeur de C égale à 0, car |di| sera nulle pour chacun des trois points de l'échelle de certitude. En effet, si le sujet ne classe que des bonnes réponses (100% de bonnes réponses) dans la catégorie « certitude élevée» (100% de certitude), que des réponses fausses (0% de bonnes réponses) dans la catégorie « incertitude» (0% de certitude), et des réponses justes et fausses en quantité égale (50% de bonnes réponses) dans la catégorie « hésitation» (50% de certitude), on n'obtiendra que des différences nulles entre performance et certitude.

La calibration pourra prendre toutes valeurs comprises entre 0 et 1 ou 0 et 100 selon que l'on raisonne en proportions ou en pourcentages. Prenons deux exemples, équivalents du point de vue de la performance (nombre total de réponses données et répartition entre bonnes et mauvaises réponses identiques) pour illustrer ces propos (tableau V.7 ci-après).

Tableau V. 7 : Illustration du calcul de l'indice de calibration. Le cas 1 aboutit à un indice de 0 et le cas 2 à un indice de 30,77 ou 0,308.

	1. Cas de calibration parfaite				2. Cas de mauvaise calibration
	évaluation de la certitude			Total	évaluation de la certitude			Total
Rappel	forte	hésitation	faible		forte	hésitation	faible
réponses justes	6	2	0	8	3	4	1	8
réponses fausses	0	2	3	5	2	2	1	5
total réponses	6	4	3	13	5	6	2	13
% certitude	100	50	0	-	100	50	0	-
% performance	100 (6/6)	50 (2/4)	0 (0/3)	-	60 (3/5)	66,67 (4/6)	50 (1/2)	-
|di|	0	0	0	-	40	16,67	50
ni	6	4	3	13	5	6	2	13
ni|di|	0	0	0	0	200	100	100	400
Calibration	0/13			0	400/13		30,77

L'indice de calibration revient en fait à calculer la proportion d'items « mal placés» dans les différents niveaux de certitude. Dans le premier exemple fictif que nous avons choisi, cette proportion est nulle car tous les items sont correctement évalués : la répartition des bonnes et mauvaises réponses est conforme à la répartition théorique induite par l'échelle de certitude. Dans le second cas, 1 item juste est jugé incertain, 2 items faux sont jugés avec certitude, et la proportion d'items justes et faux de la catégorie d'hésitation n'est pas égale. Dans cette dernière situation, la différence entre les deux quantités est divisée par deux pour obtenir le nombre d'items mal placés (ici la différence est de 2 items, donc on considère que 1 item est mal placé). Au total, 4 items sont donc mal évalués par le sujet dans le cas n°2, ce qui donne un pourcentage de 30,77 par rapport au nombre total de réponses (C = (4/13) × 100 = 30,77 ou C = 4/13 = .308).

Au final, le coefficient D, issu du coefficient Gamma de Goodman-Kruskal, permet d'évaluer la discrimination faite par les sujets entre les réponses justes et fausses (en considérant toutes les paires d'items rappelés), et l'indice de calibration permet de mesurer la validité¹²⁵ de l'évaluation de certitude par rapport à la qualité de la performance réelle. Ces deux mesures s'obtiennent pour chaque individu et donnent une indication à propos de la connaissance que possède les sujets sur leur contenu mnésique dans le contexte de cette expérience particulière. La calibration représente une mesure absolue (versus relative pour la résolution) de la correspondance entre les estimations subjectives et objectives de la performance (Koriat, 1997).