Les critiques à formuler vis-à-vis des questionnaires de métamémoire portent essentiellement sur trois points : leur contenu, leurs échelles d'évaluation et les processus psychologiques sous-tendant leur réalisation.
Le premier problème fait référence aux situations de mémoire quotidienne sélectionnées pour faire l'objet d'une évaluation. La plupart du temps, ces items sont construits de façon intuitive par les chercheurs selon leur propre expérience (e.g., Broadbent et al., 1982), sur la base d'une pré-enquête auprès de sujets tout-venant (e.g., Bennett-Levy et Powell, 1980) ou sur l'analyse de contenu des outils existants (Dixon, 1989). Au moins deux commentaires peuvent être formulés à cet égard :
Les items ne contribuent peut-être pas de la même façon à l'auto-évaluation individuelle ; à notre connaissance, peu d'échelles se soucient de l'importance relative des situations à évaluer, soit en terme de fréquence, soit en terme de saillance, soit en terme de conséquence. Zelinski et al. (1980) ont englobé une telle dimension d'importance en demandant aux répondants, pour chaque item d'auto-évaluation, de déterminer le degré de gravité de l'oubli. Cette évaluation constitue une des dimensions retenue pour la version courte du questionnaire (Gilewski et al., 1990).
Le second point concerne l'exhaustivité et la représentativité des situations à intégrer dans le questionnaire : a-t-on considéré l'ensemble des situations de mémoire quotidienne, l'ensemble des facteurs pertinents qui peuvent entrer en compte dans la performance, l'ensemble des facteurs qui contribuent au niveau d'efficacité personnelle ?... Fort (1998) souligne un écart non négligeable entre la définition conceptuelle de la métamémoire et son opérationnalisation à travers les questionnaires. Notamment, elle remarque un manque de référence aux théories de la mémoire : une sur-représentation des items d'auto-évaluation par rapport aux items de connaissance du fonctionnement objectif de la mémoire.
A côté des difficultés spécifiques liées à leur contenu, les questionnaires de métamémoire connaissent des difficultés d'ordre plus général liées à la nature et au format des échelles de réponse.
La plupart du temps, l'évaluation se fait sur une échelle multi-points (échelle de type Likert (1932) ou à support sémantique) où le sujet doit cocher la case correspondant à sa situation.
Beaucoup moins fréquemment, les comparaisons deux à deux sont utilisées (par exemple, à propos de l'efficacité de différences stratégies ; Justice et Weaver-McDougall, 1989). Dans ce dernier cas, le sujet doit comparer deux alternatives sur une dimension particulière. On pourrait envisager le cas de figure où la personne doit dire laquelle des deux situations de mémoire lui paraît la plus facile entre « mémoriser des noms propres» et « mémoriser des numéros de téléphone» . Ce type d'évaluation se prête assez mal à la passation de questionnaire papier/crayon car il faut considérer toutes les paires d'items afin de constituer ensuite une hiérarchie des réponses.
Les échelles où le sujet doit se comparer à un tiers sont rares mais intéressantes car plus précises que de simples auto-évaluations. En effet, il est méthodologiquement pertinent de donner un standard de comparaison sachant que toute évaluation est relative (Abson et Rabbitt, 1988) et que les réponses dépendent largement du référent choisi par la personne sondée (Foddy, 1993).
Les échelles sont la plupart du temps qualitatives (mauvaise ... bonne), d'intensité (peu ... beaucoup), d'opinion (pas du tout d'accord ... tout à fait d'accord) ou de fréquence (toujours ... jamais). La difficulté majeure de ce type d'échelle est leur caractère général et les différences d'interprétations individuelles (différences entre individus et différences entre items) sur la signification des points de l'échelle (Huteau, 1995). Une solution a été suggérée par Sunderland, Harris et Baddeley (1983, 1984 ; Harris, 1980), qui proposent des échelles de fréquence concrètes (« une fois dans le dernier mois» , « plusieurs fois par jour» ...) plutôt que des jugements abstraits et flous (« souvent» , « parfois» ...). Cette contrainte de précision peut toutefois engendrer des difficultés de réponses lorsque le sujet souhaite être très précis.
Outre la généralité des échelles, le nombre d'alternatives est sujet à critique ; en effet, il est fortement suggéré de proposer un nombre pair de choix, de sorte qu'en cas de doute ou de difficulté à répondre, les sujets ne cochent pas systématiquement la case médiane. Cette solution se révèle en contrepartie source d'incertitude pour les évaluations et les points de vue réellement médians. Il existe aussi un danger à utiliser des alternatives trop extrêmes car elles ne peuvent pas être décemment choisies par les sujets qui risquent de concentrer leurs réponses sur les points intermédiaires de l'échelle (Foddy, 1993). C'est le cas pour les réponses « jamais» et « toujours» des échelles de fréquence d'échecs (Morris, 1984).
Une dernière classe de difficulté tient aux processus mentaux mis en jeu lors de la réalisation de tout questionnaire.
Une difficulté de poids tient à ce que l'auto-évaluation de la mémoire est soumise aux problèmes spécifiques d'accès aux souvenirs (paradoxe de l'introspection mnésique, Herrmann, 1979 ; Morris, 1984). Les théories de la mémoire nous enseignent que la récupération d'une information n'est pas la production d'une copie conforme à l'original emmagasiné. Elle peut être totalement déficiente ou erronée pour de multiples raisons. Ces principes s'appliquent aux situations d'évaluations où l'on demande à des individus d'estimer la fréquence d'occurrence des échecs et des réussites de la fonction mnésique. L'évaluation est donc sujette à un certain nombre de biais de jugement, examinés précédemment (§ 2.1.3.1.3). Certains auteurs (e.g., Sunderland, Harris et Baddeley, 1983 ; Shlechter, Herrmann et Toglia, 1990 ; Cohen et Faulkner, 1986 ; Burke, Worthley et Martin, 1988) ont opté pour une solution consistant à utiliser des diaries (journaux) pour l'évaluation de la fréquence des difficultés de mémoire : chaque jour pendant une certaine période, les sujets doivent reporter les problèmes rencontrés dans la journée (en suivant une cheklist). Cela limite considérablement les problèmes de récupération des souvenirs en mémoire car la période de recherche est courte et les informations recherchées sont récentes. Cette technique n'est pas pertinente dans le contexte d'une évaluation de la métamémoire, mais vise plutôt à améliorer la validité des auto-évaluations, afin d'obtenir des estimations du fonctionnement de la mémoire quotidienne plus fiables et objectives. Morris (1984) souligne toutefois que les auto-évaluations par questionnaires ou par carnet de bord nécessitent de vaincre cinq étapes pour obtenir des données solides : 1. avoir un échec de mémoire, 2. le reconnaître comme tel, 3. s'en souvenir au moment de l'évaluation, 4. juger que l'échec est « rapportable» et 5. le décrire correctement.
Morris (1984) souligne également la difficulté de tout instrument d'auto-évaluation qui consiste à confondre les facteurs d'acquiescement et de désirabilité sociale 71 avec les réponses (voir aussi Huteau, 1995). Les sujets peuvent être tentés de donner la réponse paraissant la plus acceptable ou être influencés par la formulation de la question (biais d'affirmation72). Un questionnaire qui demanderait de juger la fréquence d'apparition d'une série d'échecs de mémoire, pourrait entraîner certaines personnes (et pas d'autres) à surestimer grandement leur expérience réelle de tels échecs. Par la suite, il sera impossible de trouver une relation entre la fréquence jugée d'un problème et sa réelle occurrence dans la réalité ou au cours d'un test.
Face à toutes ces difficultés, l'appréhension de la métamémoire par questionnaire devrait être systématiquement accompagnée d'un examen des propriétés métrologiques de l'outil d'évaluation utilisé, notamment à travers une étude simultanée de performance (validité prédictive). Or, les questionnaires de métamémoire portent généralement sur des situations de la vie courante pour lesquelles des données de performance sont difficiles à obtenir. Ainsi, leurs résultats ont le plus souvent été mis en relation avec des données de laboratoire ou des tests standards de mémoire, entraînant des conclusions extrêmement décevantes pour les défenseurs du concept de métamémoire et les partisans de relations fortes entre mémoire et métamémoire (voir § 2.3.4.1). Nous verrons cependant que leur utilisation est utile dans une optique de définition des dimensions qui sous-tendent le construct théorique de métamémoire (§ 2.3.3.3).
Ces facteurs donnent lieu à des styles de réponses qui, en différenciant les individus, aboutissent à des coefficients de corrélation faibles, non significatifs et qui ne disent rien sur la dimension que l'on souhaite étudier. Le problème n'est pas tant l'existence d'un biais mais le fait qu'il ne s'applique pas de la même façon à tous les individus testés.
Il faut cependant remarquer que le mélange de questions formulées positivement et négativement peut déboucher sur des problèmes peut-être encore plus graves d'interprétation des items par les sujets.