Des résultats en faveur d’une théorie ’mixte’

Le modèle du double codage (Paivio, 1971, 1986) que nous venons de présenter a été remis en cause par plusieurs résultats expérimentaux (e.g., McNamara, Halpin, & Hardy, 1992 ; Pezdek, 1977) qui ont mis en évidence une intégration des deux types de codage (verbal et imagé) en une représentation mentale unifiée.

Dans l’expérience de Pezdek (1977) évoquée par Bétrancourt (1996), une série d’images (qui représentaient des objets dans des arrangements spatiaux variés) était présentée aux sujets, immédiatement suivie d’une série de phrases. Chaque image était appariée à une phrase pertinente ou non sémantiquement. Une phrase était pertinente sémantiquement par rapport à une image, lorsqu’elle avait pour rôle de compléter les informations apportées par cette image. Par exemple, l’image d’une voiture (sans porte-skis) garée prés d’un arbre était suivie de la phrase : ’La voiture près de l’arbre a des porte-skis’. Une phrase qui n’était pas pertinente pouvait être : ’L’oiseau est perché au sommet de l’arbre’. Une tâche de reconnaissance d’images était ensuite proposée aux sujets. Les images-test étaient soit identiques à celles présentées au pré-test (items originaux), soit un combiné des images originales et des informations apportées par les phrases (e.g., l’image d’une voiture avec un porte-skis) (items intégrateurs). Pezdek (1977) a montré que le nombre de fausses reconnaissances pour les items intégrateurs était plus important lorsque ceux-ci étaient composés des informations issues des phrases pertinentes sémantiquement plutôt que des informations issues des phrases non pertinentes. Il en a conclu que les images et les phrases pertinentes sémantiquement ont été intégrées en mémoire.

McNamara, Halpin et Hardy (1992) ont réalisé une série d’expériences dont l’objectif était d’observer si les sujets pouvaient intégrer des informations non spatiales sur un objet à leurs connaissances initiales sur la localisation spatiale de cet objet. Les sujets apprenaient la localisation de villes à partir d’une carte routière fictive, puis des faits relatifs à ces villes. Après cette phase d’apprentissage, les sujets devaient effectuer une tâche de jugement de localisation au cours de laquelle ils devaient décider si une ville était située dans une région particulière de la carte ou dans une autre. L’intégration des connaissances a été évaluée en comparant les niveaux de performance dans deux conditions d’amorçage. Dans la première condition, l’amorce était un fait concernant une ville proche de celle dont il fallait juger la localisation (condition ’amorce proche’), tandis que dans la seconde condition, la ville-cible était précédée d’un fait relatif à une ville qui lui était distante (condition ’amorce distante’). Les auteurs ont observé que les réponses étaient plus rapides et/ou plus précises dans la condition ’amorce proche’ que dans la condition ’amorce distante’. Ils en ont conclu que les informations spatiales et non spatiales ont été intégrées dans une même représentation mnésique.

Face à ces résultats expérimentaux, une théorie ’mixte’ a été proposée qui réconcilie les approches uni- et plurimodales. Cette théorie défend l’idée selon laquelle il existerait un traitement spécifique à la modalité d’encodage en mémoire de travail et un stockage amodal dans un format propositionnel en mémoire à long-terme. Schnotz (Schnotz & al., 2002) a ainsi adopté cette position de compromis et proposé un modèle d’acquisition de connaissances à partir de textes et d’illustrations sur lequel nous nous appuyons pour formuler nos hypothèses quant à l’effet des illustrations. L’intérêt du modèle de Schnotz (Schnotz & al., 2002) est de s’inspirer du modèle de la compréhension de textes proposé par van Dijk et Kintsch (1983) pour rendre compte de la façon dont les informations textuelles et picturales participent conjointement à la construction du modèle de situation.