4.1.2. Les modèles de l’intégration des informations textuelles et picturales

Pour traiter des informations qui sont issues à la fois du texte et d’illustrations, le lecteur doit mettre en oeuvre des processus de sélection, d’organisation et de coordination. Ainsi, il doit [1] évaluer l’information textuelle et décider quels points particuliers des illustrations il est pertinent d’explorer (Hegarty & Just, 1993), [2] structurer et maintenir simultanément en mémoire des informations de nature différente, pour [3] les coordonner et construire ainsi une représentation unifiée de la situation évoquée.

Bétrancourt (1996) a évoqué trois modèles distincts, qui rendent compte des mécanismes cognitifs sous-jacents à l’intégration ’texte-illustrations’ :

• Le modèle à simple codage (Pylyshyn, 1973) selon lequel, malgré leur diversité d’origine, toutes les informations seraient traitées par un système unique (une sorte de processeur central) et stockées dans un format amodal, propositionnel ;

• Le modèle à double codage (Paivio, 1971, 1986) qui postule l’existence de deux systèmes de représentations symboliques structurellement et fonctionnellement distincts : le système verbal et le système imagé ;

• Le modèle mixte ou ’hybride’ qui est un compromis entre les deux précédentes approches. Basé sur la théorie des modèles mentaux (ou de situation) (i.e., Johnson-Laird, 1983 ; van Dijk & Kintsch, 1983), il postule l’existence de représentations modales en mémoire de travail, qui s’intégreraient en une représentation mentale unifiée en mémoire à long-terme.

D’après la position amodale soutenue par Pylyshyn (1973), la mémorisation d’une information ne dépendrait pas de son mode de présentation. Toutefois, il a été observé que le rappel est supérieur pour des concepts lorsqu’ils sont présentés sous une forme imagée plutôt que verbale (Lieury, 1992). D’autre part, les illustrations sont reconnues comme étant bénéfiques à la mémorisation de textes (Gyselinck, 1995, 1996). Cette théorie étant donc difficilement défendable, nous nous ciblerons sur la description des deux autres modèles.