Le modèle intégratif de Schnotz (Schnotz, Bannert, & Seufert, 2002)

Le modèle proposé par Schnotz (Schnotz & al., 2002) (Cf. figure 17) consiste en deux branches de représentations, l’une décrivant les interactions entre des représentations descriptives (à gauche de la figure), l’autre les interactions entre des représentations figuratives (à droite) :

• Les représentations descriptives sont considérées comme arbitraires, consistant en des symboles qui sont associés aux objets représentés par une convention. La branche descriptive du modèle comprend le texte (représentation externe), la représentation (interne) de la structure de surface du texte, et la représentation propositionnelle (interne) du contenu sémantique (ou base de texte). L’interaction entre ces types de trois représentations descriptives est basée sur des traitements sémantiques.

• Les représentations figuratives sont qualifiées d’analogiques, car elles entretiennent une relation de ressemblance structurale avec les objets représentés. La branche figurative du modèle comprend l’illustration (représentation externe), la perception visuelle (interne) du dispositif graphique et le modèle mental de la situation décrite. L’interaction entre ces trois types de représentations figuratives est basée sur des processus d’appariement des structures analogiques.

FIGURE 17. Le modèle d’acquisition de connaissances à partir de textes et d’illustrations (Schnotz & al., 2002)

D’après ce modèle, il est plus rapide et plus facile pour le sujet de construire un modèle mental à partir d’informations picturales qu’à partir d’informations textuelles. En effet, dans la branche figurative, il est directement élaboré à partir de l’image visuelle du dispositif graphique perçu. Dans la branche descriptive, il est formé à partir de la représentation propositionnelle du texte laquelle doit être, au préalable, dérivée de la représentation de la structure de surface du texte.

Schnotz (Schnotz & al., 2002) se base sur le modèle de van Dijk et Kintsch (1983) pour décrire les processus de construction à l’oeuvre durant la compréhension du texte (i.e., sélection puis organisation des informations pertinentes en une structure cohérente). Il précise que l’élaboration du modèle mental de la situation évoquée requiert la transition entre une représentation descriptive et une représentation figurative (analogique). Cette transition consiste plus qu’en le simple ajout d’un autre codage mental en mémoire comme le suggère la théorie du double codage (Paivio, 1971, 1986). Selon Schnotz, si les principes qui sous-tendent la construction des représentations propositionnelles et des modèles de situation sont différents, ils sont toutefois complémentaires. Ainsi, si un modèle de situation a été construit au cours de la lecture du texte, des procédures d’inspection du modèle peuvent être appliquées pour en extraire de nouvelles informations. Le résultat de cette inspection doit être rendu explicite. Les informations nouvelles doivent alors être encodées dans un format propositionnel, puis ajoutées à la représentation propositionnelle qui s’en trouve enrichie sémantiquement. Schnotz suppose ainsi que les représentations propositionnelles et les modèles de situation interagissent continuellement via des processus de construction et d’inspection du modèle.

Dans son modèle, Schnotz décrit également les mécanismes à l’oeuvre dans la perception et la compréhension des illustrations. L’encodage perceptif d’une illustration nécessite deux niveaux de traitements. Au premier niveau, des processus dits ’pré-attentionnels’ opèrent en parallèle, de façon automatique et non-consciente pour identifier et discriminer les entités de base du dispositif graphique. Ce sont des processus ascendants, basés sur les données. Au second niveau, les entités graphiques perçues sont combinées en fonction de leur localisation selon les lois de la Gestalt, ce qui requiert une attention focalisée du sujet sur ces différents emplacements. Ce second niveau est sous la dépendance des attentes et des connaissances initiales du sujet. Le résultat de ce traitement perceptif à deux niveaux est une image visuelle structurée.

À partir de cette image visuelle, le modèle mental de la situation illustrée est construit en appariant des entités et relations visuo-spatiales spécifiques à des entités et relations sémantiques spécifiques. Ce processus d’appariement ne prend en compte que les parties du dispositif graphique perçu qui ont été maintenues en mémoire de travail durant la sélection ’thématique’, et qui sont pertinentes pour la compréhension. Pour procéder à cet appariement, le sujet peut utiliser les schémas cognitifs qu’il a élaborés en mémoire sur la base de son expérience perceptive de l’environnement, ainsi que ses connaissances sur le monde. Du fait de la symétrie des relations de ressemblance entre les structures visuo-spatiales saillantes et les structures sémantiquement significatives, le processus d’appariement peut intervenir dans les deux directions. En effet, il est possible de former un modèle de situation sur la base d’illustrations, tout comme il est possible de produire des illustrations sur la base d’un modèle de situation.

Le modèle de situation doit être distingué de l’image visuelle à partir de laquelle il a été formé, et ce pour plusieurs raisons. D’une part, il est une représentation dont le format n’est pas spécifique à la modalité sensorielle d’encodage, et en ce sens, il est plus abstrait que l’image visuelle. D’autre part, sa construction nécessite l’intervention de processus descendants orientés par la tâche, et l’intégration d’informations qui ne sont pas représentées dans l’illustration et qui sont par conséquent inférées sur la base des connaissances du sujet. Comme au cours de la compréhension du texte, des procédures d’inspection du modèle de situation qui a été élaboré à partir des informations picturales interviennent pour en extraire de nouvelles informations. Pour pouvoir être verbalisées, ces informations nouvelles doivent être encodées dans un format propositionnel. Elles peuvent donc être utilisées pour élaborer la représentation sémantique du texte. Ainsi, sur la base du modèle de Schnotz (Schnotz & al., 2002), nous pouvons supposer que la représentation propositionnelle (descriptive) du texte et le modèle (analogique) de la situation évoquée dans le texte interagissent à la fois dans la compréhension du texte et des illustrations qui l’accompagnent à travers un effet réciproque des processus de construction et d’inspection du modèle de situation.