L’afférence conçue comme la modalité sémiotique, comme P. Vaillant le suggère à la suite de F. Rastier, a un corrélat psychologique de représentations mentales. L’étude d’effets du réel qui relève de la recherche sémiotique peut être ainsi menée en parallèle avec la problématique de la représentation mentale qui a fait couler beaucoup d’encre en science cognitive :
Il n’en reste pas moins que les modalités sémiotiques manifestées sur le plan d’expression doivent être soigneusement distinguées des modalités de représentations mentales. Au sujet de représentations mentales 1 , il y deux courants d’approche qui se complètent en psychologie cognitive : l’imagerie mentale et le codage propositionnel.
Pour les imagistes stricto-sensu, les données sensorielles qui viennent de notre entour écologique devraient être proprioceptivement traitées, mises en mémoire sous la forme de différentes informations perceptives à dominante visuelle. Ce sont ces informations qui, lors d’une tâche de reconnaissance, activeraient une imagerie mentale en l’absence du stimulus réel correspondant.
En revanche, les propositionnalistes affirment que le savoir perceptible est codé dans un format symbolique plus abstrait. Le lieu d’abstraction où s’effectue le traitement du divers sensible désigne un niveau de conceptualisation « amodale », propositions 2 qui ne sont réductibles ni à la perception « iconique » des stimuli, ni à leur représentation verbalisée.
Peirce, de son côté, explique le concept de proposition comme un acte de signification qui, quoiqu’indifférente à sa modalité expressive, réside en relation de détermination de l’icône et de l’indice. Dans un contenu propositionnel, son interprétant fonctionne comme un signe iconique de quelque chose d’autre à quoi un indice se rapporte :
Pour les imagistes modérés dans la catégorie de qui on pourra placer Peirce, il y a une forme intermédiaire de connaissances intériorisées, appelée double codage. Le double codage apparaît ainsi comme une sorte de synthèse de l’imagerie mentale (codage analogique) et de la proposition (codage digital) :
Ainsi défini, le double codage s’apparente au schéma en ce sens que ce dernier est un ensemble des propriétés constantes, prototypiques d’un objet ou d’une classe d’objets et que ces propriétés sont de nature à la fois perceptive et cognitive et liées à des expériences spatio-temporelles de son sujet de perception. Ce sont des schémas à vocation universelle mais dont la forme varie d’une aire culturelle à une autre. Ils prennent le caractère de condition d’accès à la connaissance du monde et d’utilisation de cette connaissance pour la réaction adaptative à l’égard de stimuli extérieurs. Le schéma deviendra alors le simulacre « d’une nature telle que les conséquences logiques de ces symboles (simulacres comme objets scientifiques) soient elles-mêmes les images des conséquences nécessaires des objets naturels qu’ils reproduisent » (Ernst Cassirer cité in U. Eco, 1988, p. 199.) Le schéma-image ne sert pas seulement à se référer analogiquement sur la base d’équivalence fonctionnelle 1 au monde d’objets existants ou virtuels. La schématisation de percepts d’objets peut avoir pour effet d’en amener des modifications symboliques qui sont avant tout de formation verbale et aussi actives dans le domaine esthétique. Le schéma est surtout un moyen par lequel le sujet connaissant construit et reconstruit ses expériences dans un monde imaginaire autonome en en forgeant les modalités de présentation différentes de celles du monde de représentations de tous les jours :
La notion de forme symbolique semble nous amener au fondement de l’hypothèse de la métaphore spatiale avancée par Lakoff et Johnson, fondement basé sur le schéma-image non-propositionnel de CHEMIN et l’omniprésence de notre expérience corporelle dans le processus de la signification. Les tropes, en l’occurrence la métaphore, qui selon Peirce constitue une des sous-classes de signes hypoiconiques, s’élèvent au rang de « structure imaginative, omniprésente et irréductible de l’entendement humain qui influence la nature de la signification et agit sur nos déductions rationnelles. » (Lakoff et Johnson, 1985, p. 7.)
Pour le débat développé autour de représentations mentales ainsi que la notion de simulacres multimodaux, voir Sémantique et recherches cognitives, F. Rastier, 1991, chapitre Perception sémantique.
Bien qu’elle fasse appel au calcul de prédicat du type de Fonction (Sujet, Objet), la proposition dont il est question ne s’y réduit pas :
« Although cognitive psychologists often use the logician’s shorthand as an external representation of the internal mental representation of propositions, they do not believe that the internal representations take this form. (…) To Pylyshyn, images are not analogue of physical events, and there are no physiological representations of images in the brain. (…), mental images are epiphenomena, secondary phenomena that occur as a result of other cognitive processes. We manipulate images via a propositional code, using symbolic, abstract information stored propositionally, not analogically.” (Cognitive psychologie, Robert J. Sternberg, Harcourt Brace, College Publichers, 1996, p. 165-167.)Au sujet de l’icônicité, U. Eco met en évidence l’existence de deux modèles perceptif et sémantique qui sont utilisés lors de production ou de reconnaissance d’un modèle d’expression iconique : la sélection de traits perceptifs pertinents, leur transformation sémantique et les règles de transcription iconographique. Selon lui, la « ressemblance » du signe iconique n’est qu’un aboutissement de ce processus de sélection et d’abstraction.
Selon l’hypothèse d’équivalence fonctionnelle, bien que l’imagerie mentale d’ordre visuel ne soit pas identique à la perception visuelle réelle, celle-là est fonctionnellement équivalente à celle-ci :
« although we do not construct images that are exactly identical to percepts, we do construct images that are functionally equivalent to percepts. These functionally equivalent images are analogous to the physical percepts they represent.” (Cognitive psychologie, p. 171.)