2-5. Interprétant

On voit donc d’où vient le nom de multimodalité que P. Vaillant donne aux systèmes de signes syncrétiques. Il fournit la base neuropsychologique à la théorie de simulacres multimodaux, en discutant la question de savoir si les simulacres multimodaux sont ou non dépendants des modalités /apparaître/ d’objets de perception :

Il y répond par affirmative, en suggérant qu’il y ait des rapports d’ « équivalence » entre l’imagerie mentale et la modalité de présentation du signifiant. Dans la perspective triadique du signe multimodal, la notion d’interprétant ¹ qui est indissociable de l’opération d’afférence prend alors une importance cruciale. Il n’est pas seulement d’ordre linguistique mais multifonctionnel, ou si l’on préfère, multimodal. Il lui revient de canaliser des effets de sens produits par une telle modalité sémiotique dans d’autres modalités. Ou bien si on s’exprime comme Lévi-Strauss, l’interprétant est un vecteur de sens qui permet de transcoder au moins partiellement la signification d’une modalité perceptiblement saillante et culturellement prégnante par et dans les significations d’autres modalités. Le processus global de construction du sens qui se fonde sur leur traductibilité donne naissance ainsi à un réseau d’homologations structurales où se manifeste le contenu homogénéisé de l’expérience humaine. En formulant les choses de la sorte, on se rapproche de la conception du signe telle qu’elle est donnée par U. Eco :

En amont du rapport phéno-physique qui s’établit entre le sujet percevant et l’objet perçu, il y a une matière sensible à signifier, « sens » qui est à manipuler en étant soumise à l’épreuve de traitements de diverse nature, logique (abduction, induction et déduction) et sémio-linguistique (mise en équivalence fonctionnelle entre deux formes d’expression et de contenu ayant le même support du sens). En assumant ce lieu de rationalisation, un individu tel qu’immergé dans ses expériences vivantes largement synesthésiques se posera comme sujet énonçant (production et lecture) qui y donne une orientation en profondeur (impliquant sa propre position d’observation, « points de vue ») en les re-présentant dans le jeu de « traductions » de modalités sémiotiques entre elles. Si on essaie de saisir comment le sens surgit à partir d’un hypersigne comme un texte multimodal, il faudra donc tenir compte, d’une part du contexte syntagmatique (entaxique aussi bien que syntaxique) qui contribue à la cohérence textuelle (cotexte, coréférence, implicature, structure modale, etc.), et d’autre part de l’entour plus global qui vient de l’intervention pertinente de facteurs pragmatiques (champ sémantique, scripts, domaine de pratiques, genre de discours qui lui est propre, etc.).