3.4.2. La notion d’intégration multimodale

D’après les travaux présentés dans ce chapitre, il semble que les connaissances émergent de l’activation de traits de nature sensorielle. Le modèle de mémoire multidimensionnelle que nous défendons suppose un mécanisme d’activation multimodale et un mécanisme d’intégration intra et intermodale.

La logique de cette théorie de mécanisme d’intégration a été étudiée largement dans le domaine de la perception visuelle et de l’attention et non pas dans le domaine de la mémoire (Treisman, 1988 ; Treisman & Gelade, 1980 ; Treisman & Gormican, 1988). Par exemple, la théorie développée par Treisman et Gelade (1980) suppose que deux étapes sont impliquées pour l’identification d’un objet : la première consiste d’une analyse très rapide et parallèle (la détection) des caractéristiques d’un objet (comme la taille, la couleur et l’orientation) sans qu’il y ait l’existence réelle des objets en tant qu’entités reconnues. L’identification des objets et l’extraction des connaissances relatives aux objets nécessitent l’intégration de ces caractéristiques élémentaires.

Notre idée ici est de proposer la fonction de la catégorisation dans une logique similaire à Treisman. Lors de nos interactions avec l’environnement, un ensemble de modalité sensorielle est traité et encodé en parallèle par notre système mnésique. Par exemple, dès lors que l’on voit un objet, on active les zones visuelles correspondantes. Ces activations initiales déclanchent les autres composants sensoriels qui sont aussi reliés à l’objet tel que l’audition, l’olfaction etc… (il s’agit d’une activation intramodale et intermodale), mais aussi les composants moteurs et émotionnels. Il est beaucoup plus probable qu’ensemble de ces activations sensoriels se fasse en cascade plutôt que d’une manière séquentielle. Les activations multimodales peuvent influencer le processus en cours d’une manière très précoce et ils sont, probablement, à l’origine des effets d’amorçages à court terme avec des SOA très courts.

Au moment où les différentes zones du cerveau sont impliquées pour le traitement du stimulus, à un moment donné, ces activations doivent être synchronisées ou être intégrées pour permettre l’émergence cohérente d’une connaissance dans sa globalité. De ce fait, ces activations multimodales qui représentent les propriétés élémentaires des objets sont nécessairement intégrées graduellement à un niveau intermodale et intramodale. Ces interactions permettent l’accès à une élaboration quasi globale de l’objet, l’ensemble des composants sensoriels y étant représenté sans être discriminé.

Un certain nombre d’observation expérimentale ont vu le jour et peuvent être interprété comme la validation empirique du mécanisme d’intégration. Par exemple, Giard et Peronnet (1999) ont utilisé les stimuli auditifs et visuels présentés dans des conditions monomodale (seulement visuelle ou seulement auditive) et bimodale (l’ensemble des modalités). Les résultats ont montré que la condition bimodale favorisait les performances en identification.

Un autre exemple de l’intégration multimodale est celui de l’effet McGurk (MacDonald & McGurk, 1978 ; McGurk & MacDonald, 1976). Cet effet est caractérisé par la tendance des sujets à percevoir /da/ lorsqu’ils voient prononcer par l’interlocuteur la syllabe /ga/ et entendent, en même temps, le son /ba/. Pour ces auteurs, cet effet relève d’une intégration multisensorielle qui est venu biaiser la perception.

Lors d’une étude antérieure, nous avons testé cette théorie de l’intégration avec un paradigme d’amorçage à court terme réalisé avec une tâche de catégorisation sémantique (Labeye, Oker, Badard, & Versace, 2008). Dans cette expérience, les cibles représentaient soit un ustensile de cuisine soit un outil de bricolage suivi d’une amorce de même catégorie sémantique que la cible ou non, impliquant le même geste d’utilisation ou non. Avec un SOA de 100 ms entre l’amorce et la cible, nous avons observé une facilitation additive de la similarité gestuelle et de la similarité catégorielle entre l’amorce et la cible. En revanche, avec un SOA de 300 ms, nous avons observé une interaction grâce à l’effet facilitateur de la similarité gestuelle seulement si les objets appartenaient à la même catégorie. L’idée de base était de souligner qu’une exposition plus longue (ici, la condition expérimentale de 300 ms SOA entre l’amorce et la cible) a rendu possible une intégration d’une multitude de composant de l’amorce en empêchant les expressions indépendantes de ces composants individuellement.

Dans la littérature, les observations neuroanatomiques ont montré que certaines structures telles que le cortex préfrontal et la région hippocampique seraient impliqué dans ce mécanisme d’intégration à la fois en encodage et en récupération. En effet, il paraît que l’hippocampe serait plus impliqué dans l’encodage à long terme des liens entre les différents composants sensoriels alors que le cortex préfrontal serait impliqué pour le maintien simultané des activités dans différentes aires du cerveau (Bechara, Tranel, Damasio, Adolphs, Rockland, & Damasio, 1995 ; Stuss & Alexander, 1999). Le rôle du cortex préfrontal décrit ici rejoint la théorie concernant les zones de convergence développée par Damasio (1989 ; 1995).

Une autre structure, le thalamus peut également jouer un rôle primordial dans l’intégration multimodale. En effet, mis à part l’information olfactive, toutes les informations sensorielles passent par le thalamus avant d’être projetées dans les aires néocorticales du cerveau. Il est admis que le thalamus est un lieu de passage des chemins sensoriels qui les conduisent vers le cortex. En même temps, un lien réciproque thalamo-cortical permet une autre projection, cette fois-ci des régions corticales vers le noyau thalamique. Selon certains auteurs, ces activations réciproques peuvent jouer un rôle primordial dans l’intégration multisensorielle (Merabet, Desautels, Minville, & Casanova, 1998 ; Casanova, Merabet, Minville, & Desautels, 1999).