Interaction & Intégration audiovisuelles
A partir de ce point, nous nous centrerons plus particulièrement sur les relations entre les modalités auditive et visuelle pour continuer d’illustrer les mécanismes que nous venons de présenter. Il nous paraît important de signaler au lecteur que ce choix n’est pas anodin car ce sont, dans la littérature, les modalités sensorielles les plus étudiées, et ce certainement en raison de la praticité expérimentale à les manipuler. Il est maintenant largement admis que ces deux modalités interagissent et s’intègrent lors du traitement d’une situation perceptive audiovisuelle.
INTERACTION AUDIOVISUELLE - La notion de dominance peut alors refléter cette relation interactive entre modalités auditive et visuelle. Par exemple, engager le traitement dans la première modalité se fait au détriment (e.g. accroissement des temps de réaction) de celui dans la seconde (pour une discussion, voir Robinson, Ahmar & Sloutky, sous presse). L’explication d’un tel phénomène s’articule autour de la notion de ressource attentionnelle partagée entre audition et vision, ou d’une compétition entre ces deux modalités (voir Murray et al., 2009). Des données issues de l’imagerie viennent asseoir cette idée d’interaction audiovisuelle. En 2007, Romei et collaborateurs montrent qu’appliquer une stimulation magnétique transcrânienne (TMS) sur le cortex visuel perturbe le traitement du stimulus visuel seul, mais améliore le traitement du stimulus auditif seul (pour des arguments issus de l’expérimentation animale chez le singe voir Falchier et al., 2002 ; Wang et al., 2008). De même, une étude de Calvert et collaborateurs (1997) a permis de mettre en évidence que le cortex auditif primaire est activé lors de la perception d’un visage qui parle en l’absence de son.
INTEGRATION AUDIOVISUELLE - La question des relations intégratives entre perception auditive et perception visuelle s’illustre parfaitement au travers l’effet Mc Gurk (McGurk & McDonald, 1976). Cet effet est caractérisé par la tendance des individus à percevoir la syllabe /da/ lorsqu’ils voient prononcer par l’interlocuteur la syllabe /ga/ et entendent, en même temps, le son /ba/ (voir Figure 2). Il s’agit là de la capacité d’un système sensoriel à modifier la perception issue d’un autre système. Cet effet relève donc d’une intégration multimodale qui est venue biaiser la perception de la scène, ce qui a amené des auteurs à faire l’hypothèse que certaines structures corticales ou sous-corticales sont responsables de cette intégration.
Dans leur breve revue de 2001, King et Calvert ont relevé que certains neurones du colliculus supérieur répondent mieux à une stimulation audiovisuelle qu’à des stimulations auditives ou visuelles isolées, ceci étant vrai uniquement si la source des stimulations se situe plus ou moins au même endroit de l’espace. Dans ce sens, des études électrophysiologiques ont mis en évidence des activations spécifiques dans le cortex visuel sous tendues par une intégration précoce (dès 40ms) des informations auditives (Fort, 2002 ; Giard et Perronet, 1999 ; Molholm et al., 2002 ; Teder-Sälejärvi et al, 2005 ; Molhom et al, 2004). Dans le cas de l’étude de l’intégration multimodale entre des stimuli auditifs et visuels, Teder-Sälejärvi et collaborateurs (2005) ont mis en évidence que l’intégration audiovisuelle était sensible à la contrainte spatiale en isolant des patterns d’activations cérébrales spécifiques. Pour cela, ils ont comparé deux situations : une où l’information audiovisuelle était présentée de manière simultanée à la fois au niveau spatial et temporel par rapport à une autre où l’information audiovisuelle est présentée de manière simultanée au niveau temporel mais dans des endroits de l’espace différents. De même, King (2005) a montré que l’intégration audiovisuelle dépend fortement de la synchronisation temporelle des stimulations.
La figure 3 propose donc une synthèse des données pertinentes concernant l’intégration perceptive multimodale4. Dans cet exemple, afin d’avoir une perception unifiée de deux composants multimodaux (ici, une forme géométrique et un son), il faut nécessairement que les activations consécutives associées à chacun des composants soient intégrées et, pour cela, elles doivent être présentées simultanément (spatialement et temporellement) ou très proches l’une de l’autre.
