3.2. Rôle des interactions entre modalités visuelles et sonores dans la perception de l’environnement

L’approche fonctionnelle et situationnelle de la mémoire évoquée dans les chapitres précédents attribue un rôle prépondérant à l’intégration des informations multimodales provenant de l’environnement ou réactivées en mémoire. Dans le domaine des neurosciences, de plus en plus de recherches montrent effectivement que de multiples zones du cerveau sont impliquées quasi systématiquement lors du fonctionnement cognitif, que ce soit lors d’activités perceptives ou mnésiques. Ainsi une intégration et/ou synchronisation de l’activité de ces zones est nécessaire à un moment donné pour permettre l’émergence de connaissances cohérentes et de comportements adaptés, mais aussi au niveau de la conservation à long terme des traces mnésiques (pour une revue, voir par exemple Badard, 2007 ; Versace, Badard, Labeye, et Rose, 2007 ; Versace et al ; 2002). Nous avons vu aussi que le mécanisme de simulation de Barsalou implique également des symboles perceptifs multimodaux.

Dans le domaine plus spécifique de la perception de l’environnement, l’étude des interactions entre modalités peut se réaliser à travers la comparaison des phénomènes intramodaux (concernant une seule modalité) et des phénomènes intermodaux (faisant interagir plusieurs modalités). Les interactions intermodales supposent la mise en œuvre de plusieurs processus, dont le transfert intermodal et l’intégration intermodale.

Le transfert intermodal se définit par le fait qu’une information perçue à travers une modalité, est utilisée correctement, ou au contraire incorrectement, par une autre modalité. Un exemple courant en psychologie cognitive est le transfert intermodal impliqué dans la lecture, par l’application des correspondances grapho-phonémiques (Gombert) : les formes visuelles, ou graphèmes, sont associées et retranscrites en leur équivalent phonologique.

L’intégration intermodale, elle, peut se manifester de deux façons. Tout d’abord dans le cas où les modalités fonctionnent de manière complémentaire, et permettent l’accession à des propriétés distinctes des objets. L’intégration consiste alors à créer une représentation de l’objet unique, mais multimodale. D’un autre côté, les modalités peuvent renseigner sur une même caractéristique de l’objet, et doivent alors référer à la même valeur de la propriété perçue. C’est à cette condition que la représentation activée de l’objet est cohérente. Dans le cas contraire, le sujet se trouve en situation de conflit perceptif.

Un des exemples les plus connus d’intégration multimodale en Psychologie Cognitive est l’effet McGurk (McGurk et McDonald, 1976). Cet effet est dû à l’influence de la perception visuelle du mouvement articulatoire des lèvres sur la perception auditive de la parole. Dans leur expérience, les auteurs montrent que la perception auditive de la syllabe /ba/ est modifiée par la perception simultanée du mouvement des lèvres articulant la syllabe /ga/, la syllabe finalement perçue étant la fusion des syllabes /ba/ et /ga/ en l’occurrence /da/.

Une autre illusion dans laquelle la vision altère l’audition est le phénomène de ventriloquie. Il apparaît à travers ce phénomène que la perception d’un mouvement articulatoire peut influencer le jugement de la localisation d’une source sonore. En effet, lorsqu’un ventriloque parle en évitant de bouger les lèvres et en animant la bouche d’une marionnette, la parole est alors attribuée à cette dernière.

Les interactions entre les modalités visuelle et sonore ont été mise en évidence dans de nombreuses recherches portant sur la perception de l’environnement (Aylor & Marks, 1976, Kragh, 1981, Viollon & Lavandier, 1997, Tamura, 1997, Suzuki, Abe, Suzuki & Sone, 2000, Nathanail & Guyot, 2001, Volz, 2002). De même, le phénomène de conflit perceptif est illustré par la notion d’incongruence entre les deux modalités. En 1999, Abe, Ozawa, Suzuki et Sone observent qu’au cours d’une tâche d’évaluation esthétique et d’estimation du volume de différentes séquences sonores, les résultats diffèrent en fonction des scènes visuelles complexes associées. Les indices visuels permettent une reconnaissance plus rapide des sons, ainsi qu’une caractérisation plus facile de leur qualité esthétique et de leur volume, et ceci dans le cas où ils apportent des informations complémentaires. Cependant, ils peuvent aussi entraîner une baisse des scores attribués aux stimuli sonores, ou retarder les réponses, lorsque les informations supplémentaires induisent en erreur, c'est-à-dire lorsque l’image présentée est ambiguë par rapport au son à analyser. Carles, Lopez-Barrio et De Lucio (1999), ont montré que les préférences paysagères sont largement influencées par la cohérence, entre les informations sonores et visuelles fournies par l’environnement. Tandis que Volz (2002) met en évidence un sentiment de surréalisme induit, lorsque des séquences sonores sont associées à des scènes visuelles trop incompatibles. Parallèlement, les résultats obtenus par Kitagawa et Ichihara (2002), permettent de conclure à l’existence d’interactions entre les modalités visuelle et sonore, mais uniquement en cas de congruence. En condition d’incongruence, les auteurs concluent à un effet nul de l’interaction, et à une dominance de la modalité visuelle, qui serait alors la seule traitée.

De la littérature dans ce domaine de recherche il est important de retenir que les conditions de congruence entre les deux modalités permettent un renforcement de la réponse donnée. Il paraît moins aisé de conclure aux effets des conditions d’incongruence, ou encore à la dominance d’une des deux modalités sur l’autre. Selon les textes, on trouve une dominance de la perception visuelle sur la perception sonore (Gifford & Fanng, 1982, Warren & McCarthy, 1983, Hayashi, Tamura, Toyama, Suzuki & Kashima, 1994, Jullien & Warusfel, 1994) ou inversement une dominance de l’audition sur la vision (Anderson, Mulligan, Goddman & Regen, 1983, Volz, 2002). Cependant, l’existence d’interactions entre les deux modalités est établie par la plus grande majorité des études dans le domaine de l’environnement (Champelovier, Guérin, 2002). Ce sont de plus, en psychologie, les modalités les plus souvent étudiées, spécifiquement dans la recherche sur la perception de l’environnement. En effet, ce sont les deux modalités perceptives les plus concernées par les impacts environnementaux des transports. De plus, il existe bien davantage d’études sur le bruit dû aux transports que sur la perception visuelle et les paysages modifiés par la présence ou l’implantation d’une infrastructure, et encore moins de travaux sur les interactions entre ces deux aspects dans la perception de l’environnement par les personnes vivant aux alentours des infrastructures de transport.