Intégration entre des propriétés sensorielles

Jusqu’à présent, nous avons défini la trace mnésique comme étant épisodique et multimodale. De plus, elle reflèterait un lien durable entre des dimensions issues de l’expérience perceptive et en cela, ces dimensions seraient de nature sensorielle ou motrice. Aujourd’hui, de nombreux travaux attestent du caractère multimodal de nos connaissances puisque le traitement mnésique ou perceptif implique la simulation de dimension non perceptivement présente (pour une revue voir Barsalou, 2008). Mais quel est le degré de spécificité de cette simulation ? Est-ce que l’intégration mnésique est simplement un lien entre des dimensions sensorielles et motrices, ou reflète-t-elle le maintien à long terme des propriétés multimodales spécifiques d’une trace ? En d’autres termes, est-ce que le concept chien est multimodal parce que la ou les traces correspondantes intègrent des liens fonctionnels entre les dimensions qui le constituent (e.g. forme, son) ou parce que les traces qui le définissent intègrent des propriétés spécifiques (e.g. « 4-pattes », « aboiement ») ?

Cette question peut alors s’illustrer avec l’idée de représentations locales des propriétés de chaque concept (Solomon & Barsalou, 2001). En effet, les auteurs ont montré qu’il est plus facile de vérifier des propriétés associées à un concept lorsque celles-ci partagent une même forme typique sensorielle qu’une forme différente (Solomon & Barsalou, 2001). De même, la vérification de propriétés visuelles dans une phrase facilite la reconnaissance visuelle ultérieure de ces mêmes propriétés (Pecher, Zanolie & Zeelenberg, 2007). Un traitement conceptuel semble alors ne pas simplement impliquer une simulation multidimensionnelle multimodale, mais aussi la simulation de propriétés spécifiques multimodales (simulateurs de propriétés, voir Barsalou, 2005).

C’est ce qu’a mis en évidence une autre série d’expériences réalisées dans notre équipe (Badard, 2007 ; Vallet, Brunel & Versace, sous presse) au moyen d’un paradigme d’amorçage intermodal à long terme (pour le court terme voir Vallet, Riou & Versace, soumis). La question du mécanisme sous-jacent à l’effet d’amorçage intermodal permet d’étayer aussi la question de la nature des connaissances en mémoire (amodales vs. multimodales, voir Greene, Easton & LaShell, 2001).

L’objectif de cette série d’expériences était alors de démontrer que l’effet d’amorçage intermodal est essentiellement dû au fait que nos connaissances sont multimodales, et ce parce que la trace mnésique associée à un concept résulte de l’intégration des multiples propriétés de l’expérience sensorielle liée à celui-ci. Dans une phase d’étude, les participants devaient effectuer une tâche de catégorisation (vivant vs. non-vivant) dans une modalité sensorielle donnée : soit auditive (expérience 1), soit visuelle (expérience 2). Si le traitement d’un item dans une modalité sensorielle donnée implique la réactivation mnésique (ou simulation) des autres propriétés sensorielles associées à l’item en mémoire, la présentation d’un masque sensoriel (visuel dans l’expérience 1 et auditif dans l’expérience 2) lors du traitement devrait perturber cette réactivation. C’est ce que nous avons cherché à établir en présentant en phase d’étude la moitié des items simultanément avec un masque. En phase test, les participants devaient réaliser la même tâche de catégorisation mais dans une modalité différente de celle de la phase d’étude (respectivement visuelle pour l’expérience 1 et auditive pour l’expérience 2). Afin de valider nos hypothèses, les participants étaient alors confrontés à trois types de stimuli, soient des items nouveaux (jamais présentés en phase d’étude), anciens masqués (présentés avec un masque sensoriel en phase d’étude) ou anciens (présentés en phase d’étude sans masque sensoriel). Alors que pour les items anciens nous prédisions un effet d’amorçage intermodal classique (Greene, Easton & LaShell, 2001), nous nous attendions à une perturbation de l’effet d’amorçage intermodal pour les items anciens masqués.

Figure 10 : Représentation graphique de l’effet d’amorçage en ms (différence entre les temps moyens de catégorisation pour chaque type d’items anciens par rapport aux temps moyens de catégorisation des items nouveaux) pour chaque expérience d’après Vallet et al. (sous presse) . Notes. Exp 1 (A-V) : expérience 1 où les amorces sont présentées en auditif et les cibles en visuel, Exp 2 (V-A) : expérience 2 où les amorces sont présentées en visuel et les cibles en auditif.

D’après la figure 10, les résultats obtenus dans les deux expériences étaient conformes à nos attentes. La présentation d’un masque visuel (expérience 1) ou auditif (expérience 2) en phase d’étude a empêché la simulation de la propriété responsable de l’amorçage intermodal, ce qui se traduit pas une absence d’effet d’amorçage pour les items anciens masqués (respectivement par rapport aux items anciens et nouveaux). De plus, cet effet n’est en aucun cas dû à une différence de traitement des items en phase d’étude puisque le masquage sensoriel n’a pas interféré avec la catégorisation des items lors de cette phase. En d’autres termes, la catégorisation visuelle ou auditive du concept chien comme objet vivant n’est pas perturbée par la présentation d’un masque sensoriel, en revanche cela neutralise la simulation des propriétés constitutives de ce concept puisque l’effet d’amorçage intermodal semble neutralisé pour ce concept en phase test.

Des résultats similaires ont été mis en évidence par Lehmann & Murray (2005) dans une tâche de reconnaissance visuelle en continu de type ancien/nouveau sur des images d’objets manufacturés typiquement sonores. Lors de la première présentation (réponses « nouveau »), les images pouvaient être présentées : dans leur première expérience, en audiovisuel (AV) avec un contexte sonore neutre (i .e. propriété non spécifique à l’item), ou en visuel seul (V) ; dans leur deuxième expérience, en audiovisuel avec un contexte sonore spécifique (AVc, i.e. la propriété sonore spécifique à l’item), ou en visuel seul (V). Les auteurs montrent que la probabilité de reconnaître une image lors de la deuxième présentation (réponses « ancien ») dépend des conditions de présentation de l’item. Notamment dans l’expérience 1, lorsque les items AV se retrouvent présentés sans contexte sonore (V+), les performances en reconnaissance sont alors significativement plus faibles que pour les items V représentés tels quels (V-). A l’inverse dans l’expérience 2, lorsque les items AVc se retrouvent présentés sans contexte sonore (V+c), les performances en reconnaissance sont significativement plus élevées que pour les items V représentés tels quels (V-).

Il semblerait qu’interférer avec la simulation d’une propriété auditive associée à un item altère la probabilité d’observer un effet d’amorçage intermodal pour cet item dans une tâche de catégorisation (Vallet et al., sous presse) mais aussi de le reconnaître dans la même modalité (Lehmann & Murray, 2005). En revanche, lorsque les propriétés audiovisuelles d’un item sont présentées simultanément, cela augmente la probabilité de reconnaître l’item ultérieurement dans la modalité visuelle (Lehmann & Murray, 2005). En d’autres termes, une activation perceptive du lien qui unit les propriétés est plus forte que la simulation de ce même lien par une des propriétés (ici, visuelle).