Simulation Multimodale
En ce sens, un indicateur fort de l’aspect modal et multimodal des concepts est le Switching cost (Pecher, Zeelenberg & Barsalou, 2004; Connell & Lynott, 2009). Classiquement, Pecher et collaborateurs (2004) ont mis en évidence que, dans une tâche de vérification de propriétés (e.g. brillante) associé à un concept (e.g. une pomme), le fait de changer de modalité pour la propriété, ici visuelle, lors d’une deuxième présentation produit un coût de traitement (i.e. switching cost). Pour les auteurs, ce coût est dû à un changement de l’attention d’une modalité perceptive associéà la propriété vers une autre modalité (voir aussi Van Dantzig et al., 2008), comme si le changement de modalité se faisait sur des stimuli perceptivement présents (Spence, Nicholls & Driver, 2001). Avec le même type de procédure, Connell et Lynott (2009) ont mis en évidence un switching cost multimodal, c’est-à-dire que le fait de vérifier une propriété uniquement visuelle (par exemple une couleur) pour ensuite vérifier une propriété visuo-haptique (par exemple la propriété piquant) associée à un concept produit un coût qui refléterait non pas un changement de l’attention vers une autre modalité (Pecher, Zeelenberg & Barsalou, 2004) mais un engagement de l’attention vers une autre modalité. Pour ces auteurs, cet effet dénote le caractère multimodal de nos connaissances, et ils proposent même que nos connaissances sont, par défaut, au minimum bimodales (Lynott & Connell, 2009).
Jusqu’à présent, l’aspect multimodal des concepts était examiné dans des tâches impliquant la simulation d’une modalité sensorielle (pour une revue voir Barsalou, 2008). En revanche, si nos connaissances sont par nature multimodales (Lynott & Connell, 2009), un traitement conceptuel dans une modalité doit être systématiquement associé à la simulation d’une dimension dans une autre modalité. De plus, cette simulation doit impliquer des dimensions similaires à celles impliquées dans le traitement perceptif. Au-delà des techniques d’imagerie, comment examiner de manière systématique l’aspect sensoriel de la simulation lors d’un traitement conceptuel? Les techniques d’amorçages semblent être des procédures appropriées à l’étude de la nature sensorielle des connaissances en mémoire7 (Brunel et al. 2009a ; Griffith & Tipper, 2009 ; Pearson & Brascamp 2008).
Par exemple, la préactivation d’un mouvement par un stimulus physique vient faciliter le traitement du même mouvement congruent décrit dans une phrase. En effet, les sujets sont plus rapides à traiter auditivement une phrase précédée d’un son artificiel (bruit-blanc) induisant une sensation de déplacement congruent au déplacement décrit dans la phrase que lorsque le déplacement induit par le son est non congruent (Kaschak et al., 2006 ; voir aussi Kaschak et al., 2005). À l’inverse, la simulation d’un mouvement par une information textuelle vient faciliter le traitement perceptif de ce même mouvement (Zwaan et al., 2004). Si un traitement conceptuel dans une modalité X amène une simulation multimodale (à défaut dans X, Y), la préactivation de la modalité Y devrait venir faciliter le traitement dans la modalité X.
Dans des travaux plus récents de notre équipe, nous avons examiné cette question de la nature de nos connaissances en centrant nos expérimentations autour de la simulation d’une dimension (Brunel, Lesourd, Labeye & Versace, 2010) ou d’une propriété (Vallet, Brunel & Versace, sous presse) auditive lors d’un traitement conceptuel visuel. Afin d’attester du caractère multimodale de nos connaissances et plus particulièrement de la nature sensorielle de la simulation, nous avons conduit une expérience (Brunel et al., 2010) dont la procédure était identique à l’expérience 1 décrite dans Brunel et collaborateurs (2009), à l’exception de la phase test pour laquelle nous avions modifié la tâche des participants sur les stimuli cibles ainsi que la nature de ces stimuli (voir figure 8). En effet, les participants devaient simplement juger de la taille typique d’objets manufacturés par rapport à une référence de 50 cm. La particularité de cette expérience consistait en la manipulation, sans que les participants en soient informés, de la sonorité relative des objets cibles. Les objets pouvaient être typiquement ou non associés à l’émission d’un son lors de leur utilisation (voir Kellenbach, Brett & Patterson, 2001, pour une manipulation similaire).
Si la simulation de la dimension auditive associée à un concept est automatique (en l’absence de référence explicite à cette modalité) et implique des zones dédiées au traitement sensoriel, nous pouvions nous attendre à répliquer le même pattern de résultats que celui obtenu dans l’expérience 1 de Brunel et collaborateurs (2009a), mais avec des images d’objets comme cibles. En d’autres termes, nous nous attendions à un effet d’amorçage induit par la présentation comme amorces des formes précédemment présentées avec du son en première phase sur le traitement des stimuli cibles typiquement sonores. De plus, cet effet d’amorçage devait être modulé en fonction du SOA, c’est-à-dire perturbateur à 100 ms et facilitateur à 500 ms. La figure 9 décrit les effets que nous avons obtenus dans cette expérience, et ce pour chaque SOA (Figure 9b et 9c) en fonction des résultats de l’expérience 1 (Figure 9a) de Brunel et collaborateurs (2009a).
Le résultat princeps de cette expérience est l’obtention d’un effet d’amorçage uniquement pour les cibles typiquement sonores. Ceci atteste du fait que les concepts conservent des dimensions sensorielles issues de l’expérience perceptive. Plus largement, le traitement catégoriel dans une modalité sensorielle (visuelle) implique la simulation d’autres modalités sensorielles (ici auditive). Au vu des figures 9b & 9c, l’effet d’amorçage observé est bien modulé par le SOA, ce qui atteste de la nature sensorielle du composant réactivé par les cibles. En effet, avec un SOA inférieur à la durée de présentation du couple forme/son en première phase, l’effet d’amorçage est perturbateur, ceci étant dû à un chevauchement temporel entre les deux composants réactivés à la fois par l’amorce et la cible (Figure 9b). Inversement, avec un SOA de même durée que celle de la présentation du couple forme/son en première phase, l’effet d’amorçage est facilitateur, ceci étant dû à une préactivation du traitement de la dimension réactivée par la cible (Pecher, Zeelenberg & Barsalou, 2004 ; Kaschak et al., 2006). Il s’agit ici d’une réplication des résultats de l’expérience 1 de Brunel et collaborateurs (2009a) avec des stimuli cibles qui ne possèdent par défaut aucun lien perceptif avec les stimuli amorces. Le composant simulé au cours du jugement de taille typique des objets est donc de nature perceptif puisque qu’il amène à des résultats semblables à ceux que nous avons observés avec des stimuli auditifs perceptivement présents.
Avec cette étude, nous avons apporté un argument fort en faveur de simulations multimodales au cours du traitement conceptuel. Avec une tâche conceptuelle censée induire une simulation de la taille (voir Riou, Lesourd, Brunel & Versace, en révision ; pour des données contradictoires avec la taille, voir Vandenberghe et al., 1996), nous avons montré une activation automatique de la modalité auditive. De plus, la dimension simulée est de nature sensorielle. Nos résultats (Brunel et al., 2009a ; 2010) montrent bien l’effet d’une réactivation des zones dédiées aux traitements des informations auditives sur le traitement ultérieur (perceptif ou mnésique) d’une information impliquant les mêmes zones de traitements.