Catégorie multimodale: Effets de généralisation et de discrimination.
Dans nos travaux (Brunel et al, 2009a ; 2010, voir chapitre 1), nous avons montré que la répétition d’une association systématique entre une propriété visuelle (i.e. une forme) et une propriété sonore (i.e. un bruit blanc) aboutit à la création d’une trace épisodique et multimodale. Nous avons démontré ce phénomène dans un paradigme d’amorçage, dans lequel la présentation en amorce des formes géométriques précédemment associées à du son influençait la discrimination auditive de stimuli cibles, et ce comparativement aux formes géométriques présentées préalablement sans son. Cet effet d’amorçage provenait de la réactivation de la propriété sonore lors de la présentation de chacune des formes géométriques précédemment associées à du son. Cependant, étant donnée la nature de la tâche catégorielle lors de l’apprentissage, nous ne pouvions exclure que les effets observés ne soient pas engendrés par la création de deux catégories associées à des prototypes pour chacune des formes ou par la création d’une frontière décisionnelle (respectivement forme/sonore et forme/non sonore) lors de l’apprentissage perceptif (pour une revue sur l’apprentissage perceptif voir le numéro spécial de la revue TOPICS, 2010). Tous les modèles que nous avons précédemment décrits peuvent donc rendre compte de ces premiers résultats en incluant un certain nombre de modifications (voir figure 12).
Une évolution significative pour chacun des modèles que nous avons précédemment décrits consiste à entrevoir la possibilité que la catégorie puisse être multimodale. En ce sens, l’association systématique (i.e. redondance) entre une propriété visuelle et une propriété auditive peut aboutir à la création d’un prototype multimodal (modèle prototypique, figure 12b1) ou d’une frontière décisionnelle multimodale (modèle frontière décisionnelle, figure 12b2). Au niveau des modèles d’exemplaires, le calcul de similarité ne peut s’effectuer que sur un nombre limité de dimensions (pondération de l’attention) et sur des dimensions perçues. Or, étant donné que nos connaissances sont multimodales d’une part, et que le traitement d’une propriété dans une modalité est souvent associé à la simulation d’autres propriétés d’autre part, on peut donc proposer que le calcul de similarité doit pouvoir également intervenir sur une dimension simulée et par conséquent non perceptivement présente (espace multidimensionnel multimodal, figure 12b3). Ici, la difficulté à départager les modèles vient du caractère systématique de l’association d’une forme avec un son (i.e. tous les carrés ou tous les cercles sont associés à un son lors de l’apprentissage). Pour départager expérimentalement ces modèles, nous avons donc par la suite modifié la règle de cooccurrence entre les propriétés, tout en conservant la même tâche de catégorisation de forme. Nous avons pour cela utilisé un dispositif expérimental relativement simple adapté de nos précédents travaux (Brunel et al., 2009a, expérience 1 SOA 500 ms ; 2010).
Dans une première phase (voir figure 13), les participants étaient confrontés à la même règle de catégorisation simple basée sur des formes géométriques (carré ou cercle). Toutefois, cette fois-ci nous avons manipulé et donc différencié la fréquence d’association des exemplaires des deux catégories avec le son (Brunel, Vallet, Riou & Versace, 2009b, en révision a). Dans les trois expériences, les ¾ des carrés (ou des cercles, i.e. exemplaires non-isolés) étaient associés à un son (i.e. haute fréquence d’association) ou, au contraire, seulement ¼ des cercles (ou des carrés, i.e. exemplaires isolés) était associé à un son (basse fréquence d’association). En plus de la manipulation de la fréquence d’association, nous avons introduit entre les expériences une manipulation d’une dimension visuelle non pertinente (i.e. non prédictive dans la tâche de catégorisation) entre les exemplaires de chaque catégorie de forme. Dans la première expérience, les exemplaires de chaque catégorie étaient déclinés sur une dimension visuelle physique : la luminance (voir figure 13a). Dans la deuxième expérience, les exemplaires de chaque catégorie étaient déclinés sur une dimension visuelle psychologique : la couleur (voir figure 13b). Dans la troisième expérience, les exemplaires non-isolés et isolés entre chaque fréquence d’association étaient appariés sur une dimension visuelle psychologique : la couleur (voir figure 13c).
En résumé, quelle que soit l’expérience, la propriété visuelle associée aux formes isolées était différente au sein de chaque fréquence d’association et entre les fréquences d’association. Les hypothèses et prédictions portaient alors sur les effets qu’auraient les formes isolées de chacune des conditions de fréquence d’association en fonction des expériences.
Ensuite, les participants étaient testés dans : 1) une phase d’amorçage à court terme, où les participants devaient simplement discriminer la fréquence (i.e. lahauteur) de sons purs précédés par une amorce (figures géométriques vues lors de la phase précédente, voir la figure 5 du chapitre 1) présentée avec un SOA de 500ms (voir Brunel et al., 2009a expérience 1 ; 2010) ; 2) une tâche de reconnaissance sur les figures géométriques isolées parmi les figures géométriques non-isolées au sein de chaque condition d’association (voir figure 14).
En ce qui concerne l’expérience 1, les prédictions faîtes au niveau de chacun des modèles pour les formes isolées vues dans chacune des conditions d’apprentissage (Haute Fréquence – HF - ou Basse Fréquence – BF - ) nous permettent de départager ces approches :
MODELES PROTOTYPIQUES - Si les individus forment des prototypes à l’issue d’une activité catégorielle, et notamment si ce prototype est multimodal, nous pourrions prédire que la figure isolée vue en HF amène des performances identique lors de la phase d’amorçage que les autres figures de la catégorie et ne soit pas reconnue comme ayant été présentée sans la propriété sonore (i.e. uneffet de généralisation). Les prédictions devraient être les mêmes pour la figure isolée vue en BF, c’est-à-dire un effet de généralisation.
MODELES FRONTIERES DECISIONELLES - En cas de conflit entre deux règles de catégorisation (dans notre expérience, une règle explicite basée sur la forme et une règle implicite d’association non systématique), ce type de modèle prédit que c’est toujours la règle explicitement formulée et verbalisable qui correspond à la frontière. Si les individus forment une frontière catégorielle qui peut être multimodale (i.e. intégrer deux propriétés multimodales) à l’issue d’une activité catégorielle (ici la règle basée sur la propriété forme), dans ce cas, dans chaque phase test, les prédictions pour les figures géométriques isolées seront sensiblement les mêmes que pour les modèles prototypiques, c’est-à-dire un effet de généralisation quelle que soit la condition d’apprentissage (HF ou BF).
MODELES D’EXEMPLAIRES - En revanche si les individus basent leur activité catégorielle sur des exemplaires en mémoire (GCM, Nosofsky, 1986) et qu’ils sont capables d’encoder des exceptions (RULEX, Nosofsky, Palmeri & Kinley, 1994), on peut prédire que :
a) les figures isolées vues en HF traduisent un effet de généralisation en phase d’amorçage et de reconnaissance, donc que les figures isolées amorcent le son cible comme les autres figures de leur catégorie et qu’elles soient très difficilement reconnues.
b) que les figures isolées vue en BF amènent un effet de discrimination sur la base de leur propriété spécifique sonore, et donc qu’elles se différencient des autres formes de leur catégorie en amorçage et qu’elles soient donc bien reconnues.
GENERALISATION & DISCRIMINATION - Les expériences 2 & 3 ont servi à vérifier les assertions concernant les effets de généralisation et de discrimination mais d’un point de vue multimodal. Dans l’expérience 2, nous voulions montrer que l’effet de discriminabilité demande non seulement une différenciation entre un stimulus et les autres stimuli de la catégorie, mais aussi une certaine homogénéité des autres stimuli. Si l’hétérogénéité intra-catégorie augmente, alors il sera plus difficile d’obtenir une différenciation d’un des stimuli vis-à-vis des autres, car la distance relative entre les figures géométriques isolées et non-isolées sera moins importante. Ainsi, dans l’expérience 2, en faisant varier les exemplaires sur une dimension psychologique (i.e. la couleur) au lieu d'une dimension physique (i.e. la luminance), nous nous attendions à augmenter l’effet de généralisation. En d’autres termes, nous prédisions un effet de généralisation quelle que soit la condition d’apprentissage (Goldstone, Lippa & Shiffrin, 2001). A l’inverse, dans l’expérience 3, nous avons essayé d’augmenter l’homogénéité des formes non-isolées (i.e. toutes de la même couleur en intra-catégorie) et d’augmenter la distance relative entre les figures géométriques isolées et non-isolées (i.e. utilisation d’une couleur différente). Nous nous attendions donc à ce que l’effet de discrimination soit observé quelle que soit la condition d’apprentissage.
Les principaux résultats obtenus dans la phase d’amorçage et dans la phase de reconnaissance pour chacune des expériences sont respectivement décrits dans les figures 15 et 16.
Les résultats de l’expérience 1 sont clairement en faveur d’une approche de la mémoire basée sur des exemplaires. En effet, d’une part la figure isolée vue en HF (i.e. non associée à un son lors de l’apprentissage) entraîne des performances qui ne diffèrent pas des figures non-isolées (i.e. associées à un son lors de l’apprentissage) en phase d’amorçage. D’autre part, elle n’est pas non plus reconnue ultérieurement. Par contre la figure isolée vue en LF (i.e. présentée avec du son lors de l’apprentissage) entraîne des performances qui diffèrent des figures non-isolées (i.e. présentées sans son lors de l’apprentissage) en phase d’amorçage et est reconnue sur la base de sa propriété sonore. Cela confirme l’idée que nous avancions que le calcul de similarité peut intervenir sur une dimension non perceptivement présente (i.e. une dimension simulée) et par là même supporter des effets de généralisation (voir GCM, Nososfky, 1986) et de discrimination (voir RULEX, Nosofsky, Palmeri & Kinley, 1994). Il semblerait que la catégorie soit une entité qui émerge lors de l’activité.
Les résultats de l’expérience 1 sont aussi clairement en faveur de l’existence d’un espace psychologique multidimensionnel multimodal puisque les effets de généralisation et de discrimination peuvent être observés d’un point de vue multimodal. De plus, les résultats de l’expérience 2 et 3 nous ont permis d’explorer la question de la distance relative entre les exemplaires au sein de cet espace.
Dans l’expérience 2, du fait de la diminution de la distance relative entre les exemplaires isolés et non isolés, des effets de généralisation sont observés quelle que soit la condition d’apprentissage.
A l’inverse, dans l’expérience 3, du fait de l’augmentation de la distance relative entre exemplaires isolés et non isolés, des effets de discrimination sont observés quelle que soit la condition d’apprentissage. De plus, dans cette expérience, nous avons pu mettre en évidence que la probabilité de discriminer un exemplaire intra-catégorie est bien tributaire du nombre de propriétés qui diffèrent entre un exemplaire donné et l’ensemble des exemplaires de la catégorie (voir, RULEX, Nososfky, Palmery & Kinley, 1994). En effet, l’exemplaire qui diffère selon deux propriétés (i.e. couleur et son) a une probabilité plus importante d’être reconnu que l’exemplaire qui diffère selon une propriété (i.e. la couleur). Nous rediscuterons de cet effet particulier dans les chapitres suivants.