2.1.1.1. Visuelles

Les travaux de Kosslyn

Kosslyn (1976) a été un des premiers à s’intéresser au format des connaissances en étudiant l’imagerie visuelle : dans une expérience utilisant une tâche de vérification de propriétés, les sujets devaient déterminer si certaines propriétés étaient vraies ou fausses par rapport à des concepts. Par exemple, avec le concept « chat », les sujets devaient dire si la propriété « griffes » était vraie ou fausse. Pour savoir si les sujets utilisent des connaissances amodales ou des connaissances perceptives, Kosslyn a manipulé les instructions données aux sujets d’un même groupe. Pour le premier bloc d’essais, les sujets n’avaient aucune consigne particulière, ils devaient juste vérifier les propriétés. Dans le second bloc, il leur était donné une consigne explicite d’imagerie. Ils devaient ainsi créer une image mentale et vérifier chaque propriété en consultant leur image mentale. Kosslyn a fait varier deux autres facteurs : la taille de la propriété relative au concept et la force d’association entre le concept et la propriété. Les résultats obtenus par Kosslyn montrent que les participants sont plus rapides pour vérifier des propriétés dans la condition neutre que dans la condition d’imagerie. De plus, les temps de réponses dans la condition neutre sont corrélés à la force d’association entre le concept et la propriété, ce qui va dans le sens d’une conception amodale des représentations. Inversement, dans la condition avec consigne d’imagerie, les réponses dépendent de la taille relative des propriétés et non de la force d’association. Kosslyn en conclut qu’il existe à la fois des représentations perceptuelles et des concepts amodaux mais les représentations amodales sont plus facilement accessibles.

Dans une autre expérience, Kosslyn, Ball et Reiser (1978), ont demandé aux participants de s’imaginer sur une île et de faire des déplacements, les points de départ et d’arrivée leur étant spécifiés. Les participants devaient alors indiquer pour chaque déplacement quand ils s’imaginaient arriver à destination (cf. Figure 11 à titre d’illustration).

Figure 11 : Illustration du dessin de l’île utilisé par Kosslyn, Ball et Reiser (1978)

Les résultats ont montré que le temps mis pour simuler un déplacement sur l’île était proportionnel à la distance physique réelle. Ces premiers résultats ont été remis en question par Pylyshyn (1981) qui pense que les sujets ont interprété la tâche demandée comme simuler l’utilisation de connaissances visuo-spatiales. De la même façon, Intons-Peterson (1983) pense que les résultats ont été obtenus avec des participants qui répondent aux attentes des expérimentateurs. Pour Pylyshyn et pour d’autres, il y a une totale indépendance entre le système perceptif et le système conceptuel. Pour eux, quand l'objet est perçu, ses traits visuels sont représentés dans le système perceptuel et le système conceptuel réinterprète cette information comme une liste de traits propositionnels. Par exemple, pour percevoir une pomme, le système perceptuel la représente sous une forme visuelle et le système conceptuel réinterprète cette information dans une liste amodale de traits, avec des entrées telles que « brillante », « rouge » ou « ronde ». Cependant, Denis et Cocude (1989) ont repris l’expérience de Kosslyn, Ball et Reiser (1978) et ont montré eux aussi une corrélation positive entre la distance entre les éléments et le temps mis à scanner l’image mentalement.

Ainsi, certains chercheurs pensent que les participants utilisent des connaissances amodales pour réaliser des tâches de vérification ou de génération de propriétés (Kosslyn, 1976 ; Smith, 1978). Pour ces auteurs, quand ils produisent ou vérifient une propriété, les participants accèdent aux réseaux sémantiques pour produire la réponse demandée.

Cependant, selon Solomon (1997) et Barsalou, Solomon et Wu (1999), les connaissances sont purement perceptuelles ; ils réfutent donc les résultats obtenus par Kosslyn (1976) et répliquent cette expérience afin de montrer que les résultats obtenus sont dus à un biais dans la construction de l’expérience. En effet, pour Solomon, les liens entre les propriétés et les concepts n’étaient pas les mêmes entre les propositions vraies et les propositions fausses. Ce lien était soit un lien associatif pour les propositions vraies (les mots apparaissent souvent ensemble, par exemple : « chat-griffe »), soit il n’y avait pas de lien pour les propositions fausses (par exemple : « souris-piqure »). Ainsi, les sujets ont pu utiliser une simple stratégie d’association de mots pour répondre dans la condition neutre. Solomon a donc répliqué cette expérience de Kosslyn en remplaçant les propositions fausses. Pour la moitié des sujets, les propriétés fausses n’étaient pas associées aux concepts (comme dans l’expérience de Kosslyn), par exemple : « singe-corde ». Pour l’autre moitié des sujets au contraire, les propriétés fausses étaient associées aux concepts, par exemple : « singe-banane ». Dans la condition de propositions fausses non associées, Solomon prédisait les mêmes résultats que Kosslyn, les participants utilisant la même stratégie. En revanche, dans la condition de propositions fausses mais associées, Solomon postulait que les participants allaient utiliser leurs connaissances perceptives et simuler la présence de l’objet pour pouvoir réaliser la vérification de propriété comme dans la condition « imagerie ». A l’issue de l’expérience, Solomon a validé ces hypothèses et montré ainsi que les connaissances conceptuelles émergent des connaissances perceptives.

Aussi, les travaux de Solomon amorcent une nouvelle façon d’envisager les connaissances. En effet, selon les défenseurs des connaissances multimodales (comme Solomon), les participants activent toutes les connaissances sensorielles, motrices et émotionnelles associées à ce concept. Pour Barsalou et coll., la réponse serait issue d’une simulation des différentes situations en rapport avec les exemplaires de la catégorie concernée. Ainsi, la réponse serait guidée et émergerait de la réactivation de connaissances perceptives.