1.3.3.2. Le modèle PDP (McClelland & Rumelhart, 1986)

Le modèle PDP (Parallel Distributed Processing) est un modèle connexionniste. Comme précédemment, il s’agit d’un modèle de mémoire distribuée mais qui cherchent à se rapprocher des structures neuronales réelles. Les modèles de mémoire distribuée offrent en effet une description de la mémoire neurologiquement plausible (Squire, 1987) : la mémoire est constituée de noeuds (vides de sens) connectés par des liens pondérés et les items sont des patrons ou ensembles d’activation de noeuds.

Les travaux de McClelland et Rumelhart (1986) sont les travaux fondateurs dans ce domaine. Le point de départ des auteurs consiste à considérer que le support matériel de la mémoire est constitué d’une série de modules, construits sur un même modèle, formant un vaste réseau. Il faut imaginer un système constitué de centaines, voire de milliers de modules en interaction : chaque module reçoit en entrée l’information d’un certain nombre d’entre eux, et envoie en sortie l’information traitée à d’autres, les boucles n’étant pas exclues. Quelques uns de ces modules peuvent être directement reliés au monde extérieur, soit par leurs entrées (modules “perceptifs”), soit par leurs sorties (modules “moteurs”). Un module est donc conçu comme une unité de traitement de l’information, capable de combiner des informations en provenance de plusieurs sources, et servant à son tour de source pour des traitements ultérieurs (Figure 9, partie gauche).

Chaque module doit pouvoir comporter lui-même plusieurs millions d’unités, ou neurones formels (Figure 9, partie droite), entièrement interconnectées. Chaque unité est reliée à toutes les autres (sauf elle-même) et reçoit une influence externe qui correspond à une somme des entrées provenant des autres modules du système et éventuellement du monde extérieur. Ainsi, les unités sont caractérisées chacune par une variable comprise entre -1 et +1, appelée état d’activité de l’unité. Les connexions entre unités d’un même module sont caractérisées chacune par un nombre réel (compris entre -∞et +∞) que l’on appelle le poids de la connexion.

McClelland et Rumelhart (1986) se limitent à l’étude d’un seul module et pour leurs simulations informatiques, ce module est réduit à quelques dizaines d’unités. La modélisation repose sur plusieurs principes de base. Premièrement, un état “mental” est représenté dans le modèle par un pattern d’activité de toutes les unités des différents modules du système. Deuxièmement, la mémorisation d’un état mental correspond à des modifications des valeurs des poids des connexions entre unités. Les modifications de poids correspondent donc à une trace mnésique de la situation. Troisièmement, le rappel d’un état mémorisé correspond au rétablissement d’un pattern d’activité antérieur.

A chaque instant, l’état d’activité d’une unité est modifié en fonction de la valeur de ces influences internes et externes (i.e., sous l’influence de l’état des autres unités et des entrées du module). L’activité ai de la i-ème unité augmente et se rapproche de +1 si l’entrée totale est suffisamment positive (excitation), se rapproche de 0 si l’entrée totale est nulle ou très faible, et elle baisse et se rapproche de -1 si l’entrée totale est suffisamment négative (inhibition). La valeur de l’entrée totale, notée Ai, est :

Ai = ii + ei

ii l’influence interne que reçoit l’unité i : ii = Σ wij aj

avec wij le poids de la liaison entre les unités i et j et aj, l’activité de la j-ème unité

ei la somme des entrées externes

Les unités sont supposées être plus ou moins excitables et l’activité de chaque unité est supposée décliner plus ou moins rapidement vers la valeur de repos 0. Ces paramètres (excitabilité et déclin de l’activité) sont pris en compte dans le modèle au niveau du calcul de la modification de l’activité d’une unité et sont matérialisés par des constantes choisies une fois pour toutes et identiques pour toutes les unités. Supposons alors que les entrées externes restent constantes pendant un temps suffisamment long. Les activités des unités vont évoluer selon la loi précédente et vont finir par se stabiliser dans un état d’équilibre, appelé “attracteur” : à chaque pattern d’entrée {ei} correspond un pattern stable d’activité {ai}, qui représente la réponse du module à ce pattern d’entrée. Le processus de mémorisation consiste alors à modifier les poids internes du réseau de façon à renforcer la probabilité d’apparition de cette réponse. Mathématiquement parlant, le pattern {ai} sera mémorisé quand le bassin d’attracteur associé à {ai} sera suffisamment large pour “attirer” tous les patterns d’entrées proches de {ei}.

McClelland et Rumelhart (1986) font l’hypothèse d’une mémoire distribuée. Une unité donnée n’est pas simplement destinée à représenter un seul des items présentés au système ; au contraire, chaque unité est utilisée dans le codage de chaque item : ce n’est qu’en comparant les patrons globaux d’activité que l’on peut distinguer les différents items appris. Les unités ne sont pas l’équivalent des symboles par lesquels on représente en intelligence artificielle classique les objets du monde ou les concepts, elles sont de niveau inférieur à ce niveau des symboles, dont l’équivalent est ici constitué par des combinaisons des valeurs des unités. Seule la configuration globale des poids est caractéristique de l’ensemble des informations stockées. Un tel système est capable de stocker simultanément, dans un même ensemble de valeur de poids, des informations différentes.

Le modèle de McClelland et Rumelhart est capable de mémoriser et d’extraire des formes prototypiques (plutôt que chaque exemplaire individuel). Mais il peut également retenir des exemples spécifiques, ce qui signifie que la dynamique du système peut contenir plusieurs attracteurs très proches les uns des autres. Ce modèle est aussi utilisé pour expliquer les comportements observables dans certains types d’amnésie.

Conclusion

Les deux modèles présentés ci-dessus utilisent des formalismes très distincts mais décrivent leur conception de l’unité mnésique de façon assez similaire. Ils proposent un système de mémoire distribuée dans laquelle ce qui est stocké n’est pas du tout l’item ou événement présenté tel quel, et ce qui est récupéré n’est pas non plus la cible elle-même : tout est stocké dans une trace mnésique composite, ce qui fait que l’identité individuelle d’une trace particulière est “perdue”. Ce qui permet de récupérer une cible donnée, c’est que l’on accède à une quantité suffisante d’informations stockées dans la trace à propos de la cible en question. En fait, il n’est pas nécessaire de supposer l’existence d’une réplique exacte, parfaite en mémoire pour être capable de rappeler ou de reconnaître. La mémoire est reconstructive (ré-intégrative artlett, 1932-). De ce fait, l’information peut également être retrouvée en mémoire même lorsque l’input est bruité ou incomplet.