II.1.2.Représentation du temps interne au modèle

Une des difficultés pour les réseaux connexionnistes est de représenter des structures de données récursives (liste ou arbre) dont la taille est variable. Les réseaux doivent être capables de produire des représentations distribuées compactes pour des structures composées, ainsi que des mécanismes pour extraire ces structures, à partir de ces représentations compactes.

Pour ce faire, les réseaux suivants mémorisent les informations passées (c’est à dire le contexte). Les couches cachées reçoivent l’activation émise par d’autres neurones à une étape antérieure. Ainsi, le temps est figuré par ces effets, plutôt que par une métaphore spatiale. Les connexions qui permettent ces transmissions sont appelées connexions récurrentes.

Cette activation peut provenir des neurones de sortie (Jordan, 1986b ; Jordan, 1986a ; Jordan, 1990), ou à la fois des entrées courantes, et des activations précédentes du réseau (copiées dans une couche dite couche de contexte). Almeida (1987) et Pearlmutter (1988) ont développé des méthodes d’apprentissage pour les réseaux récurrents (recurrent back propagation).

De nombreux modèles ont repris ce principe ⁸ : Real Time Recurrent Learning Network (Williams et Zipser, 1989), Simple Recurrent Network (Elman, 1990), Recurrent Cascade Correlation (Fahlman, 1991), Recurrent Auto-Associative Memory (Pollack, 1989 ; 1990 ; 1994 ; Voegtlin, 2002b), Auto-Associative Recurrent Network (Maskara et Noetzel, 1992).

Un neurone peut également être influencé par deux autres neurones : l’activation de l’une des unités est modulée par une seconde unité ( Second-Order Context Memory : Rumelhart, Hinton et Williams, 1986). Afin d’apprendre un nombre plus important d’associations spatio-temporelles, d’autres techniques d’apprentissage ont été développées (Long Short-term Memory : Hochreiter et Schmidhuber, 1997 a&b), ainsi que dans le cas d’apprentissage non supervisé (Voegtlin, 2002a&b).