II.1.1.Représentation du temps externe au modèle

Le temps est représenté par une métaphore spatiale. Les entrées du réseau sont mémorisées dans un registre particulier (Window In Time Memory ⁵ ). Le premier événement temporel correspond à la première coordonnée du vecteur, et ainsi de suite. Ainsi si le symbole d’entrée à un instant t est X(t), alors la fenêtre correspondant à 5 pas sera constituée des 5 symboles séquentiels :(X(t), X(t-1), X(t-2), X(t-3), X(t-4)). La dimension du vecteur des données d'entrées est donc fonction de l’ordre sériel des données à analyser.

La réussite de ce réseau dépend de l’encodage symbolique retenue pour figurer le temps. NETtalk (Sejnowski et Rosenberg, 1986) constitue la première application d’un réseau dynamique, qui apprend à “prononcer” l’anglais.

Cette approche a également été testée avec deux fenêtres temporelles (une pour les entrées et une pour les sorties : Nonlinear AutoRegressive with eXogenous inputs ⁶  : Lin, Horne, Tiño et Giles, 1996). Après avoir retenu l’information des couches d’entrées et de sortie, un troisième type de réseau mémorise les activations des couches cachées. Un réseau de deux couches a été implémenté pour la reconnaissance de phonèmes (Time-Delay Neural Network memories : Waibel, 1988 ; Waibel, Hanazawa, Hinton, Shikano et Lang, 1989). Cette approche donne de très bons résultats, supérieurs à ceux obtenus avec des Modèles de Markov Cachés (Hérault et Jutten, 1994).

Afin de pouvoir palier au nombre fini d’activations enregistrables, l’historique est codé de manière incrémentale en suivant une décroissance soit exponentielle ⁷ (Feedforward Exponential Decay Memories) soit calquée sur une fonction Gamma (Gamma Memories).