Les portails Lyon 2 :
Intranet
-
Portail Etudiant
-
www
Traitement de la Prosodie par un Réseau Récurrent Temporel
par BLANC Jean-marc
-
2005
-
Université Lumière Lyon 2
Menu
Présentation générale
Consulter le document
Versions imprimables
Contact
Table des matières
Illustrations
Tableaux
Page de titre
Remerciements
Résumé
Abstract
Introduction
I.Les mécanismes cognitifs
I.1.L’étude du cerveau
I.2.Les neurosciences
II.Le temps
II.1.L’intégration du temps au sein des structures cérébrales
II.2.Les neurosciences computationnelles
III.La parole
III.1.Sa spécificité
III.2.Son acquisition
III.3.Sa syntaxe
III.4.La prosodie : Rendez-vous du temps et de la parole
IV.Plan de thèse
Chapitre Un Le Traitement du Temps
I.Les défis posés par la dimension temporelle
I.1.Les modèles de représentation du temps
I.2.Les réseaux de neurones face au traitement du temps
II.Traitement de séquences discrètes
II.1.Modèles théoriques de traitement de séquences discrètes
II.1.1.Représentation du temps externe au modèle
II.1.2.Représentation du temps interne au modèle
II.1.3.Critique des modèles théoriques
II.2.Inspiration et contexte neurologique
II.3.Modèles biologiques de traitement de séquences discrètes
II.3.1.Le modèle de Beiser et Houk (1998)
II.3.2.Apprentissage par Différence Temporelle (TD)
II.3.3.Système Acteur-Critique
II.4.Conclusion
III.Traitement de séquences temporelles
III.1.Inspiration et contexte neurologique
III.1.1.Echelle temporelle
III.1.2.Type de codage
III.1.3.Description du système de traitement de séquences temporelles
III.1.4.Un système centralisé ou distribué ?
III.2.Modèles neuromimétiques pour le traitement des séquences temporelles
III.2.1.Connexions constantes au cours du temps
III.2.2.Synapses dynamiques
III.3.Un modèle de réseau récurrent temporel (TRN)
III.3.1.Architecture
III.3.1.1.Les intégrateurs à fuite
III.3.1.2.Encodage du contexte
III.3.2.Apprentissage à partir d’un prototype moyen
III.3.3.Différence avec les modèles récurrents « classiques »
IV.Les séquences temporelles auditives : un bref regard sur le système auditif
IV.1.L’oreille interne
IV.2.Une analyse spectrographique
IV.3.Le paradoxe résolution-intégration
IV.4.Identification de séquences sonores
V.Conclusion
Chapitre Deux La Prosodie : Structure Temporelle de la Parole
I.Première approche de la prosodie
I.1.Composantes perceptives de la prosodie
I.2.Rôles de la prosodie
I.2.1.Les attitudes et les émotions
I.2.2.Fonction syntaxique
I.2.3.L’acquisition du langage
I.2.4.Troubles de la prosodie
I.2.5.Neurologie
I.3.Enjeux de la prosodie pour l’ingénierie
I.4.Une autre description de la prosodie
II.Le rythme en tant qu’indice suprasegmental
II.1.Pour la Musique
II.1.1.Les marques du rythme
II.1.2.Le traitement du rythme
II.1.2.1.Codage hiérarchique
II.1.2.2.Un processus d’abstraction
II.2.Pour la Parole
II.2.1.Les marques du rythme
II.2.1.1.Les voyelles au cœur de la syllabe
II.2.1.2.Les accents
II.2.1.3.La durée
II.2.2.Traitement du rythme dans la parole
III.L’intonation : Une approche suprasegmentale intermédiaire
III.1.Définition
III.2.Obtention de l’intonation
III.2.1.Valeurs brutes de la Fréquence Fondamentale (F0)
III.2.2.Modèles de traitement de l’intonation
III.2.2.1.Modèles phonologiques de l’intonation
III.2.2.2.Modèles phonétiques de l’intonation
III.2.2.3.Génération de l’intonation
III.2.3.Perception de l’intonation
III.3.Traitement de la hauteur
III.3.1.Traitement de la hauteur chez les adultes
III.3.2.Aspect neurologique du traitement de la hauteur
III.3.3.Traitement de la hauteur chez les nourrissons
III.4.Le « parler bébé », langage adressé à l’enfant
IV.La prosodie locale
IV.1.Détermination des frontières
IV.1.1.Les frontières des phrases
IV.1.2.La segmentation du signal de parole en mots
IV.1.3.Prédiction automatique des frontières prosodiques
IV.2.L’acquisition de la syntaxe
IV.2.1.Les structures syntaxiques
IV.2.2.Désambiguïsation de structures syntaxiques
IV.2.3.Les catégories syntaxiques
IV.3.Données spectrales
IV.3.1.Différence de réalisations des voyelles
IV.3.2.Coarticulation
IV.4.Perception des indices locaux
V.Conclusion
Chapitre Trois Thème 1 : Identification Automatique des Langues (I.A.L.)
I.Quelques notions sur l’Identification Automatique des Langues
I.1.Définition
I.2.Les enjeux
I.3.Objectifs et plan
II.Contexte de l’IAL
II.1.Les bases techniques d’un système d’IAL
II.1.1.La jeunesse de l’IAL
II.1.2.Les architectures d’un modèle d’IAL
II.1.3.Systèmes supervisés
II.1.4.Systèmes non supervisés
II.1.5.Domaine linguistique différenciant les langues
II.2.Etudes perceptuelles
II.2.1.Parole naturelle
II.2.1.1.Adultes
II.2.1.2.Nouveau-nés et nourrissons
II.2.1.3.Primates non-humains
II.2.2.Parole modifiée
II.2.2.1.Adultes
II.2.2.2.Nouveau-nés
II.2.2.3.Primates non-humains
II.3.Etat de l’art des études de la prosodie en IAL
II.3.1.Le rythme seul
II.3.1.1.Segmentation manuelle en consonnes et voyelles
II.3.1.2.Segmentation automatique
II.3.2.La fréquence fondamentale et l’intensité
II.3.3.Intégration de la prosodie dans un système d’IAL
III.Matériel et méthodes
III.1.Corpora
III.1.1.Le corpus MULTEXT
III.1.2.Le corpus OGI-MLTS Multi Language Telephone Speech.
III.1.3.Le corpus LSCP
III.2.Représentation des données
III.2.1.Le rythme
III.2.2.Cochléogramme
III.2.3.Représentation spectrographique des basses fréquences
III.3.Méthodes de traitement
III.3.1.Méthodes statistiques
III.3.2.Méthodes connexionnistes
IV.Expérimentation
IV.1.Approche Statistique du Rythme en IAL
IV.1.1.Pourcentage d’intervalles vocaliques au cours du temps
IV.1.2.Classifieur à moyenne gaussienne
IV.1.2.1.Descriptif de la méthode employée
IV.1.2.2.Algorithme
IV.1.2.3.Résultats
IV.2.Identification des Langues par le Rythme avec le Réseau TRN
IV.2.1.Premier résultat
IV.2.2.Evolution des performances au cours du temps
IV.2.3.Accumulation des états d’activation du réseau
IV.2.4.Méthode de validation croisée
IV.3.Représentation acoustique non segmentée
IV.3.1.Cochléogramme
IV.3.2.Utilisation conjointe du réseau (TRN) et du cochléogramme
IV.4.Simulation de discrimination de langues
V.Discussion
V.1.Résumé des expérimentations d’IAL
V.1.1.Le rythme
V.1.2.Représentation spectrographique non segmentée
V.2.Comparaison des performances
V.3.Perspectives pour l’IAL et la prosodie
V.4.Simulation de la discrimination des langues en fonction des classes rythmiques
VI.Conclusion
Chapitre Quatre Thème 2 : Identification Automatique des Attitudes Prosodiques
I.Introduction
II.Contexte de l’identification des attitudes prosodiques
II.1.Reconnaissance automatique des émotions
II.2.Expérimentation chez l’être humain
II.2.1.Reconnaissance des attitudes (Aubergé et coll., 1997)
II.2.2.Dévoilement progressif (« gating ») (Aubergé et coll., 1997)
III.Matériel et méthodes
III.1.Les attitudes prosodiques
III.2.Le corpus retenu
III.3.Représentation de la Fréquence Fondamentale
IV.Expérimentation
IV.1.Identification des attitudes prosodiques (Blanc et Dominey, 2003)
IV.2.Robustesse au ralentissement
IV.3.Méthode d’accumulation
V.Discussion
Chapitre Cinq Thème 3 : Identification Automatique des Mots de Fonction et de Contenu
I.Le début de l’acquisition de la syntaxe : la catégorisation lexicale
I.1.Quatre origines possibles pour la catégorisation lexicale
I.1.1.L'information distributionnelle
I.1.2.L’amorçage sémantique
I.1.3.Les contraintes phonologiques
I.1.4.L’hypothèse d’amorçage prosodique
I.2.Définition des mots de fonction et de contenu
I.2.1.Les mots de contenu
I.2.2.Les mots de fonction
II.Le contexte de la catégorisation lexicale
II.1.Distinction phonologique et prosodique de catégories lexicales
II.1.1.Les mots de fonction et de contenu
II.1.2.Les noms et les verbes
II.2.Sensibilité aux structures prosodiques pour la catégorisation lexicale
II.2.1.Chez l’enfant
II.2.2.Chez les nouveau-nés
II.3.Etat de l’art de l’identification de catégories lexicales
II.3.1.A partir de carte auto-organisatrice (Shi et coll., 1998)
II.3.2.Apprentissage à partir d’exemple (Durieux et Gillis, 2000)
II.3.3.Réseau Récurrent Simple (SRN, Reali, Christiansen et Monaghan, 2003)
III.Matériel et méthodes
III.1.Corpora
III.1.1.LSCP
III.1.2.MULTEXT
III.2.Représentation des données
III.3.Méthodes de traitement
III.3.1.Analyse des données
III.3.2.Le réseau récurrent temporel (TRN)
IV.Expérimentation
IV.1.Détermination d’indices pour la catégorisation lexicale
IV.1.1.Indices vocaliques
IV.1.1.1.Durée
IV.1.1.2.Valeur moyenne de la fréquence fondamentale
IV.1.1.3.Combinaison de la durée et de F0
IV.1.1.4.Discussion
IV.1.2.Durée des groupes de mots
IV.1.3.Prototype de contour intonatif
IV.1.3.1.Prototype de F0 pour un groupe de mots
IV.1.3.2.Prototype de F0 pour la dernière voyelle
IV.1.3.3.Discrimination de la dernière voyelle d’un groupe de mot de contenu
IV.1.4.Pics de F0
IV.1.4.1.Développement : Divers méthodes pour F0
IV.1.4.2.Discussion
IV.1.4.3.Translation des pics de F0
IV.1.4.4.Extension à d’autres corpora et aux mots
IV.1.5.Prototypes prosodiques
IV.1.5.1.Création des prototypes prosodiques
IV.1.5.2.Identification des mots de fonction et de contenu
IV.1.5.3.Identification des noms et des verbes
IV.1.5.4.Discussion
IV.2.Le réseau TRN
IV.2.1.Catégorisation lexicale du corpus LSCP
IV.2.2.Premier test
IV.2.2.1.Amélioration des performances
IV.2.2.2.Nouvelles valeurs de la fréquence fondamentale et segmentation en mots
IV.2.2.3.Analyse du traitement effectué par le réseau
IV.2.3.Représentation spectrographique de la F0
IV.2.4.Application du TRN à d’autres langues
V.Discussion
V.1.Résoudre l’identification lexicale
V.1.1.Les indices prosodiques
Traitement de la prosodie
V.1.1.1.Prototype
V.1.1.2.Réseau récurrent temporel TRN
V.1.2.Segmentation
V.2.Extension à un nouveau corpus et une nouvelle langue
V.3.L’hypothèse d’amorçage prosodique
V.3.1.Les conséquences pour l’acquisition de la syntaxe
V.3.2.Minimalité acoustique des mots de fonction
V.4.Perspectives
VI.Conclusion
Chapitre Six Thème 4 : Simulation d’un Trouble de Traitement Temporel Auditif lors de l’Acquisition du Langage
I.Introduction
II.Troubles du langage : le cas des enfants SLI
II.1.Leurs difficultés avec le langage
II.1.1.Trouble de la parole
II.1.2.Trouble de la lecture
II.1.3.Déficit grammatical
II.1.3.1.Structure grammaticale
II.1.3.2.Catégorie fonctionnelle
II.1.3.3.Le cas des langues autres que l’anglais.
II.2.Quels sont les points critiques de la discussion ?
II.2.1.Problème d’encodage ou de traitement ?
II.2.2.Un déficit général ou spécifique du langage ?
II.3.L’origine des troubles des enfants SLI expliqué par un déficit du traitement auditif temporel
II.3.1.Quels sont les troubles observés ?
II.3.1.1.Vitesse de présentation
II.3.1.2.Traitement des phonèmes et des syllabes
II.3.1.3.Un déficit durable
II.3.2.Lien entre la grammaire et le déficit de traitement rapide
II.3.3.Les expériences pour tester l’hypothèse de déficit temporel
II.3.3.1.Tests avec du matériel non verbal
II.3.3.2.Tâche avec du matériel linguistique
II.3.4.Rééducation
II.4.Critique de la théorie de déficit du traitement rapide
II.4.1.Les enfants SLI : une condition hétérogène
II.4.2.L’hypothèse du déficit du système procédural
II.5.Conclusion
III.Etat de l’art : simulation des dysfonctionnements du langage
III.1.Modèle adulte
III.2.Modèle animal
III.3.Modèle informatique
IV.Matériel et méthode
IV.1.Corpus
IV.2.Représentation des données
IV.3.Méthodes de traitement
V.Expérimentation : Simulation d'un déficit temporel
V.1.Catégorisation lexicale perturbée
V.2.Identification de séquences constituées d’éléments de longue durée
V.3.Tâche de perception auditive rapide
V.3.1.Tâche originale
V.3.2.Simulation de la tâche
V.4.Tâche de masquage auditif
V.3.1.Tâche originale
V.3.2.À partir d’une représentation abstraite
V.3.2.1.Deux premières conditions seules
V.3.2.2.Les cinq conditions
V.3.3.À partir du cochléogramme
VI.Discussion
VI.1.Les expériences
VI.1.1.Syntaxe et traitement temporel de séquence
VI.1.2.Aspect neurophysiologique
VI.1.3.Tâche de discrimination rapide (Tallal et Piercy, 1973a)
VI.1.4.Tâche de masquage (Wright et coll., 1997)
VI.1.5.Hypothèse de déficit de traitement rapide
VI.2.Intérêt de la simulation
VI.2.1.Prouver le lien entre catégorisation lexicale et trouble de la perception
VI.2.2.Tester des hypothèses
VI.2.3.Perspectives
VI.3.Conclusion
Chapitre Sept Discussion
I.Récapitulatif des expériences
I.1.Identification Automatique des Langues
I.2.Identification des Attitudes Prosodiques
I.3.Identification des catégories lexicales : mots de Fonction et de Contenu
I.4.Simulation d’un déficit temporel
II.Attention intersectoriel et interdisciplinaire
II.1.Interaction entre les quatre thèmes d’études
II.2.Contribution des différentes disciplines
III.La prosodie : structure temporelle de la parole
III.1.Caractérisation globale du rythme pour la parole
III.2.L’intonation
III.3.Les différences prosodiques locales
III.4.Le réseau TRN et l’acquisition du langage
III.5.Le traitement automatique de la prosodie
IV.Le traitement du temps
IV.1.Le modèle TRN de réseau récurrent temporel
IV.1.1.Traitement de la structure sérielle
IV.1.2.Traitement de la structure temporelle
IV.1.3.Un système unique pour le traitement des informations continues
IV.2.Modalité auditive
V.Perspectives
V.1.La segmentation
V.2.L’audition
V.3.La musique
VI.Conclusion
Bibliographie
