1.5 Traitement Statistique du Langage Naturel

L'Analyse Sémantique Latente (LSA) et sa branche probabiliste (PLSA) sont des méthodes de traitement statistique du langage naturel, dans le cadre de la sémantique vectorielle, qui permettent d'établir des relations entre un ensemble de textes et les termes qu'ils contiennent, en construisant des concepts liés aux textes et aux termes.

La LSA utilise une matrice des occurrences de termes dans les textes. Il s'agit d'une matrice creuse dont les lignes correspondent aux termes et les colonnes correspondent aux textes. Les termes choisis sont généralement des mots tronqués ou ramenés à leur radical, issus de l'ensemble du corpus de textes. Le nombre d'apparitions d'un mot dans chaque texte est normalisé en utilisant la pondération TF-IDF, pour arriver à un coefficient qui met en avant les mots qui apparaissent souvent dans un texte en particulier, mais rarement entre différents textes. Les termes choisis caractérisent donc les textes auxquels ils appartiennent.

La matrice des occurrences est ensuite décomposée en valeurs singulières (SVD), produisant un «espace sémantique» de 100 à 150 dimensions, où les termes d'origine et les textes sont représentés comme des vecteurs et le «sens» d'un texte est représenté par la moyenne des vecteurs des termes apparaissant dans le texte en question. Une comparaison statistique et une classification des textes est alors possible dans cet «espace sémantique», par le calcul d'une mesure de similarité entre vecteurs de «sens» (généralement le cosinus).

La PLSA améliore la méthode LSA en introduisant une approche probabiliste pour la réduction de la matrice des occurrences, suivant le principe de vraisemblance. Ce «modèle d'aspect» effectue un mélange de décompositions issues de l'analyse des classes latentes, en associant une variable de classe inobservée à chaque observation. La méthode utilise un algorithme EM tempéré pour l'estimation du maximum de vraisemblance de chaque variable latente, afin d'éviter le surapprentissage.

Malgré le fait que les méthodes LSA et PLSA ignorent l'ordre des mots et la syntaxe des textes et ne formulent en aucun cas un procédé complet de traitement du discours, elles appartiennent néanmoins à une classe générale de modèles d'apprentissage associatif et de décomposition spectrale qui possèdent des propriétés de modélisation formelle de phénomènes existants. Cela pourrait expliquer un important constat de cette thèse: ces méthodes obtiennent des résultats encourageants avec si peu!

Cependant, en tenant compte du fait que toute classification de point de vue idéologique reste fondamentalement subjective et les résultats d'un système informatique peuvent être sujets à controverse, nous avons choisi l'option de combiner les méthodes quantitatives LSA et PLSA avec la méthode qualitative d'analyse critique du discours (CDA), discutée en détail dans le texte intégral grec. L'objectif ultime consistant à tester le système complet sur une collection de textes à classer par méthode mixte, afin de déterminer la mesure d'accord entre classification quantitative et qualitative, ainsi que la mesure d'accord entre utilisateurs concurrents.