7.2. Listes de fréquences

Après la lemmatisation d'un texte, chaque vocable comporte une fréquence c'est-à-dire le nombre de ses occurrences. Nombre d'analyses de fréquences ne portent pas sur des textes lemmatisés. Ainsi, les listes de fréquences issues d'un corpus de français parlé d'un million de mots (Corpaix, version mai 2000) et celles extraites du CD-ROM du Monde Diplomatique (1987-1997) ²³⁴ sont comparables entre elles dans la mesure où ce sont des listes de fréquences de formes non lemmatisées. En revanche, elles ne comportent pas des populations comparables : un million de mots pour le corpus oral et 11 139 376 unités pour le corpus écrit. Nous disons unités pour souligner une différence supplémentaire, qui entrave la comparaison, issue du fait que les signes de ponctuation du texte écrit ont été comptabilisés de la même manière que les unités lexicales. De plus, la question de la norme lexicale est cruciale. On voit dans le tableau ci-dessous que la norme lexicale n’est pas la même pour le corpus IRC que pour les deux autres : c’est est considéré comme une unité lexicale dans nos corpus, alors qu’il en compte deux dans les deux autres corpus.

Plus le texte considéré est grand, plus le nombre de vocables ²³⁵ est grand. Comparer des listes de fréquences pourrait s'envisager de deux manières : ne prendre en compte que le rang des unités revient à gommer la proportion relative des unités dans le texte et travailler sur des proportions oblige à considérer l'ensemble des listes ou à n'en conserver qu'une proportion égale.

Ce qui apparaît dans les listes de fréquences, c'est que les items les plus fréquents sont des items grammaticaux ²³⁶ . L'unité 'de' est fréquente à rang égal dans les deux corpus. Mais on se heurte très vite au défaut de lemmatisation ²³⁷ . 'est' peut aussi bien représenter le point cardinal que le verbe et s'il est permis de supposer que les corpus présentent pour cette unité une égale répartition des différents lemmes attachés à 'est', rien ne permet de comparer 'que' entre les deux listes sans informations sur les fonctions qu'il prend dans les textes. Et l’observation peut se faire dans l’autre sens, puisqu’une même unité, présentant des variantes contextuelles, ou des flexions différentes, se trouve scindée en deux unités dans les listes de fréquences.

Les listes de fréquences qui ne sont pas lemmatisées ne permettent guère que l'observation d'unités qui ne seraient ni polyvalentes ni invariables. L'examen des listes ci-dessus rappelle que la situation de monovalence est rare dans les langues et qu'on ne peut la reconnaître à la limite que pour quelques unités : 9 pour les deux corpus confondus, dont 3 pour le corpus le monde diplomatique et 6 pour le corpus Corpaix.

Les listes de fréquences de formes lemmatisées sont plus rares, par le simple fait qu'elles requièrent un investissement temporel plus important. Pour le français, une des listes de fréquences les plus utilisées pour les observations de l'oral est celle de Gougenheim (1964) ²³⁸ qui porte sur des formes lemmatisées et sous-catégorisées pour la classe lexicale et a servi à l'établissement du vocabulaire du français fondamental. Il existe de nombreuses autres listes de fréquences ²³⁹ de référence, réalisées principalement sur des corpus littéraires. Si nous appliquons les mêmes critères de lemmatisation que Gougenheim (1964), nous obtenons pour nos corpus la liste de fréquences suivante.

Cette liste a été obtenue à partir de nos principes de lemmatisation en regroupant certaines unités, de sorte qu'elle soit comparable à celle que donne Gougenheim (1964).

Trente et un items sont communs aux deux listes. Il s'agit exclusivement de mots grammaticaux à l'exception des vocables être et avoir pour lesquels il n'y a pas eu de distinction entre les occurrences des auxiliaires et les occurrences des verbes pleins, conformément aux décisions prises dans le travail de Gougenheim (1964). Les unités communes sont, par ordre alphabétique, les suivantes :

à (prép), alors, avoir, bien (adv), ça, ce (pro), de, des (art indef), dire, en (prep), et, être, il(s), je, la (art), le (art), les (art), mais, me, ne, on, oui, pas (neg), pour, que (conj), qui (relatif), se, tu, un (art), une (art)., vous.

Les items présents dans notre liste et absents de la liste pour le français fondamental sont avec, bon (interj), moi, mon, non, salut, sur (prep), toi, tout le monde.Pour les unités salut et tout le monde, leur fréquence provient de la fréquence des séquences d'ouverture de nos corpus et de leur grande uniformité. Les pronoms disjoints et déterminants possessifs, appartenant à la catégorie des déictiques, ainsi que bon ne sont pas surprenants dans ce type d'usage linguistique.

L'écart entre les ordres des items communs aux deux listes est parfois important. La moitié des items ne présente pas de gros écart, c'est le cas de être, de, ce, un, une, se, pas, oui, les, le, je, et, en (prep), dire, bien. Cependant l'appréciation de l'écart entre les ordres ne va pas sans prendre en compte les courbes de fréquences. On remarque en effet qu'il survient des chutes importantes de la fréquence entre les plus hauts rangs. Dans nos corpus, les 10 unités les plus fréquentes représentent 22,18 % de l'effectif total et les 20 unités les plus fréquentes représentent près du tiers de l'effectif total soit 31,74 %. Dans le corpus du français fondamental on obtient pour les mêmes observations respectivement 25,44 % et 37,77 %.

Il convient dans ce cas de préférer la comparaison des fréquences relatives. Nous nous reportons à une technique courante en statistique lexicale et dénommée normalisation par Biber et al. (1998:263) :

"La normalisation est une façon d'ajuster les fréquences de textes de différentes longueurs de sorte qu'elles puissent être comparées de façon précise. Le nombre total de mots dans chaque texte doit être pris en considération lorsqu'on norme les fréquences. Particulièrement, la fréquence brute doit être divisée part le nombre de mots dans le texte, puis multiplié par la base choisie pour la normalisation.". ²⁴⁰

On note une fréquence relative plus importante pour les unités être, avoir, de, il, et je dans le corpus du français fondamental et une proportion plus importante pour les unités dans elle(s) ne, et pour dans notre corpus.