5.2.3 Εξαγωγή χαρακτηριστικών γνωρισμάτων

Σε μεγάλες συλλογές κειμένων, οι αναπαραστάσεις στο διανυσματικό χώρο είναι αραιές – περιέχουν δηλαδή πολλά μηδενικά – καταλαμβάνοντας τεράστιο αποθηκευτικό χώρο και δεσμεύοντας σημαντικά ποσοστά της επεξεργαστικής ισχύος και της μνήμης των υπολογιστικών συστημάτων που χρησιμοποιούνται.

Είναι απαραίτητη επομένως η εφαρμογή μέτρων ποιότητας για την επιλογή των αντιπροσωπευτικότερων όρων οι οποίοι περιγράφουν το κάθε κείμενο, όπως:

• TF-IDF (TermFrequency – InverseDocumentFrequency), το οποίο προκρίνει όρους που εμφανίζονται συχνά σε ένα κείμενο μίας συλλογής αλλά σπάνια στα υπόλοιπα κείμενα της συλλογής.
• IG (InformationGain), το οποίο προκρίνει όρους με το μέγιστο πληροφοριακό κέρδος ενσωμάτωσης στη διαδικασία κατηγοριοποίησης των κειμένων μίας συλλογής.
• MI (MutualInformation) και CHI (x2statistic), τα οποία προκρίνουν όρους σύμφωνα με το βαθμό ανεξαρτησίας τους από επιλεγμένες κατηγορίες κειμένων μίας συλλογής.