5.2.1 Προεπεξεργασία

Πολλές λέξεις σε ένα κείμενο δεν προσφέρουν καμία βοήθεια στην ανάλυση και το χαρακτηρισμό του. Τα άρθρα (ο, το, η), οι σύνδεσμοι (και, όμως), όπως και διάφορες λέξεις που χρησιμοποιούνται ευρύτατα, εάν συμπεριληφθούν στα γνωρίσματά του, λειτουργούν ως θόρυβος και μειώνουν σημαντικά την απόδοση των αλγορίθμων εξόρυξης γνώσης.

Για την υποστήριξη της διαδικασίας απομάκρυνσης των τετριμμένων λέξεων, συνήθως επικαλείται ένας μηχανισμός αυτόματης αναγνώρισης των συντακτικών μερών μιας πρότασης (part-of-speech tagger), όπως ο αλγόριθμος Brill, ο οποίος εφαρμόζεται διαδοχικά σε όλα τα κείμενα της συλλογής.

Η παρουσία λέξεων της ίδιας ρίζας («αγώνας», «αγωνιστικός», «αγωνίζομαι») σε διαφορετικές πτώσεις και χρόνους, εμποδίζει το σωστό υπολογισμό της ομοιότητας μεταξύ δύο κειμένων και την εκτίμηση των πιθανοτήτων εμφάνισης συγκεκριμένων λέξεων σε κείμενα.

Η εφαρμογή μηχανισμών αναγνώρισης των ριζών των λέξεων, όπως οι αλγόριθμοι Porter και Lovins, αντιστοιχεί όλες τις εμφανίσεις λέξεων της ίδιας ρίζας, ανεξαρτήτως πτώσης και χρόνου, στη ρίζα τους («αγών»). Μετά το πέρας της διαδικασίας, το σύνολο των ριζών που καταγράφονται στο κείμενο θεωρούνται υποψήφιες για επιλογή ως χαρακτηριστικά γνωρίσματα.