5.2 Το σκάμμα των λέξεων

Ενώ λοιπόν η γενική στατιστική χρησιμοποιείται στην ανακάλυψη προτύπων κοινωνικών μεταβολών και την αναπαράσταση των μετρήσιμων μεγεθών τους με έναν κατανοητό και αξιοποιήσιμο τρόπο, η πιο εξειδικευμένη εργαλειοθήκη της εξόρυξης γνώσης από κείμενα (text mining) στοχεύει στην ανάλυση με απώτερο σκοπό την πρόβλεψη, στρέφοντας το βλέμμα του μελετητή από το παρελθόν, στο παρόν και το μέλλον.

Η κατηγοριοποίηση (classification) αποτελεί μία από τις βασικές εργασίες εξόρυξης γνώσης, κατά την οποία εξετάζονται τα χαρακτηριστικά ενός κειμένου προκειμένου να αντιστοιχιστεί σε ένα προκαθορισμένο σύνολο ταξινομικών κλάσεων. Σκοπός της εργασίας είναι η συγκρότηση μοντέλων αυτόματης κατηγοριοποίησης αγνώστων κειμένων στη βάση προκατηγοριοποιημένων παραδειγμάτων. Για τη διαδικασία αυτή χρησιμοποιούνται στατιστικές τεχνικές βασισμένες είτε σε δέντρα αποφάσεων (decision trees), είτε σε νευρωνικά δίκτυα (neural networks). Και οι δύο τεχνικές συγκροτούν μοντέλα αυτόματης κατηγοριοποίησης μέσω της εποπτευόμενης μάθησης (supervisedlearning) με τη βοήθεια ενός αντιπροσωπευτικού δείγματος κειμένων (training set). Η αναγνώριση προτύπων (pattern recognition) αποτελεί ένα είδος κατηγοριοποίησης.

Η συσταδοποίηση (clustering) είναι η εργασία καταμερισμού ενός ετερογενούς συνόλου κειμένων σε ομοιογενείς συστάδες (clusters). Αναφέρεται εναλλακτικά και ως μη εποπτευόμενη μάθηση (unsupervised learning) ή τμηματοποίηση. Η συσταδοποίηση διαφοροποιείται της κατηγοριοποίησης ως προς την απουσία προκαθορισμένων ταξινομικών κλάσεων. Τα κείμενα ομαδοποιούνται adhoc, ανάλογα με τις ομοιότητες που παρουσιάζουν μεταξύ τους. Επαφίεται στο μελετητή να καθορίσει τη σημασία καθεμίας από τις ομάδες που προκύπτουν.

Η εξαγωγή κανόνων συσχέτισης (association rules) θεωρείται μία από τις σημαντικότερες εργασίες εξόρυξης γνώσης, καθώς παρέχει ένα συνοπτικό τρόπο έκφρασης των συγγενειών (affinities) μεταξύ κειμένων. Οι συγγένειες παρουσιάζονται στη μορφή A → B όπου το A και το B αναφέρονται σε σύνολα χαρακτηριστικών γνωρισμάτων που συναντώνται στα υπό ανάλυση κείμενα. Η ακολουθιακή ανάλυση (sequential analysis) βασίζεται στις ίδιες αρχές, με τη διαφορά ότι καθορίζει σειριακά πρότυπα τα οποία αναπαριστούν τις χρονικές συγγένειες μεταξύ κειμένων.

Με την παρουσίαση συνόψεων (summarisation) εξάγονται ή παράγονται υποσύνολα κειμένων σύμφωνα με αντιπροσωπευτικά χαρακτηριστικά τους. Η εργασία της παλινδρόμησης (regression) χρησιμοποιείται για την πρόβλεψη των αντιπροσωπευτικών χαρακτηριστικών των κειμένων βάσει της σύνδεσής τους με ορισμένη συνάρτηση (γραμμική, λογαριθμική) με άλλα γνωρίσματα ή προηγούμενη εμφάνιση των ίδιων γνωρισμάτων.

Με την ανάλυση χρονολογικών σειρών (time series analysis) μπορεί να μελετηθεί η μεταβολή αυτών των γνωρισμάτων στο χρόνο.

Για την εφαρμογή των παραπάνω εργασιών εξόρυξης γνώσης, είναι απαραίτητο να ακολουθηθούν τρία διαδοχικά στάδια προετοιμασίας των κειμένων, προκειμένου να αποκτήσουν έναν επεξεργάσιμο μορφότυπο:

1. Προεπεξεργασία
2. Αναπαράσταση
3. Εξαγωγή χαρακτηριστικών γνωρισμάτων

Το στάδιο της προεπεξεργασίας κειμένων αφορά στον καθαρισμό τους από τετριμμένες λέξεις (stop-words), όπως είναι τα άρθρα, οι σύνδεσμοι, οι αντωνυμίες, καθώς και συχνά χρησιμοποιούμενες λέξεις που δεν ανήκουν στις ανωτέρω κατηγορίες, αλλά δεν φέρουν ιδιαίτερη σημασιολογική πληροφορία, όπως είναι ορισμένα επιρρήματα. Το στάδιο αυτό αφορά επίσης στην αναγνώριση των ριζών των λέξεων (stemming), ώστε να μην επηρεάζεται η εξαγωγή των χαρακτηριστικών γνωρισμάτων των κειμένων από την πτώση ή το χρόνο που κλίνονται οι λέξεις.

Το στάδιο της αναπαράστασης κειμένων, που συνήθως γίνεται σε διανυσματικό χώρο, αφορά στη μετατροπή των κειμένων σε διανύσματα έτσι ώστε να μπορούν να εφαρμοστούν τριγωνομετρικά μέτρα ομοιότητας μεταξύ τους (το συνημίτονο της γωνίας που σχηματίζουν δύο διανύσματα, το εσωτερικό τους γινόμενο), αλλά και να υλοποιηθεί η ευρετηρίαση (indexing) των όρων που περιέχει κάθε κείμενο.

Το στάδιο της εξαγωγής χαρακτηριστικών γνωρισμάτων των κειμένων αφορά, τέλος, στην εφαρμογή μέτρων ποιότητας για την επιλογή διατήρησης ορισμένων όρων για κάθε κείμενο, από τους δεκάδες χιλιάδες που περιλαμβάνονται σε μία συλλογή. Το αποτέλεσμα είναι η αναπαράσταση του κάθε κειμένου να γίνεται με ορισμένο πλήθος από k χαρακτηριστικούς όρους, κάτι που φυσικά διευκολύνει την επεξεργασία και την ποσοτική ανάλυσή τους.