5.2.2 Αναπαράσταση

Η αναπαράσταση των κειμένων σε επεξεργάσιμη μορφή μεταφράζεται στη δημιουργία ενός διανυσματικού χώρου, στον οποίο σε κάθε κείμενο αντιστοιχεί και ένα διάνυσμα. Η αναπαράσταση αυτή ενσωματώνει την αντίληψη ότι το νόημα ενός κειμένου μπορεί να εξαχθεί από το σύνολο όρων (bag of words) που το αποτελούν, εφόσον αποδοθεί στον κάθε όρο διαφορετικό βάρος ανάλογα με τη συχνότητα εμφάνισής του ή άλλα κριτήρια.

Επιπρόσθετα, η αναπαράσταση μπορεί να εμπλουτιστεί σημασιολογικά συμπεριλαμβάνοντας στο σύνολο όρων τα συνώνυμα, υπερώνυμα, υπώνυμα, μερώνυμα και ολώνυμά τους.

Η διάσταση των διανυσμάτων εξαρτάται από το πλήθος των όρων που περιλαμβάνονται στο τελικό σύνολο όρων του κάθε κειμένου.

Οι δύο βασικοί τρόποι αναπαράστασης ενός διανύσματος κειμένου είναι:

1. Δυαδική (Boolean)
2. Συναρτησιακή

Με τον πρώτο τρόπο αναπαράστασης, η τιμή που λαμβάνει κάθε διάσταση ενός διανύσματος κειμένου ανήκει στο σύνολο {0,1}. Για μία διάσταση D_i του διανύσματος, η τιμή 1 υποδηλώνει ότι ο όρος t_i που αντιστοιχεί στη διάσταση D_i περιέχεται στο κείμενο d_i. Σε αντίθετη περίπτωση, η τιμή 0 υποδηλώνει ότι ο όρος t_i δεν περιέχεται στο συγκεκριμένο κείμενο.

Ο πρώτος τρόπος αναπαράστασης γίνεται ευκολότερα κατανοητός με το εξής παράδειγμα:

‘Ας θεωρήσουμε το κείμενο d₁ = {t₁, t₂, t₃, t₄, t₂, t₁, t₅}. Το κείμενο περιέχει πέντε διαφορετικούς όρους, τους t₁, t₂, t₃, t₄ και t₅. Συνεπώς, η αναπαράστασή του στο διανυσματικό χώρο έχει πέντε διαστάσεις (D=5). Οι διαστάσεις του είναι οι ίδιοι όροι t₁, t₂, t₃, t₄ και t₅. Έτσι, το d₁ αναπαρίσταται σαν δυαδικό διάνυσμα ως d₁ = (1,1,1,1,1). Έστω το κείμενο d₂ = {t_2,t₃, t₅, t₃}. Στον ίδιο διανυσματικό χώρο, το d₂ αναπαρίσταται σαν δυαδικό διάνυσμα ως d₂ = (0,1,1,0,1).’

Ο δεύτερος τρόπος αναπαράστασης γίνεται ευκολότερα κατανοητός επιστρέφοντας στο προηγούμενο παράδειγμα:

‘Ας θεωρήσουμε τα ίδια κείμενα d₁ = {t₁, t₂, t₃, t₄, t₂, t₁, t₅} και d₂ = {t_2,t₃, t₅, t₃}. Εάν η τιμή στη διάσταση D_i ισούται με την ποσότητα n(d_k,t_i), τότε τα κείμενα αναπαρίστανται στο διανυσματικό χώρο ως d₁ = (2,2,1,1,1) και d₂ = (0,1,2,0,1) αντίστοιχα. Ομοίως, εάν η τιμή στη διάσταση D_i ισούται με την ποσότητα TF(d_k,t_i), τότε τα κείμενα αναπαρίστανται στο διανυσματικό χώρο ως’ ‘d₁ = (2/7,2/7,1/7,1/7,1/7) και d₂ = (0,1/4,2/4,0,1/4 ) αντίστοιχα.’

Άλλες συναρτήσεις που χρησιμοποιούνται για τον υπολογισμό της συχνότητας TF(d_k,t_i) είναι: