Ταξινόμηση κειμένων ανοικτού συνόλου με χρήση της ομοιότητας βάσει κέντρων

Abstract

Η ραγδαία αύξηση του όγκου των δεδομένων που ανεβαίνουν στο διαδίκτυο καθιστά πιο δύσκολη τη διαχείριση των πληροφοριών που φέρνει μαζί του, με νέες τεχνολογίες που εισάγονται στον τομέα των Big Data για τον σκοπό αυτό. Με την πλειονότητα των δεδομένων στο διαδίκτυο να έχουν τη μορφή μη δομημένου κειμένου, ένας νέος κλάδος έχει αναδυθεί από την εξόρυξη δεδομένων. Το Text Mining θεωρείται ως ένα πολύ σημαντικό εξειδικευμένο εργαλείο στον τρόπο ανάλυσης δεδομένων σε μορφή κειμένου. Τα δεδομένα σε κείμενο δεν είναι αυστηρά καθορισμένοι και εύκολα διαχειρίσιμοι πόροι, ενώ οι ασάφειες και η διαρκώς μεταβαλλόμενη φύση του περιεχομένου οδηγούν σε δυσκολία στην κατανόηση και την εξόρυξη δεδομένων. Σημαντικό στάδιο και θεμέλιος λίθος για στην εξόρυξη κειμένου αποτελεί η Ταξινόμηση Κειμένου/Text Classification. Μέσω της μηχανικής μάθησης, η Ταξινόμηση Κειμένων καλείται να δώσει λύση στο ζήτημα της διαχείρισης και κατηγοριοποίησης κειμένων σε ηλεκτρονική μορφή. Η ταξινόμηση κειμένων γίνεται συνήθως μέσω μιας ποικιλίας αλγορίθμων και διαδικασιών που αποτελούν διαφορετικά μοντέλα. Όλα αυτά τα μοντέλα απαιτούν μια διαδικασία «εκπαίδευσης» και «δοκιμής» όπου τους δίνεται ένα σύνολο κειμένων και πρέπει να τα κατηγοριοποιήσουν χωρίς λάθη. Σε αυτό το σημείο, γίνεται η σύγκριση απόδοσης των αλγορίθμων Ταξινόμησης Κειμένων, όπου γνωστά και καθιερωμένα μοντέλα Ταξινόμησης Κειμένων δοκιμάζονται στο ίδιο σύνολο κειμένων και αξιολογείται η απόδοσή τους. Σε αυτή την εργασία γίνεται υλοποίηση του αλγορίθμου (Fei, et al., 2016) και στην συνέχεια γίνονται πειράματα κάνοντας χρήση των datasets που αναφέρονται στο (Pritsos. et al., 2019) με σκοπό να συγκριθούν τα αποτελέσματα.