Ομαδοποίηση και κατηγοριοποίηση δεδομένων σύντομων κειμένων

Abstract

Η παρούσα διπλωματική εργασία εξετάζει την κατηγοριοποίηση και ομαδοποίηση δεδομένων σύντομων κειμένων με εφαρμογή σε κριτικές ασθενών για φαρμακευτικές αγωγές. Στόχος της μελέτης είναι η ανάλυση συναισθήματος των κριτικών, καθώς και η ανίχνευση υποκείμενων μοτίβων που συνδέονται με τις εμπειρίες και την ικανοποίηση των ασθενών. Αρχικά παρουσιάζεται το θεωρητικό υπόβαθρο της μηχανικής μάθησης, τόσο εποπτευόμενης όσο και μη εποπτευόμενης, μαζί με τις κύριες μεθόδους εξόρυξης δεδομένων και επεξεργασίας φυσικής γλώσσας. Το σύνολο δεδομένων υφίσταται εκτενή προεπεξεργασία κειμένου και εξαγωγή χαρακτηριστικών μέσω BoW, TF-IDF και Word2Vec για την καλύτερη εφαρμογή των αλγορίθμων. Στο πλαίσιο της εποπτευόμενης μάθησης εφαρμόζονται ταξινομητές όπως Naive Bayes, Logistic Regression, Ridge, LinearSVC και SGD, ενώ στην μη εποπτευόμενη μάθηση υλοποιούνται οι αλγόριθμοι K-means και HDBSCAN για την ομαδοποίηση και οι PCA και UMAP για τη μείωση διαστάσεων και την οπτικοποίηση. Και στις δύο κατηγορίες αναλύονται τα εξωτερικά και εσωτερικά μέτρα αξιολόγησης των αλγορίθμων με σκοπό την σύγκριση τους. Τα αποτελέσματα αναδεικνύουν τις θεματικές ενότητες που κυριαρχούν στις κριτικές και επιβεβαιώνουν ότι ορισμένες μέθοδοι ταξινόμησης και ομαδοποίησης επιτυγχάνουν υψηλότερη ακρίβεια και συνοχή. Η εργασία καταλήγει ότι η συνδυαστική χρήση τεχνικών NLP και μοντέλων μηχανικής μάθησης αποτελεί αποτελεσματικό εργαλείο για την κατανόηση σύνθετων προτύπων σε δεδομένα σύντομων κειμένων.