Ταξινόμηση κειμένου πολιτικού λόγου με τεχνολογίες BERT

Abstract

Η ταξινόμηση κειμένου, ως έργο επεξεργασίας της φυσικής γλώσσας, έχει αποτελέσει ένα δημοφιλές και ενδιαφέρον πεδίο στον τομέα της μηχανικής μάθησης. Με την πάροδο των χρόνων, παρατηρείται ανοδική πορεία στο πώς, με την αξιοποίηση δικτύων μηχανικής, αλλά και βαθιάς μάθησης, μπορεί να διεκπεραιωθεί ανάλυση σε σύνθετα κείμενα. Η παρούσα πτυχιακή εργασία έχει στόχο τη δημιουργία ενός ταξινομητή για κείμενα που προέρχονται από αμερικανικό πολιτικό λόγο, με την ικανότητα να εφαρμόζει δυαδική ταξινόμηση, που αφορά στις κλάσεις δημοκρατικού ή ρεπουμπλικανικού λόγου. Οι αλγόριθμοι βαθιάς μάθησης BERT αποτελούν ιδανικά μοντέλα που προσαρτούν γλωσσικές δυνατότητες. Με την αρχιτεκτονική τους να θεμελιώνεται στα δίκτυα μετασχηματιστών, γνωρίζουν αποτελεσματικότητα στην επεξεργασία φυσικής γλώσσας, και για την επίτευξη του στόχου μας αρκεί η προσαρμογή ενός μοντέλου, αυτής της οικογενειας, στα κειμενικά δεδομένα που συλλέξαμε. Με την αποπεράτωση δύο ανεξάρτητων πειραμάτων διαφορετικών παραμέτρων ερευνάται η επιτυχία αυτής της διαδικασίας.