Greek news topics classification using graph neural networks

Abstract

Οι πρόσφατες εξελίξεις στη βαθιά μηχανική μάθηση έχουν αυξήσει το ερευνητικό ενδιαφέρον στον τομέα της Επεξεργασίας Φυσικής Γλώσσας. Αυτό οδήγησε σε διάφορες ραγδαίες εξελίξεις της τεχνολογίας, με την οικογένεια των μεθόδων που βασίζονται σε γράφους να μην αποτελούν εξαίρεση. Ο στόχος αυτής της διατριβής είναι να συμβάλει στην πρόοδο των νευρωνικών δικτύων πάνω σε γράφους και στον τομέα της Επεξεργασίας Φυσικής Γλώσσας, μελετώντας το πρόβλημα της ταξινόμησης κειμένων στην ελληνική γλώσσα. Ξεκινάμε αξιολογώντας το πρόβλημά μας με καθιερωμένες μεθόδους μηχανικής μάθησης και βαθιάς μάθησης, έπειτα ολοκληρώνουμε τη δουλειά μας με έρευνα σε μεθόδους βαθιάς μηχανικής μάθησης βασισμένες σε γράφους και προτείνουμε μια νέα προσέγγιση σε αυτές. Οι μέθοδοι με νευρωνικά δίκτυα πάνω σε γράφους χρησιμοποιούν διαφορετικά είδη νευρωνικών δικτύων για την επεξεργασία χωρικών πληροφοριών και την κατασκευή γράφων σε επίπεδο εγγράφου ή σώματος κειμένων. Ωστόσο, ανεξάρτητα από τη δομή τους, όλες οι μελέτες χρησιμοποιούν αναπαραστάσεις των λέξεων χωρίς να βασίζονται στα συμφραζόμενα. Αντλώντας έμπνευση από άλλα γλωσσικά μοντέλα που δημιουργούν αναπαραστάσεις με βάση το περιεχόμενο από τα συμφραζόμενα, σε αυτό το έργο προτείνουμε μια μέθοδο βασισμένη σε μια πρόσφατη μελέτη, η οποία χρησιμοποιεί νευρωνικά δίκτυα πάνω σε γράφους και έχουμε τροποποιήσει για να αξιοποιεί κβαντοποιημένες αναπαραστάσεις λέξεων που προκύπτουν από τα συμφραζόμενα. Για να το επιτύχουμε αυτό, πρώτα χρησιμοποιούμε ένα προ-εκπαιδευμένο μοντέλο BERT, το οποίο παράγει αναπαραστάσεις με βάση τα συμφραζόμενα για όλο το λεξιλόγιό μας. Η χρήση όλων των αναπαραστάσεων, ωστόσο, θα οδηγούσε σε ένα πολύ αραιό και αναποτελεσματικό γράφο. Για να ξεπεράσουμε αυτό το ζήτημα, ποσοτικοποιούμε τις πολυάριθμες αναπαραστάσεις κάθε λέξης με τη χρήση του αλγορίθμου K-Means, συγκεντρώνοντας πολλαπλές αναπαραστάσεις γύρω από μια σταθερή ποσότητα κεντροειδών. Τέλος, χρησιμοποιούμε τις αναπαραστάσεις αυτών των κεντροειδών ως την τελική είσοδο των γράφων. Πολλαπλά πειράματα πάνω στο σύνολο δεδομένων, μας δείχνουν ότι η προτεινόμενη μέθοδός μας ξεπερνά τόσο τα βασικά πειράματα όσο και την αρχική μέθοδο στην οποία βασιστήκαμε.