Μοντέλα transformer για ανάλυση συναισθημάτων

Abstract

Η μελέτη και η επεξεργασία της φυσικής γλώσσας (Natural Language Processing – NLP) είναι ένα πεδίο μελέτης που έχει σημειώσει μεγάλη εξέλιξη τα τελευταία χρόνια. Σε αυτή την περίοδο έχουν επινοηθεί, εφαρμοστεί και αξιολογηθεί διάφορες προσεγγίσεις και τεχνικές που έχουν προσφέρει στην πρόοδο του αντικειμένου συνολικά. Η σύγχρονη προσέγγιση στο αντικείμενο της επεξεργασίας φυσικής γλώσσας είναι η χρήση μηχανικής μάθησης και συγκεκριμένα μοντέλων της αρχιτεκτονικής transformer. Αυτή η αρχιτεκτονική βαθιάς μάθησης εξελίχθηκε κληρονομώντας διάφορα χαρακτηριστικά από προηγούμενες προσεγγίσεις και πλέον έχει την δυνατότητα να καλύψει ένα ευρύ φάσμα εργασιών (tasks) επεξεργασίας φυσικής γλώσσας. Μία από τις εργασίες για τις οποίες έχουν εκπαιδευτεί διάφορα τέτοια μοντέλα είναι η ανάλυση συναισθήματος του κειμένου[1] (sentiment analysis). Η ανάλυση συναισθήματος είναι ένα πεδίο το οποίο συνδέει την γλωσσολογία με την επιστήμη των υπολογιστών και έχει σαν τελικό στόχο τον καθορισμό του συναισθήματος στο κείμενο που αναλύθηκε. Τελικό αποτέλεσμα της ανάλυσης είναι η θετική ή αρνητική αξιολόγηση του συναισθήματος που εξάγεται από το κείμενο. Η ανάλυση συναισθήματος είναι ένα χρήσιμο εργαλείο που πλέον συναντάται συχνά στην εργαλειοθήκη των αναλυτών κοινωνικών δικτύων καθώς μπορεί με αυτοματοποιημένο τρόπο να εξάγει το συναίσθημα του κειμένου, αξιοποιώντας το νόημα, λέξεις από το κείμενο και το νόημα τους, την δομή του κειμένου και πολλά άλλα.