Νευρωνικά δίκτυα Transformer για την ταξινόμηση συναισθήματος

Abstract

Σε αυτήν την εργασία φαίνεται πώς μπορούν να χρησιμοποιηθούν τα νευρωνικά δίκτυα Transformer για την ταξινόμηση συναισθήματος. Πιο συγκεκριμένα χρησιμοποιείται το προεκπαιδευμένο μοντέλο BERT το οποίο είναι βασισμένο στην αρχιτεκτονική των μετασχηματιστών (Transformer) για γλωσσική μοντελοποίηση ώστε να πραγματοποιηθεί ανάλυση συναισθήματος στο σύνολο δεδομένων GoEmotions. Αρχικά γίνεται αναφορά στους λόγους για τους οποίους είναι σημαντική η ταξινόμηση συναισθήματος καθώς και σε έρευνες που έχουν γίνει πάνω σε αυτή. Στην συνέχεια φαίνονται οι αρχιτεκτονικές βασικών τύπων νευρωνικών δικτύων, του μοντέλου transformer και του μοντέλου BERT και γίνεται περιγραφή του συνόλου δεδομένων GoEmotions. Ύστερα, παρουσιάζονται τα αποτελέσματα της ταξινόμησης και πραγματοποιείται αξιολόγηση αυτής μέσω των κατάλληλων μέτρων. Τέλος, παρατίθενται τα συμπεράσματα που βγήκαν από την ταξινόμηση και δίνονται προτάσεις για μελλοντική έρευνα.