Μοντέλα transformer για την ταξινόμηση στιχουργών

Abstract

Η παρούσα πτυχιακή αναφέρεται στην αρχιτεκτονική των μοντέλων βαθιάς μάθησης (transformers). Γίνεται ανάλυση της αρχιτεκτονικής καθώς επίσης έχει πραγματοποιηθεί η υλοποίηση του συγκεκριμένου μοντέλου σε στοίχους τραγουδιών ώστε να ταξινομήσουν το κάθε στοίχο με τον αντίστοιχο καλλιτέχνη που το έχει δημιουργήσει. Αρχικά αναλύονται συναφείς προσεγγίσεις προβλημάτων που σχετίζονται με δεδομένα κειμένων που χρησιμοποιούν ως μοντέλο την αρχιτεκτονική των transformers. Επίσης γίνεται περιγραφή των διαδικασιών που χρειάζονται τα δεδομένα πριν από την εκπαίδευση του μοντέλου καθώς και η ανάλυση των δεδομένων έτσι ώστε η διαδικασία της εκπαίδευσης να πραγματοποιηθεί με τον σωστό τρόπο. Ακολούθως αναπτύσσεται αναλυτικά η αρχιτεκτονική των transformers έτσι ώστε να γίνει κατανοητή η λειτουργεία τους με την οποία αυτά τα μοντέλα μπορούν να επιτυγχάνουν αποτελέσματα που μοιάζουν με εκείνα του ανθρώπου. Σε αρκετά σημεία γίνεται αναλυτική επεξήγηση μέσω εικόνων έτσι ώστε να είναι πιο εύκολη η κατανόηση της αρχιτεκτονικής. Στην συνέχεια γίνεται αναλυτική περιγραφή των δεδομένων με τα οποία πραγματοποιήθηκε η εκπαίδευση του μοντέλου καθώς επίσης αναφέρεται και όλη η προεργασία των δεδομένων που ήταν απαραίτητη να γίνει πριν την εκπαίδευση. Στο τέλος παρουσιάζονται τα τελικά συμπεράσματα και οι περιοχές για περαιτέρω έρευνα.