Machine learning for children’s music emotion recognition

Abstract

Η εργασία αυτή επικεντρώνεται στην εφαρμογή αλγορίθμων Μηχανικής Μάθησης (Machine Learning, ML) για την αναγνώριση συναισθήματος σε δεδομένα μουσικής, με ιδιαίτερη έμφαση στην παιδική μουσική. Το πρώτο βήμα ήταν η δημιουργία ενός εξειδικευμένου συνόλου δεδομένων, το οποίο περιλαμβάνει τραγούδια τα οποία χαρακτηρίζονται από πολιτισμική ποικιλομορφία και περιέχουν ένα μεγάλο εύρος έκφρασης συναισθήματος. Η ανάθεση κατηγοριών συναισθήματος πραγματοποιήθηκε από ειδικούς στην παιδική ψυχολογία και την εκπαίδευση αλλά και ειδικούς ML. Ως αρχικό μοντέλο πρόβλεψης χρησιμοποιήθηκε ο αλγόριθμος Support Vector Machines (SVM) σε συνδυασμό με μεθόδους εξαγωγής χαρακτηριστικών χαμηλού επιπέδου. Προηγμένα μοντέλα όπως τα Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks, CNNs) και ένα μοντέλο αρχιτεκτονικής δύο βρόγχων (Dual Stream), που ενσωματώνει Συνελικτικά και δίκτυα Μακροχρόνιας Βραχυχρόνιας Μνήμης (Long Short-Term Memory, LSTM) βασισμένα σε μηχανισμό Attention, επίσης αξιολογήθηκαν. Η προσέγγιση αυτή παρέχει μια εκτενή ανάλυση της παιδικής μουσικής μέσω της εξέτασης φασματογραφημάτων και ακολουθιών συμβολικής αναπαράστασης (MIDI). Τα μοντέλα αξιολογήθηκαν χρησιμοποιώντας τόσο τις παραδοσιακές μετρικές ML όσο και μια προτεινόμενη μετρική για τη σύγκριση των πιθανοτήτων των μοντέλων με τις πιθανοτικές κατανομές των κατηγοριών συναισθήματος που ανέθεσαν οι ειδικοί στα δεδομένα που συλλέχτηκαν.