Analyzing long-term memory in sequential models through internal state dynamics

Abstract

Η παρούσα διπλωματική εργασία διερευνά τους μηχανισμούς διατήρησης μακροπρόθεσμης μνήμης σε ακολουθιακά νευρωνικά μοντέλα (sequential neural models), προσεγγίζοντας τις αναδρομικές αρχιτεκτονικές (recurrent architectures) ως δυναμικά συστήματα. Η μελέτη βασίζεται σε χρονοσειρές βλαβών που παράγονται μέσω μαθηματικού μοντέλου υψηλής πιστότητας αεροπορικού κινητήρα, το οποίο επιτρέπει την προσομοίωση ρεαλιστικών σεναρίων με ενδιάμεσα συμβάντα κρίσιμα για τη σωστή διάκριση τύπων βλάβης, παρότι η τελική παρατηρήσιμη συμπεριφορά μπορεί να είναι παρόμοια. Τα μοντέλα αναλύονται όχι μόνο ως προς την τελική τους ακρίβεια, αλλά και ως προς την εσωτερική τους δυναμική. Αν και η ταξινομητική επίδοση παραμένει υψηλή, η ικανότητα διατήρησης πληροφορίας από το παρελθόν δεν μεταβάλλεται γραμμικά με το μήκος της ακολουθίας, αλλά εμφανίζει εναλλαγές μεταξύ περιόδων όπου η μνήμη διατηρείται αποτελεσματικά και περιόδων όπου ουσιαστικά χάνεται. Η ανάλυση των τροχιών των εσωτερικών καταστάσεων, με χρήση τεχνικών μείωσης διαστάσεων, αναδεικνύει οργανωμένη γεωμετρική δομή, όπως λεκάνες έλξης (attractor basins) και περιστροφική δυναμική. Τα αποτελέσματα δείχνουν ότι η μακροπρόθεσμη μνήμη δεν μπορεί να ερμηνευθεί αποκλειστικά μέσω των κλασικών προβλημάτων vanishing/exploding gradients. Αντίθετα, προκύπτει από τη γεωμετρική οργάνωση της εσωτερικής δυναμικής και τον τρόπο με τον οποίο αυτή εξελίσσεται στον χρόνο, σε συνάρτηση με τον ορίζοντα εκπαίδευσης (training horizon). Εισάγεται η έννοια των «memory crackpoints», δηλαδή κρίσιμων μεταβάσεων κατά τις οποίες καταρρέει η εξάρτηση του μοντέλου από προηγούμενα γεγονότα, οδηγώντας σε ουσιαστική απώλεια ιστορικής πληροφορίας χωρίς εμφανή υποβάθμιση της βραχυπρόθεσμης απόδοσης. Τα ευρήματα αναδεικνύουν τη σημασία της μελέτης της εσωτερικής δυναμικής για την κατανόηση και τη βελτίωση των μηχανισμών μνήμης σε αναδρομικά νευρωνικά δίκτυα.