| dc.contributor.advisor | Konstantopoulos, Stasinos | |
| dc.contributor.advisor | Κωνσταντόπουλος, Στασινός | |
| dc.contributor.author | Romesis, Christoforos | |
| dc.contributor.author | Ρωμέσης, Χριστόφορος | |
| dc.date.accessioned | 2026-03-23T12:35:27Z | |
| dc.date.available | 2026-03-23T12:35:27Z | |
| dc.date.issued | 2026-02 | |
| dc.identifier.uri | https://dione.lib.unipi.gr/xmlui/handle/unipi/19046 | |
| dc.description.abstract | Η παρούσα διπλωματική εργασία διερευνά τους μηχανισμούς διατήρησης μακροπρόθεσμης μνήμης σε ακολουθιακά νευρωνικά μοντέλα (sequential neural models), προσεγγίζοντας τις αναδρομικές αρχιτεκτονικές (recurrent architectures) ως δυναμικά συστήματα. Η μελέτη βασίζεται σε χρονοσειρές βλαβών που παράγονται μέσω μαθηματικού μοντέλου υψηλής πιστότητας αεροπορικού κινητήρα, το οποίο επιτρέπει την προσομοίωση ρεαλιστικών σεναρίων με ενδιάμεσα συμβάντα κρίσιμα για τη σωστή διάκριση τύπων βλάβης, παρότι η τελική παρατηρήσιμη συμπεριφορά μπορεί να είναι παρόμοια.
Τα μοντέλα αναλύονται όχι μόνο ως προς την τελική τους ακρίβεια, αλλά και ως προς την εσωτερική τους δυναμική. Αν και η ταξινομητική επίδοση παραμένει υψηλή, η ικανότητα διατήρησης πληροφορίας από το παρελθόν δεν μεταβάλλεται γραμμικά με το μήκος της ακολουθίας, αλλά εμφανίζει εναλλαγές μεταξύ περιόδων όπου η μνήμη διατηρείται αποτελεσματικά και περιόδων όπου ουσιαστικά χάνεται.
Η ανάλυση των τροχιών των εσωτερικών καταστάσεων, με χρήση τεχνικών μείωσης διαστάσεων, αναδεικνύει οργανωμένη γεωμετρική δομή, όπως λεκάνες έλξης (attractor basins) και περιστροφική δυναμική. Τα αποτελέσματα δείχνουν ότι η μακροπρόθεσμη μνήμη δεν μπορεί να ερμηνευθεί αποκλειστικά μέσω των κλασικών προβλημάτων vanishing/exploding gradients. Αντίθετα, προκύπτει από τη γεωμετρική οργάνωση της εσωτερικής δυναμικής και τον τρόπο με τον οποίο αυτή εξελίσσεται στον χρόνο, σε συνάρτηση με τον ορίζοντα εκπαίδευσης (training horizon).
Εισάγεται η έννοια των «memory crackpoints», δηλαδή κρίσιμων μεταβάσεων κατά τις οποίες καταρρέει η εξάρτηση του μοντέλου από προηγούμενα γεγονότα, οδηγώντας σε ουσιαστική απώλεια ιστορικής πληροφορίας χωρίς εμφανή υποβάθμιση της βραχυπρόθεσμης απόδοσης. Τα ευρήματα αναδεικνύουν τη σημασία της μελέτης της εσωτερικής δυναμικής για την κατανόηση και τη βελτίωση των μηχανισμών μνήμης σε αναδρομικά νευρωνικά δίκτυα. | el |
| dc.format.extent | 97 | el |
| dc.language.iso | en | el |
| dc.publisher | Πανεπιστήμιο Πειραιώς | el |
| dc.title | Analyzing long-term memory in sequential models through internal state dynamics | el |
| dc.type | Master Thesis | el |
| dc.contributor.department | Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Ψηφιακών Συστημάτων | el |
| dc.description.abstractEN | This thesis investigates the mechanisms governing long-term memory retention in sequential neural models, adopting a dynamical systems perspective on recurrent architectures. The study is conducted on fault-driven time-series data generated from a high-fidelity mathematical model of an aircraft engine, designed to include subtle intermediate events that are essential for correct fault discrimination despite identical final observable behavior.
Recurrent models are trained and systematically analyzed beyond output-level accuracy, with emphasis on their internal state dynamics. While classification performance remains consistently high, memory retention exhibits non-monotonic dependence on sequence length, revealing alternating regimes of successful and degraded historical encoding.
Dimensionality reduction of internal state trajectories exposes structured geometric organization in the learned state space, including attractor basins and rotational dynamics. The results suggest that long-term memory retention is not adequately explained by classical vanishing or exploding gradient arguments alone. Instead, it emerges as a geometric property of the internal dynamics, shaped by phase-dependent recurrent interactions and the effective training horizon.
The thesis introduces the concept of memory crackpoints, referring to critical dynamical transitions where history-dependent structure collapses, leading to qualitative memory loss without apparent degradation in short-term predictive performance. These findings highlight the importance of internal dynamical analysis for diagnosing and improving memory mechanisms in sequential neural models. | el |
| dc.corporate.name | National Centre for Scientific Research "Demokritos" | el |
| dc.contributor.master | Τεχνητή Νοημοσύνη - Artificial Intelligence | el |
| dc.subject.keyword | Long-term memory | el |
| dc.subject.keyword | Sequential models | el |
| dc.subject.keyword | Dynamical systems | el |
| dc.date.defense | 2026-02-27 | |
