Μοντελοποίηση ακολουθιών με βαθιά νευρωνικά δίκτυα

Abstract

Στην παρούσα μεταπτυχιακή διατριβή επιδιώκεται η παρουσίαση της σύγχρονης βιβλιογραφίας που σχετίζεται με το αντικείμενο της Μοντελοποίησης Ακολουθιών μέ Βαθιά Νευρωνικά Δίκτυα (Deep Neural Networks). Η βασική ανάλυση αφορά τις αρχιτεκτονικές και τα μοντέλα Αναδρομικών Νευρωνικών Δικτύων (Recurrent Neural Networks - RNN), τα οποία βρίσκονται στο επίκεντρο της σύγχρονης επιστημονικής έρευνας και φαίνεται να παρουσιάζουν τα καλύτερα αποτελέσματα σε θέματα μοντελοποίησης ακολουθιών. Προσπάθειες για τη μοντελοποίηση ακολουθιών έχουν γίνει και με διαφορετικά μοντέλα νευρωνικών δικτύων, όπως είναι τα Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks - CNN), τα οποία, όμως, δεν εξετάζονται στην παρούσα εργασία. Στην εργασία παρουσιάζονται οι περιορισμοί και τα μειονεκτήματά των κλασσικών δομών RNN για τη μοντελοποίηση ακολουθιών καθώς επίσης και η αρχιτεκτονική LSTM, που επεκτείνει τις δυνατότητες των RNN δικτύων. Τέλος, αναφέρονται οι λόγοι που οδήγησαν στην ανάπτυξη των μοντέλων μετασχηματιστή (Transformers), και παρουσιάζεται συνοπτικά η αρχιτεκτονική τους.