Μελέτη μοντέλων παράλληλης εκτέλεσης για την εκπαίδευση συνελικτικών νευρωνικών δικτύων

Abstract

Η παρούσα πτυχιακή εργασία ερευνά διάφορες πρακτικές παράλληλης εκτέλεσης για την εκπαίδευση Συνελικτικών Νευρωνικών Δικτύων. Η μελέτη επικεντρώνεται στον πειραματισμό με δύο μοντέλα, το AlexNet για εργασίες ταξινόμησης εικόνων, και το DCGAN για την παραγωγή συνθετικών εικόνων. Στόχος απωτέλεσε τόσο η υλοποίηση των βασικών μοντέλων, όσο και υλοποιήσεις παραλληλισμού δεδομένων και παραλληλισμού μοντέλου. Ως σύνολο δεδομένων χρησιμοποιήθηκε το CIFAR-10 και πλαίσιο υλοποίησης αποτέλεσε το TensorFlow. Τα αποτελέσματα υπογραμμίζουν το σημαντικό όφελος στην εξοικονόμηση χρόνου από την εφαρμογή παραλληλισμού, αναλύοντας παράλληλα την επίδρασή του στην ακρίβεια κατηγοριοποίησης και την αξιοπιστία των παραγόμενων αποτελεσμάτων. Ενδεικτικά, η εκπαίδευση του AlexNet με παραλληλισμό δεδομένων σε 2 επιμέρους μέρη οδήγησε σε μείωση του χρόνου εκπαίδευσης κατά 46%, με 5.7% μείωση στην ακρίβεια κατηγοριοποίησης.