A comparative analysis of data parallelism and model parallelism for deep learning-based text classification

Abstract

Οι αυξανόμενες υπολογιστικές απαιτήσεις των σύγχρονων μοντέλων βαθιάς μάθησης για την επεξεργασία φυσικής γλώσσας έχουν καταστήσει τις στρατηγικές παράλληλης εκπαίδευσης απαραίτητες για την πρακτική υλοποίηση. Ενώ οι θεωρητικές βάσεις της παράλληλης εκπαίδευσης είναι καλά τεκμηριωμένες, οι εμπειρικές συγκρίσεις διαφορετικών προσεγγίσεων που εφαρμόζονται σε αρχιτεκτονικές ταξινόμησης κειμένου παραμένουν περιορισμένες. Αυτή η διπλωματική εργασία παρουσιάζει μια συστηματική πειραματική σύγκριση του παραλληλισμού δεδομένων και του παραλληλισμού μοντέλου σε τέσσερις αντιπροσωπευτικές αρχιτεκτονικές βαθιάς μάθησης: Συνελικτικά Νευρωνικά Δίκτυα (CNNs), δίκτυα Μακροπρόθεσμης Βραχυπρόθεσμης Μνήμης (LSTMs), Πυλωτές Επαναλαμβανόμενες Μονάδες (GRUs), και Transformers. Αναπτύχθηκε ένα ολοκληρωμένο πειραματικό πλαίσιο χρησιμοποιώντας το PyTorch για την αξιολόγηση τριών στρατηγικών εκπαίδευσης: ακολουθιακή βασική εκπαίδευση, παραλληλισμό δεδομένων με χρήση του DistributedDataParallel, και παραλληλισμό μοντέλου μέσω χειροκίνητης κατανομής επιπέδων σε δύο GPUs. Όλα τα πειράματα διεξήχθησαν στο σύνολο δεδομένων AG News, εξασφαλίζοντας τυποποιημένες συνθήκες αξιολόγησης σε διαφορετικές αρχιτεκτονικές και προσεγγίσεις παραλληλοποίησης. Η πειραματική αξιολόγηση εστιάζει σε δύο κρίσιμες πτυχές: την υπολογιστική αποδοτικότητα που μετράται μέσω του χρόνου εκπαίδευσης και της ανάλυσης επιτάχυνσης, και την ποιότητα του μοντέλου που αξιολογείται μέσω τυπικών μετρικών ταξινόμησης συμπεριλαμβανομένων της ακρίβειας, της πρακτικής αξίας, της ανάκλησης, και του F1-score. Τα αποτελέσματα έδειξαν ότι ο Παραλληλισμός Δεδομένων παρείχε σταθερές επιταχύνσεις (1.30×–1.80×) σε όλες τις αρχιτεκτονικές, διατηρώντας ή βελτιώνοντας την ακρίβεια — με πιο εντυπωσιακή την αύξηση +4.58% στο GRU λόγω μείωσης της υπερβολικής προσαρμογής στα δεδομένα. Αντίθετα, ο Παραλληλισμός Μοντέλου προσέφερε μόνο ήπιες βελτιώσεις ταχύτητας (1.04×–1.12×) και εμφάνισε υψηλή εξάρτηση από την τοπολογία του υλικού, με την απόδοση να υποβαθμίζεται σε περιπτώσεις αυξημένου κόστους επικοινωνίας μεταξύ GPUs. Συνολικά, τα ευρήματα καταδεικνύουν ότι ο Παραλληλισμός Δεδομένων αποτελεί την πλέον αποδοτική επιλογή όταν το μοντέλο χωράει σε μία συσκευή, ενώ ο Παραλληλισμός Μοντέλου παραμένει απαραίτητος κυρίως ως μέσο κλιμάκωσης μνήμης για υπερμεγέθη μοντέλα.