A comparative analysis of data parallelism and model parallelism for deep learning-based text classification
| dc.contributor.advisor | Venetis, Ioannis | |
| dc.contributor.advisor | Βενέτης, Ιωάννης | |
| dc.contributor.author | Giagias, Dimitrios | |
| dc.contributor.author | Γιαγιάς, Δημήτριος | |
| dc.date.accessioned | 2025-10-08T08:51:15Z | |
| dc.date.available | 2025-10-08T08:51:15Z | |
| dc.date.issued | 2025-09 | |
| dc.identifier.uri | https://dione.lib.unipi.gr/xmlui/handle/unipi/18195 | |
| dc.description.abstract | Οι αυξανόμενες υπολογιστικές απαιτήσεις των σύγχρονων μοντέλων βαθιάς μάθησης για την επεξεργασία φυσικής γλώσσας έχουν καταστήσει τις στρατηγικές παράλληλης εκπαίδευσης απαραίτητες για την πρακτική υλοποίηση. Ενώ οι θεωρητικές βάσεις της παράλληλης εκπαίδευσης είναι καλά τεκμηριωμένες, οι εμπειρικές συγκρίσεις διαφορετικών προσεγγίσεων που εφαρμόζονται σε αρχιτεκτονικές ταξινόμησης κειμένου παραμένουν περιορισμένες. Αυτή η διπλωματική εργασία παρουσιάζει μια συστηματική πειραματική σύγκριση του παραλληλισμού δεδομένων και του παραλληλισμού μοντέλου σε τέσσερις αντιπροσωπευτικές αρχιτεκτονικές βαθιάς μάθησης: Συνελικτικά Νευρωνικά Δίκτυα (CNNs), δίκτυα Μακροπρόθεσμης Βραχυπρόθεσμης Μνήμης (LSTMs), Πυλωτές Επαναλαμβανόμενες Μονάδες (GRUs), και Transformers. Αναπτύχθηκε ένα ολοκληρωμένο πειραματικό πλαίσιο χρησιμοποιώντας το PyTorch για την αξιολόγηση τριών στρατηγικών εκπαίδευσης: ακολουθιακή βασική εκπαίδευση, παραλληλισμό δεδομένων με χρήση του DistributedDataParallel, και παραλληλισμό μοντέλου μέσω χειροκίνητης κατανομής επιπέδων σε δύο GPUs. Όλα τα πειράματα διεξήχθησαν στο σύνολο δεδομένων AG News, εξασφαλίζοντας τυποποιημένες συνθήκες αξιολόγησης σε διαφορετικές αρχιτεκτονικές και προσεγγίσεις παραλληλοποίησης. Η πειραματική αξιολόγηση εστιάζει σε δύο κρίσιμες πτυχές: την υπολογιστική αποδοτικότητα που μετράται μέσω του χρόνου εκπαίδευσης και της ανάλυσης επιτάχυνσης, και την ποιότητα του μοντέλου που αξιολογείται μέσω τυπικών μετρικών ταξινόμησης συμπεριλαμβανομένων της ακρίβειας, της πρακτικής αξίας, της ανάκλησης, και του F1-score. Τα αποτελέσματα έδειξαν ότι ο Παραλληλισμός Δεδομένων παρείχε σταθερές επιταχύνσεις (1.30×–1.80×) σε όλες τις αρχιτεκτονικές, διατηρώντας ή βελτιώνοντας την ακρίβεια — με πιο εντυπωσιακή την αύξηση +4.58% στο GRU λόγω μείωσης της υπερβολικής προσαρμογής στα δεδομένα. Αντίθετα, ο Παραλληλισμός Μοντέλου προσέφερε μόνο ήπιες βελτιώσεις ταχύτητας (1.04×–1.12×) και εμφάνισε υψηλή εξάρτηση από την τοπολογία του υλικού, με την απόδοση να υποβαθμίζεται σε περιπτώσεις αυξημένου κόστους επικοινωνίας μεταξύ GPUs. Συνολικά, τα ευρήματα καταδεικνύουν ότι ο Παραλληλισμός Δεδομένων αποτελεί την πλέον αποδοτική επιλογή όταν το μοντέλο χωράει σε μία συσκευή, ενώ ο Παραλληλισμός Μοντέλου παραμένει απαραίτητος κυρίως ως μέσο κλιμάκωσης μνήμης για υπερμεγέθη μοντέλα. | el |
| dc.format.extent | 80 | el |
| dc.language.iso | en | el |
| dc.publisher | Πανεπιστήμιο Πειραιώς | el |
| dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ | * |
| dc.title | A comparative analysis of data parallelism and model parallelism for deep learning-based text classification | el |
| dc.title.alternative | Συγκριτική ανάλυση παραλληλισμού δεδομένων και παραλληλισμού μοντέλου για την ταξινόμηση κειμένου με τεχνικές βαθιάς μάθησης | el |
| dc.type | Bachelor Dissertation | el |
| dc.contributor.department | Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Πληροφορικής | el |
| dc.description.abstractEN | The increasing computational demands of modern deep learning models for natural language processing have made parallel training strategies essential for practical implementation. While the theoretical foundations of parallel training are well-established, empirical comparisons of different approaches applied to text classification architectures remain limited. This thesis presents an experimental comparison of data parallelism and model parallelism across four representative deep learning architectures: Convolutional Neural Networks (CNNs), Long Short Term Memory networks (LSTMs), Gated Recurrent Units (GRUs), and Transformers. An experimental framework was developed using PyTorch to evaluate three training strategies: sequential baseline training, data parallelism using DistributedDataParallel, and model parallelism through manual layer partitioning across two GPUs. All experiments were conducted on the AG News dataset, ensuring standardized evaluation conditions across different architectures and parallelization approaches. The experimental evaluation focused on two critical aspects: computational efficiency measured through training time and speedup analysis, and model quality assessed through standard classification metrics including accuracy, precision, recall, and F1-score. Results demonstrated that Data Parallelism consistently delivered substantial speedups (1.30×-1.80×) across all architectures while maintaining or improving model accuracy—including a notable +4.58% gain for GRU due to reduced overfitting. In contrast, Model Parallelism provided only modest acceleration (1.04×–1.12×) and exhibited high sensitivity to hardware topology, with performance degrading when inter-GPU communication costs dominated. The findings lead to a clear conclusion: Data Parallelism is the preferred strategy when models fit within a single device, offering strong throughput gains with minimal implementation cost, whereas Model Parallelism remains valuable primarily as a memory-scaling tool for architectures that exceed single-GPU capacity. | el |
| dc.subject.keyword | Deep learning | el |
| dc.subject.keyword | Parallel computing | el |
| dc.subject.keyword | Data parallelism | el |
| dc.subject.keyword | Model parallelism | el |
| dc.subject.keyword | Text classification | el |
| dc.subject.keyword | Distributed training | el |
| dc.subject.keyword | Natural Language Processing (NLP) | el |
| dc.date.defense | 2025-09-30 |
Αρχεία σε αυτό το τεκμήριο
Αυτό το τεκμήριο εμφανίζεται στις ακόλουθες συλλογές
Εκτός από όπου διευκρινίζεται διαφορετικά, το τεκμήριο διανέμεται με την ακόλουθη άδεια:
Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα
Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα