Επεξεργασία δεδομένων μεγάλου όγκου σε πραγματικό χρόνο με μηχανική μάθηση, χρησιμοποιώντας Apache Spark και μικροϋπηρεσίες

Παρθένης, Δημήτριος

dc.contributor.advisor	Αλέπης, Ευθύμιος
dc.contributor.author	Παρθένης, Δημήτριος
dc.date.accessioned	2024-12-18T10:48:09Z
dc.date.available	2024-12-18T10:48:09Z
dc.date.issued	2024-11
dc.identifier.uri	https://dione.lib.unipi.gr/xmlui/handle/unipi/17269
dc.identifier.uri	http://dx.doi.org/10.26267/unipi_dione/4692
dc.description.abstract	Η ραγδαία ανάπτυξη των δεδομένων μεγάλου όγκου (big data) έχει παρουσιάσει νέες προκλήσεις στην αποτελεσματική επεξεργασία και ανάλυση τεράστιας ποσότητας πληροφορίας. Οι παραδοσιακές μέθοδοι συχνά αποτυγχάνουν να ανταποκριθούν στις απαιτήσεις της επεξεργασίας σε πραγματικό χρόνο και της εξαγωγής χρήσιμων συμπερασμάτων. Αυτή η Μεταπτυχιακή Διατριβή παρουσιάζει την ανάπτυξη ενός επεκτάσιμου, αρθρωτού συστήματος που επεξεργάζεται αρχεία μεγάλου όγκου σε πραγματικό χρόνο, εφαρμόζοντας τεχνικές μηχανικής μάθησης για την παραγωγή πολύτιμων αποτελεσμάτων. Το σύστημα λειτουργεί μέσα σε μία αρχιτεκτονική μικροϋπηρεσιών, διασφαλίζοντας αρθρωτότητα, ανθεκτικότητα σε σφάλματα και επεκτασιμότητα. Η αρχιτεκτονική ενσωματώνει προηγμένες τεχνολογίες επεξεργασίας δεδομένων, αρχές κατανεμημένου υπολογισμού και σύγχρονες πρακτικές σχεδιασμού λογισμικού για την επίτευξη ομαλής ροής δεδομένων, αποδοτικής υπολογιστικής επεξεργασίας και αξιόπιστης αποθήκευσης. Επιπλέον, διαθέτει μηχανισμούς ασφαλούς ταυτοποίησης και εξουσιοδότησης χρηστών, ένα κεντρικό σύστημα διαχείρισης καταγραφών (logs) και διαδραστικές οπτικοποιήσεις δεδομένων μέσω μίας δυναμικής διεπαφής ιστού. Το σύστημα αυτό αναδεικνύει τη δυνατότητα συνδυασμού ανάλυσης σε πραγματικό χρόνο με μηχανική μάθηση για την αντιμετώπιση σύγχρονων προκλήσεων στον τομέα των big data, προσφέροντας παράλληλα μια ευέλικτη πλατφόρμα για περαιτέρω επεκτάσεις.	el
dc.format.extent	180	el
dc.language.iso	el	el
dc.publisher	Πανεπιστήμιο Πειραιώς	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.title	Επεξεργασία δεδομένων μεγάλου όγκου σε πραγματικό χρόνο με μηχανική μάθηση, χρησιμοποιώντας Apache Spark και μικροϋπηρεσίες	el
dc.title.alternative	Real-time big data processing with machine learning using Apache Spark and microservices	el
dc.type	Master Thesis	el
dc.contributor.department	Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Πληροφορικής	el
dc.description.abstractEN	The exponential growth of big data has presented significant challenges in processing and analyzing vast datasets efficiently. Traditional approaches often struggle to meet the demands of real-time processing and delivering actionable insights. This thesis explores the design and implementation of a scalable, modular system capable of processing big data files in real time, leveraging machine learning techniques to extract meaningful insights. Built upon a microservices architecture, the system prioritizes modularity, fault tolerance, and scalability to ensure robust performance. Key components of the architecture include advanced data processing frameworks, distributed computing principles, and cutting-edge software engineering practices. These elements work in harmony to enable seamless data flow, efficient computation, and reliable storage. The system also integrates secure mechanisms for user authentication and authorization, centralized log management for enhanced monitoring, and interactive data visualizations via a responsive web interface. By combining real-time analytics with machine learning capabilities, this work addresses critical challenges in the big data domain and offers a flexible platform for future innovations and extensions.	el
dc.contributor.master	Προηγμένα Συστήματα Πληροφορικής - Ανάπτυξη Λογισμικού και Τεχνητής Νοημοσύνης	el
dc.subject.keyword	Big data	el
dc.subject.keyword	Microservices architecture	el
dc.subject.keyword	Apache Spark	el
dc.subject.keyword	Spring Boot	el
dc.subject.keyword	ASP. NET 8.0	el
dc.subject.keyword	Angular	el
dc.subject.keyword	Domain-driven design	el
dc.subject.keyword	Redis	el
dc.date.defense	2024-11-27

Αρχεία σε αυτό το τεκμήριο

Name:: Parthenis_21042.pdf
Μέγεθος:: 13.70Mb
Τύπος:: PDF
Description:: Μεταπτυχιακή διατριβή

Προβολή/Άνοιγμα

Αυτό το τεκμήριο εμφανίζεται στις ακόλουθες συλλογές

Τμήμα Πληροφορικής
Department of Informatics

Εμφάνιση απλής εγγραφής

Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα

Εκτός από όπου διευκρινίζεται διαφορετικά, το τεκμήριο διανέμεται με την ακόλουθη άδεια:
Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα