Επεξεργασία δεδομένων μεγάλου όγκου σε πραγματικό χρόνο με μηχανική μάθηση, χρησιμοποιώντας Apache Spark και μικροϋπηρεσίες

Abstract

Η ραγδαία ανάπτυξη των δεδομένων μεγάλου όγκου (big data) έχει παρουσιάσει νέες προκλήσεις στην αποτελεσματική επεξεργασία και ανάλυση τεράστιας ποσότητας πληροφορίας. Οι παραδοσιακές μέθοδοι συχνά αποτυγχάνουν να ανταποκριθούν στις απαιτήσεις της επεξεργασίας σε πραγματικό χρόνο και της εξαγωγής χρήσιμων συμπερασμάτων. Αυτή η Μεταπτυχιακή Διατριβή παρουσιάζει την ανάπτυξη ενός επεκτάσιμου, αρθρωτού συστήματος που επεξεργάζεται αρχεία μεγάλου όγκου σε πραγματικό χρόνο, εφαρμόζοντας τεχνικές μηχανικής μάθησης για την παραγωγή πολύτιμων αποτελεσμάτων. Το σύστημα λειτουργεί μέσα σε μία αρχιτεκτονική μικροϋπηρεσιών, διασφαλίζοντας αρθρωτότητα, ανθεκτικότητα σε σφάλματα και επεκτασιμότητα. Η αρχιτεκτονική ενσωματώνει προηγμένες τεχνολογίες επεξεργασίας δεδομένων, αρχές κατανεμημένου υπολογισμού και σύγχρονες πρακτικές σχεδιασμού λογισμικού για την επίτευξη ομαλής ροής δεδομένων, αποδοτικής υπολογιστικής επεξεργασίας και αξιόπιστης αποθήκευσης. Επιπλέον, διαθέτει μηχανισμούς ασφαλούς ταυτοποίησης και εξουσιοδότησης χρηστών, ένα κεντρικό σύστημα διαχείρισης καταγραφών (logs) και διαδραστικές οπτικοποιήσεις δεδομένων μέσω μίας δυναμικής διεπαφής ιστού. Το σύστημα αυτό αναδεικνύει τη δυνατότητα συνδυασμού ανάλυσης σε πραγματικό χρόνο με μηχανική μάθηση για την αντιμετώπιση σύγχρονων προκλήσεων στον τομέα των big data, προσφέροντας παράλληλα μια ευέλικτη πλατφόρμα για περαιτέρω επεκτάσεις.