Trajectory analysis of moving vehicles in real time

Abstract

Η συνεχώς αυξανόμενη παραγωγή χωροχρονικών δεδομένων, η ταχύτητα της παραγωγής τους καθώς και η ανάπτυξη των συστημάτων ανάλυσης ροών δεδομένων, έχουν οδηγήσει στη δημιουργία νέων προκλήσεων στον τομέα της ανάλυσης δεδομένων. Η ανάλυση δεδομένων τροχιάς είναι νευραλγικής σημασίας για εταιρείες και οργανισμούς που διαθέτουν στόλο οχημάτων, τον οποίο οφείλουν να διαχειρίζονται αποτελεσματικά. H σωστή διαχείριση του στόλου στηρίζεται στη γρήγορη λήψη αποφάσεων. Είναι επομένως σημαντικό, η ανάλυση δεδομένων που εκπέμπονται από συσκευές εγκατεστημένες στα οχήματα, να γίνεται αποτελεσματικά και σε πραγματικό χρόνο. Στη συγκεκριμένη διπλωματική εργασία, προτείνουμε ένα σύστημα το οποίο επεξεργάζεται τα δεδομένα που εκπέμπονται από τα οχήματα, σε πραγματικό χρόνο και δημιουργεί μία συνοπτική και επεξηγηματική αναφορά για τα ταξίδια που πραγματοποίησε το κάθε όχημα. Μία από τις σημαντικότερες δυσκολίες που αντιμετωπίζουν τα συστήματα ανάλυσης ροών δεδομένων σε πραγματικό χρόνο είναι η σωστή διαχείριση εκείνων των δεδομένων που καταφθάνουν αργοπορημένα στο σύστημα. Η υλοποίηση μας αντιμετωπίζει αυτό το πρόβλημα, καθώς εντοπίζει και επεξεργάζεται αποτελεσματικά τα δεδομένα που φτάνουν στο σύστημα σε λανθασμένη χρονολογική σειρά. Για την υλοποίηση του παραπάνω συστήματος στόχος ήταν η χρησιμοποίηση κλιμακώσιμων τεχνολογιών. Για την αποθήκευση των δεδομένων που εκπέμπονται από τις εγκατεστημένες στα οχήματα συσκευές, χρησιμοποιήθηκε το Apache Kafka. Την επεξεργασία των αποθηκευμένων δεδομένων την αναλαμβάνει το Apache Flink, το οποίο είναι ικανό να επεξεργάζεται συνεχείς αλλά και οριοθετημένες ροές δεδομένων, κατανεμημένα, σε υψηλό ρυθμό, με ελάχιστη καθυστέρηση και με ανοχή στα σφάλματα. Στη συνέχεια, τα επεξεργασμένα δεδομένα, αποθηκεύονται με τη βοήθεια του Elasticsearch, το οποίο επιτρέπει τη γρήγορη αναζήτηση των στατιστικών που επιθυμεί ο χρήστης. Τέλος, το Kibana αναλαμβάνει την οπτικοποίηση των αποθηκευμένων δεδομένων. Η δομή της παρούσας διπλωματικής εργασίας είναι η ακόλουθη: Αρχικά, παρουσιάζεται το θεωρητικό υπόβαθρο που αφορά την επεξεργασία μεγάλων δεδομένων, τόσο οριοθετημένων όσο και συνεχών ροών. Στη συνέχεια, γίνεται παρουσίαση και σύγκριση των διαφόρων συστημάτων επεξεργασίας ροών δεδομένων. Τέλος, εξηγείται εκτενώς η προτεινόμενη αρχιτεκτονική, παρουσιάζονται οι επιδόσεις του συστήματος, καθώς και ο τρόπος επεξεργασίας τόσο των δεδομένων που φτάνουν στη σωστή χρονολογική σειρά, όσο και των δεδομένων που φτάνουν στο σύστημα αργοπορημένα.