Show simple item record

Trajectory analysis of moving vehicles in real time

dc.contributor.advisorΔουλκερίδης, Χρήστος
dc.contributor.advisorDoulkeridis, Christos
dc.contributor.authorΓιαννόπουλος, Κωνσταντίνος
dc.contributor.authorGiannopoulos, Konstantinos
dc.date.accessioned2022-09-19T08:21:48Z
dc.date.available2022-09-19T08:21:48Z
dc.date.issued2022
dc.identifier.urihttps://dione.lib.unipi.gr/xmlui/handle/unipi/14590
dc.identifier.urihttp://dx.doi.org/10.26267/unipi_dione/2013
dc.description.abstractΗ συνεχώς αυξανόμενη παραγωγή χωροχρονικών δεδομένων, η ταχύτητα της παραγωγής τους καθώς και η ανάπτυξη των συστημάτων ανάλυσης ροών δεδομένων, έχουν οδηγήσει στη δημιουργία νέων προκλήσεων στον τομέα της ανάλυσης δεδομένων. Η ανάλυση δεδομένων τροχιάς είναι νευραλγικής σημασίας για εταιρείες και οργανισμούς που διαθέτουν στόλο οχημάτων, τον οποίο οφείλουν να διαχειρίζονται αποτελεσματικά. H σωστή διαχείριση του στόλου στηρίζεται στη γρήγορη λήψη αποφάσεων. Είναι επομένως σημαντικό, η ανάλυση δεδομένων που εκπέμπονται από συσκευές εγκατεστημένες στα οχήματα, να γίνεται αποτελεσματικά και σε πραγματικό χρόνο. Στη συγκεκριμένη διπλωματική εργασία, προτείνουμε ένα σύστημα το οποίο επεξεργάζεται τα δεδομένα που εκπέμπονται από τα οχήματα, σε πραγματικό χρόνο και δημιουργεί μία συνοπτική και επεξηγηματική αναφορά για τα ταξίδια που πραγματοποίησε το κάθε όχημα. Μία από τις σημαντικότερες δυσκολίες που αντιμετωπίζουν τα συστήματα ανάλυσης ροών δεδομένων σε πραγματικό χρόνο είναι η σωστή διαχείριση εκείνων των δεδομένων που καταφθάνουν αργοπορημένα στο σύστημα. Η υλοποίηση μας αντιμετωπίζει αυτό το πρόβλημα, καθώς εντοπίζει και επεξεργάζεται αποτελεσματικά τα δεδομένα που φτάνουν στο σύστημα σε λανθασμένη χρονολογική σειρά. Για την υλοποίηση του παραπάνω συστήματος στόχος ήταν η χρησιμοποίηση κλιμακώσιμων τεχνολογιών. Για την αποθήκευση των δεδομένων που εκπέμπονται από τις εγκατεστημένες στα οχήματα συσκευές, χρησιμοποιήθηκε το Apache Kafka. Την επεξεργασία των αποθηκευμένων δεδομένων την αναλαμβάνει το Apache Flink, το οποίο είναι ικανό να επεξεργάζεται συνεχείς αλλά και οριοθετημένες ροές δεδομένων, κατανεμημένα, σε υψηλό ρυθμό, με ελάχιστη καθυστέρηση και με ανοχή στα σφάλματα. Στη συνέχεια, τα επεξεργασμένα δεδομένα, αποθηκεύονται με τη βοήθεια του Elasticsearch, το οποίο επιτρέπει τη γρήγορη αναζήτηση των στατιστικών που επιθυμεί ο χρήστης. Τέλος, το Kibana αναλαμβάνει την οπτικοποίηση των αποθηκευμένων δεδομένων. Η δομή της παρούσας διπλωματικής εργασίας είναι η ακόλουθη: Αρχικά, παρουσιάζεται το θεωρητικό υπόβαθρο που αφορά την επεξεργασία μεγάλων δεδομένων, τόσο οριοθετημένων όσο και συνεχών ροών. Στη συνέχεια, γίνεται παρουσίαση και σύγκριση των διαφόρων συστημάτων επεξεργασίας ροών δεδομένων. Τέλος, εξηγείται εκτενώς η προτεινόμενη αρχιτεκτονική, παρουσιάζονται οι επιδόσεις του συστήματος, καθώς και ο τρόπος επεξεργασίας τόσο των δεδομένων που φτάνουν στη σωστή χρονολογική σειρά, όσο και των δεδομένων που φτάνουν στο σύστημα αργοπορημένα.el
dc.format.extent117el
dc.language.isoenel
dc.publisherΠανεπιστήμιο Πειραιώςel
dc.rightsΑναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα*
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/gr/*
dc.titleTrajectory analysis of moving vehicles in real timeel
dc.title.alternativeΑνάλυση τροχιάς κινούμενων οχημάτων σε πραγματικό χρόνοel
dc.typeMaster Thesisel
dc.contributor.departmentΣχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Ψηφιακών Συστημάτωνel
dc.description.abstractENThe ever-increasing production of spatiotemporal data, the increasingly velocity of their production as well as the development of real-time streaming data analysis systems, have raised new challenges in the field of data analysis. The analysis of trajectory data of moving objects is crucial for companies and organizations, which possess, and therefore need to effectively manage, fleets of vehicles. Efficient fleet management is based on quick and effective decision making. Thus, real-time and effective analysis of GPS emitted data is of vital importance. In this Diploma Thesis, we propose a system that processes the GPS emitted data in real-time and creates a concise and explanatory report of each vehicle’s trips. One of the major challenges that real-time streaming data analysis systems are facing, is the effective processing of the delayed, out-of-order data. Our proposed implementation addresses this issue since it effectively detects and processes data that reaches the system in wrong chronological order. The implementation of the proposed system is based on the use of scalable technologies. Apache Kafka was adopted as storage layer for the GPS emitted data. Processing of stored data is undertaken by Apache Flink, which is capable of distributed processing bounded and unbounded data streams, with high throughput, low latency and in a fault-tolerant way. The processed data are then stored into Elasticsearch, which allows fast search and retrieval of the required statistics. The last step of the proposed implementation is the visualization of the stored statistics. Kibana is used to create all the necessary dashboards, providing the end user with a high overview of the results. This thesis is structured as follows: First, the theoretical foundations of big data analysis for both streaming and bounded data are presented. Then, the most popular real-time stream processing frameworks are presented and compared. Moreover, we explain in detail the proposed architecture, how our application is processing data that reach the system in chronological order and how it handles the delayed data. Finally, we present the performance of the implemented system.el
dc.contributor.masterΠληροφοριακά Συστήματα και Υπηρεσίεςel
dc.subject.keywordSpatiotemporal datael
dc.subject.keywordBig datael
dc.subject.keywordReal-time data analyticsel
dc.subject.keywordStream processing frameworksel
dc.date.defense2022-09-02


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record

Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα
Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα

Βιβλιοθήκη Πανεπιστημίου Πειραιώς
Contact Us
Send Feedback
Created by ELiDOC
Η δημιουργία κι ο εμπλουτισμός του Ιδρυματικού Αποθετηρίου "Διώνη", έγιναν στο πλαίσιο του Έργου «Υπηρεσία Ιδρυματικού Αποθετηρίου και Ψηφιακής Βιβλιοθήκης» της πράξης «Ψηφιακές υπηρεσίες ανοιχτής πρόσβασης της βιβλιοθήκης του Πανεπιστημίου Πειραιώς»