Κατανεμημένος υπολογισμός πινάκων αφετηρίας - προορισμού με χρήση της τεχνολογίας mapreduce

Abstract

Σκοπός της παρούσας μεταπτυχιακής διατριβής είναι η δημιουργία τρόπων επεξεργασίας, μεγάλου όγκου χωροχρονικών δεδομένων. Στόχος είναι η δημιουργία πινάκων αφετηρίας-προορισμού (origindestination matrices) μέσω της χρήσης του mapreduce προγραμματιστικού παραδείγματος (programming paradigm) και του εργαλείου Hadoop. Τέλος, θα πραγματοποιηθεί η εγκατάσταση και ενεργοποίηση του παραπάνω αλγορίθμου σε συστάδα Η/Υ (cluster) του εργαστηρίου infoLab για την παραγωγή αποτελεσμάτων εκτέλεσης και την αξιολόγησή τους. Πιο συγκεκριμένα, δίδονται αρχεία δειγμάτων δρομολογίων μέσων μεταφοράς με συντεταγμένες σε πολική μορφή (geospatial data) από τους χρήστες, αταξινόμητα με απλή μορφοποίηση. Η πρώτη συμβολή της εργασίας μας έγκειται στην ορθή αναπαράσταση των δρομολογίων με βάση βέλτιστο πλέγμα κατηγοριοποίησης χώρου και την συνεπακόλουθη δημιουργία των κατάλληλων αντίστοιχων μητρώων προέλευσης προορισμού (O-D matrices). Η δεύτερη συμβολή της εργασίας μας, σχετίζεται με την κατάλληλη εισαγωγή της τεχνολογίας mapreduce στην επεξεργασία των ανωτέρω O-D matrices. Πιο συγκεκριμένα, ακολουθείται μία διαδικασία τριών σταδίων κατά την οποία ξεκινώντας από χάρτες (mappers) είτε από διαδρομές, ανά κελί του πλέγματος, η κατάληξη είναι η δημιουργία reduced O-D matrices που περιλαμβάνουν όλη την απαραίτητη πληροφορία προς περαιτέρω επεξεργασία από κατανεμημένο σύστημα χρησιμοποιώντας την τεχνολογία Hadoop.