Επεξεργασία χωροκειμενικών ερωτημάτων εύρους για μεγάλα δεδομένα

Abstract

Η αυξανόμενη χρήση του Διαδικτύου μέσω κινητών συσκευών εξοπλισμένων με GPS έχει οδηγήσει στη δημιουργία ενός τεράστιου όγκου δεδομένων χωρο-κειμενικού χαρακτήρα, τα οποία χαρακτηρίζονται από γεωγραφική θέση και κειμενική περιγραφή. Η πολυπλοκότητα στη διαχείριση των χωρο-κειμενικών δεδομένων προκύπτει από την υψηλή διαστασιμότητα του χώρου που αντιπροσωπεύουν. Δεδομένου του μεγάλου όγκου χωρο-κειμενικών δεδομένων, έχουν αναπτυχθεί ποικίλοι τύποι ερωτημάτων για να καλύψουν διάφορες ανάγκες. Ωστόσο, αυτή η εργασία επικεντρώνεται στα χωρο-κειμενικά ερωτήματα εύρους. Ο σκοπός ενός τέτοιου ερωτήματος είναι να εντοπίζει αντικείμενα που βρίσκονται κοντά σε μια καθορισμένη τοποθεσία και επιδεικνύουν ομοιότητα με τις λέξεις-κλειδιά του ερωτήματος. Επιπλέον λόγω του όγκου τους απαιτούνται κατανεμημένα συστήματα για την επεξεργασία και αποθήκευσή τους. Στην παρούσα διπλωματική εργασία, παρουσιάστηκε ένας αλγόριθμος ευρετηρίασης χωρο-κειμενικών δεδομένων για εκτέλεση ερωτημάτων εύρους σε κατανεμημένο περιβάλλον επεξεργασίας. Ο αλγόριθμος υλοποιήθηκε σε Apache Spark και συγκρίθηκε με spatial first και textual first μεθόδους σε Apache Spark, Apache Sedona και GeoMesa ως προς τον χρόνο εκτέλεσης.