Comparative analysis of SQL queries performance on vehicle sensor data in RDBMS and Apache Spark

Abstract

Στη σημερινή ψηφιακή εποχή, η αύξηση στον όγκο, την ποικιλομορφία και την ταχύτητα των δεδομένων έχει καταστήσει αναγκαία την αναζήτηση προηγμένων τεχνικών αποθήκευσης και ανάλυσης μεγάλων δεδομένων. Η συνεχής βελτίωση των υπολογιστών και η ανάπτυξη νέων τεχνολογιών για την αποθήκευση και επεξεργασία δεδομένων επεκτείνουν τις παραδοσιακές τεχνολογίες αποθήκευσης δεδομένων και πλαισίων ανάλυσης. Πολλοί οργανισμοί στρέφονται σε κατανεμημένα υπολογιστικά συστήματα για την επεξεργασία και ανάλυση μεγάλων συνόλων δεδομένων. Μία από τις πιο δημοφιλείς τεχνολογίες σε αυτόν τον τομέα είναι το Apache Spark, ένα γρήγορο και γενικής χρήσης σύστημα που λειτουργεί πάνω σε υπολογιστικούς κόμβους. Ωστόσο, τα παραδοσιακά σχεσιακά συστήματα βάσεων δεδομένων, όπως η Oracle, χρησιμοποιούνται ακόμα ευρέως για την αποθήκευση και ανάκτηση δεδομένων. Σε αυτήν την διπλωματική εργασία συγκρίνουμε την απόδοση ενός συγκεκριμένου συνόλου ερωτημάτων, πάνω σε ένα σύνολο δεδομένων συλλεγμένα από αισθητήρες οχημάτων, που εκτελέστηκαν τόσο σε ένα παραδοσιακό σύστημα σχεσιακής βάσης δεδομένων όσο και στο Apache Spark . Στόχος μας είναι να προσδιορίσουμε εάν οι σύγχρονες τεχνολογίες μπορούν να επιτύχουν ίση ή ακόμα καλύτερη απόδοση από τις σχεσιακές βάσεις δεδομένων όταν πρόκειται για την επεξεργασία και ανάλυση μεγάλων συνόλων δεδομένων, όπως στην περίπτωσή μας. Επιπλέον, η εργασία εξερευνά τις τεχνικές βελτιστοποίησης που μπορούν να χρησιμοποιηθούν για τη βελτίωση της απόδοσης του Spark καθώς και της Oracle.