Υπολογισμός ανάστροφων ερωτημάτων κατάταξης σε κατανεμημένο περιβάλλον

Abstract

Τα τελευταία χρόνια προτάθηκε ένας νέος τύπος ερωτήματος, το Reverse Top-k ερώτημα. Το ερώτημα αυτό προσέλκυσε το ενδιαφέρον τόσο της ερευνητικής όσο και της επιχειρηματικής κοινότητας. Το ερώτημα αυτό μπορεί να εντοπιστεί για παράδειγμα σε εφαρμογές επιχειρηματικής ευφυΐας καθώς θα μπορούσε να χρησιμοποιηθεί για να προβλέψει την απήχηση ενός προϊόντος στο καταναλωτικό κοινό. Από την άλλη πλευρά τα μεγάλα δεδομένα αποτελούν έναν τομέα με πολύ μεγάλη δραστηριότητα, τόσο από τον επιχειρηματικό όσο και από τον ερευνητικό χώρο καθώς η παραγωγή δεδομένων τόσο από επιχειρήσεις όσο και ατομικά είναι πρωτόγνωρη. Έτσι σε αυτή την εργασία αντιμετωπίζεται το πρόβλημα της επεξεργασίας των Reverse Top-k ερωτημάτων με παράλληλο και κατανεμημένο τρόπο. Αξίζει να σημειωθεί ότι το πρόβλημα αυτό δεν έχει αντιμετωπιστεί ακόμα. Ακόμα για την παράλληλη και κατανεμημένη επεξεργασία δεδομένων χρησιμοποιήθηκε το MapReduce framework καθώς αποτελεί έναν από τους πιο δημοφιλείς τρόπους για τέτοιου είδους επεξεργασία. Στην εργασία αυτή, αρχικά προτείνονται δύο αλγόριθμοι για την αντιμετώπιση του προβλήματος εκ των οποίων ο ένας αποδεικνύεται καλύτερος καθώς πετυχαίνει χαμηλότερους χρόνους απόκρισης και μπορεί να διαχειριστεί μεγάλους όγκους δεδομένων. Κάτι που προκύπτει από το μεγάλο πλήθος πειραμάτων που εκτελέστηκαν κατά την διάρκεια της εργασίας αυτής. Ο αλγόριθμος ο οποίος προτείνεται βασίζεται σε ιδιότητες οι οποίες παρουσιάζονται κατά την διάρκεια της εργασίας και αποτελεί μία πρώτη προσπάθεια για την αντιμετώπιση του προβλήματος της κατανεμημένης και παράλληλης επεξεργασίας των Reverse Top-k ερωτημάτων.