Ανάπτυξη εφαρμογής σε cloud computing : υπολογισμός Skyline σημείων βασισμένη στη μέθοδο MapReduce με χρήση της γλώσσας R

Abstract

Στην παρούσα εργασία μελετάμε την απόδοση μιας υπολογιστικής συστάδας (clustering), βασισμένη πάνω στην ανάπτυξη ενός skyline αλγορίθμου. Επιπλέων ο συγκεκριμένος αλγόριθμος είναι υλοποιημένος έτσι ώστε να τρέχει παράλληλα σε κατανεμημένα συστήματα, με την μέθοδο του MapReduce. Συγκεκριμένα το πειραματικό μέρος της εργασίας αποτελείτε από μια υπολογιστική συστάδα (clustering) από έναν μέχρι τέσσερεις κόμβους, όπου πραγματοποιείτε χρονική σύγκριση με τρία διαφορετικά dataset των 2000 σημείων. Επιπλέων μετράτε ξεχωριστά η χρονική απόδοση του κάθε dataset από έναν μέχρι τέσσερεις κόμβους αντίστοιχα. Η ανάπτυξη της εφαρμογής βασίζετε πάνω στην μέθοδο του ΜapReduce, και υλοποιείτε στην γλώσσα R. Η βασική αρχιτεκτονική της είναι ουσιαστικά τρεις βασικές λειτουργίες όπως, η γεννήτρια τυχαίων αριθμών, η ταξινόμηση των σημείων κατά αύξουσα σειρά κατά στήλη και τέλος ο υπολογισμός των skyline σημείων. Τέλος η εφαρμογή μας, έχει δοκιμαστεί τοπικά σε υπολογιστή με την χρήση Εικονικών Μηχανών (Virtual Machines), όπου αυτά βασίζονται στην πλατφόρμα Cloudera. Επιπλέων το cluster μας είναι σε θέση τρέξει και σε υποδομές Υπολογιστικού Νέφους (Cloud Computing).