Εμφάνιση απλής εγγραφής

dc.contributor.advisorΔουλκερίδης, Χρήστος
dc.contributor.authorΟικονομάκης, Σπυρίδων Ι.
dc.date.accessioned2015-02-02T09:18:32Z
dc.date.available2015-02-02T09:18:32Z
dc.date.issued2015-02-02T09:18:32Z
dc.identifier.urihttps://dione.lib.unipi.gr/xmlui/handle/unipi/6271
dc.description.abstractΗ παρούσα Διπλωματική εργασία έχει ως στόχο την αποδοτική επεξεργασία ερωτημάτων με κατάταξη (γνωστά και ως Top-K) με τη μέθοδο Map/Reduce. Στις εφαρμογές που διαχειρίζονται τεράστιο όγκο δεδομένων, η εκτέλεση υπολογισμών ή Top-K ερωτημάτων πρέπει να πραγματοποιηθεί με έναν κατανεμημένο τρόπο καθώς και με παράλληλη επεξεργασία ώστε να είναι γρήγορη και αποδοτική. Για να επιτευχθεί αυτό, χρησιμοποιήθηκε το σύστημα Hadoop και το προγραμματιστικό μοντέλο του Map/Reduce σε κατανεμημένα περιβάλλοντα. Τα μεγαλύτερα πλεονεκτήματα του Hadoop για την ανάπτυξη κατανεμημένων εφαρμογών είναι η παράλληλη επεξεργασία των δεδομένων σε ένα σύνολο κόμβων ενός συμπλέγματος καθώς και η δυνατότητα να διαχειρίζεται αστοχίες υλικού, καθώς το σύστημα ανιχνεύει τις διεργασίες που έχουν αποτύχει και τις επαναδρομολογεί σε άλλους κόμβους του συμπλέγματος. Έτσι η αξιοπιστία διασφαλίζεται σε επίπεδο λογισμικού και δεν εξαρτάται από την ποιότητα του υλικού. Η σημαντικότερη αδυναμία όμως του Map/Reduce σε περιπτώσεις ερωτημάτων κατάταξης (Top-K) είναι ότι για να εξάγει το τελικό αποτέλεσμα, είναι αναγκασμένο να διαβάσει όλα τα δεδομένα, κάτι το οποίο όμως δεν είναι καθόλου αποδοτικό. Στην εργασία, μέσα από το πειραματικό μέρος και την εκτέλεση τριών διαφορετικών αλγορίθμων θα αναδειχθούν οι αδυναμίες της προκαθορισμένης λειτουργίας του προγραμματιστικού μοντέλου Map/Reduce σε Top-K ερωτήματα καθώς και η προτεινόμενη λύση και η αποδοτική επεξεργασία τέτοιου τύπου ερωτημάτων. Θα αντιμετωπιστούν δύο από τις κυριότερες αδυναμίες που εμφανίζονται, τόσο αυτή του πρόωρου τερματισμού (EarlyTermination), όσο και η δίκαιη και ισομερής κατανομή του φορτίου των δεδομένων (Load Balancing).
dc.language.isoel
dc.rightsΑναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 4.0 Διεθνές
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/deed.el
dc.subjectApache Hadoop
dc.subjectFile organization (Computer science)
dc.titleΑποδοτική επεξεργασία ερωτημάτων κατάταξης στο map / reduce
dc.typeMaster Thesis
dc.identifier.call005.74 ΟΙΚ
dc.description.abstractENThe present Thesis aims to process efficiently ranked queries (also known as Top-K) by the Map/Reduce method. In applications that manage huge volumes of data, the execution of computations or Top-K queries must be carried out in a distributed way, as well as with parallel processing so that it will be quick and efficient. In order to achieve that, the Hadoop system and the Map/Reduce programming model were used in distributed environments. The major advantages of Hadoop in the development of distributed applications is the parallel data processing in a set of cluster nodes, as well as the capability to manage machine failures, while the system detects the tasks that have failed and reroutes them to other nodes of the cluster. In this way, the reliability is ensured in terms of software and it does not depend on the quality of the hardware. However, the most important shortcoming of the Map/Reduce in cases of ranked queries (Top-K) is that in order to extract the final result, it is obliged to read the whole amount of data, a procedure that is not efficient at all. This study, through the experimental part and the execution of three different algorithms, aims to show the disadvantages of the default operation of the Map/Reduce programming model in Top-K queries, as well as the recommended solution and the effective processing of such query types. Two of the major shortcomings that occur will be managed, namely the Early Termination and the Load Balancing.


Αρχεία σε αυτό το τεκμήριο

Thumbnail

Αυτό το τεκμήριο εμφανίζεται στις ακόλουθες συλλογές

Εμφάνιση απλής εγγραφής

Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 4.0 Διεθνές
Εκτός από όπου διευκρινίζεται διαφορετικά, το τεκμήριο διανέμεται με την ακόλουθη άδεια:
Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 4.0 Διεθνές

Βιβλιοθήκη Πανεπιστημίου Πειραιώς
Επικοινωνήστε μαζί μας
Στείλτε μας τα σχόλιά σας
Created by ELiDOC
Η δημιουργία κι ο εμπλουτισμός του Ιδρυματικού Αποθετηρίου "Διώνη", έγιναν στο πλαίσιο του Έργου «Υπηρεσία Ιδρυματικού Αποθετηρίου και Ψηφιακής Βιβλιοθήκης» της πράξης «Ψηφιακές υπηρεσίες ανοιχτής πρόσβασης της βιβλιοθήκης του Πανεπιστημίου Πειραιώς»