Ολοκληρωμένη διαδυκτιακή πλατφόρμα δυναμικής εκτέλεσης αλγορίθμων μηχανικής μάθησης
Holistic web-based platform for dynamic execution of machine learning algorithms
Προβολή/ Άνοιγμα
Λέξεις κλειδιά
Μεγάλα δεδομένα ; Big data ; Επεξεργασία δεδομένων ; Data processing ; Εξόρυξη δεδομένων ; Data mining ; Μηχανική μάθηση ; Machine learning ; Spark ; Python ; PysparkΠερίληψη
Στον σύγχρονο κόσμο μεγάλοι όγκοι δεδομένων καθώς και ποικιλία αυτών παράγονται κάθε ώρα και στιγμή της ημέρας είτε μέσω τεχνολογιών είτε από ανθρώπινους παράγοντες. Αυτά τα δεδομένα παράγονται είτε σε πραγματικό χρόνο ( real-time) είτε μαζικά (batches). Η μαζική επεξεργασία δεδομένων είναι εκείνη που πραγματοποιείται σε ένα τμήμα των δεδομένων που έχουν αποθηκευτεί για μια συγκεκριμένη χρονική περίοδο. Η επεξεργασία των πωλήσεων ενός μήνα μιας μεγάλης εμπορικής αλυσίδας είναι ένα παράδειγμα μαζικής επεξεργασίας δεδομένων, οι οποίες θα τεθούν υπό ανάλυση προς όφελος της αλυσίδας.
Ενώ ο αριθμός των τεχνολογιών αυξάνεται, η χρήση τους αυξάνεται, και κατ’ επέκταση και τα δεδομένα που παράγουν. Ο πολύ μεγάλος όγκος δεδομένων χαρακτηρίζεται με το όρο ‘big data’. Τα μεγάλα αυτά δεδομένα μπορεί αν είναι δομημένα (structured) ή αδόμητα (unstructured).
Σε αυτή την εργασία θα δημιουργήσουμε μια διαδυκτιακής βάσης (web-based) πλατφόρμα για μηχανική μάθηση και επεξεργασία μεγάλων δεδομένων μαζικά.