Μπεϋζιανή βελτιστοποίηση για τη ρύθμιση υπερπαραμέτρων σε αλγορίθμους μηχανικής μάθησης

Abstract

Η παρούσα μεταπτυχιακή διπλωματική εργασία εξετάζει τη μεθοδολογία της Μπεϋζιανής Βελτιστοποίησης (Bayesian Optimization) για τη διαχείριση υπολογιστικά δαπανηρών συναρτήσεων «μαύρου κουτιού» (black-box). Το κεντρικό ερευνητικό ερώτημα εστιάζει στη συγκριτική αξιολόγηση εξατομικευμένων υλοποιήσεων —βασισμένων σε Gaussian Processes με διαφορετικούς πυρήνες και συναρτήσεις απόκτησης— έναντι καθιερωμένων βιβλιοθηκών αυτοματοποιημένης μηχανικής μάθησης, όπως το Optuna και το HyperOpt. Η κύρια επιστημονική συνεισφορά της έρευνας έγκειται στην ανάπτυξη ενός παραμετροποιήσιμου πλαισίου βελτιστοποίησης και στην εκτενή ανάλυση της συμπεριφοράς του, τόσο σε μαθηματικές συναρτήσεις αναφοράς ποικίλων διαστάσεων υπό την παρουσία θορύβου, όσο και σε ένα πραγματικό πρόβλημα ρύθμισης υπερπαραμέτρων για τον αλγόριθμο ιεραρχικής συσταδοποίησης (Agglomerative Clustering). Τα αποτελέσματα αναδεικνύουν μια σαφή σχέση συμβιβασμού μεταξύ ακρίβειας και ταχύτητας. Οι ιδιοκατασκευασμένες προσεγγίσεις υπερέχουν σταθερά σε ακρίβεια, προσεγγίζοντας με εξαιρετική πιστότητα το ολικό βέλτιστο. Αντίθετα, οι έτοιμες βιβλιοθήκες προσφέρουν σημαντικά μεγαλύτερη υπολογιστική αποδοτικότητα και ταχύτητα εκτέλεσης, ειδικότερα σε προβλήματα υψηλής διαστασιμότητας. Οι τομείς εφαρμογής των ερευνητικών αποτελεσμάτων εκτείνονται στην Επιστήμη των Δεδομένων για την αυτόματη ρύθμιση σύνθετων μοντέλων, καθώς και σε βιομηχανικά προβλήματα όπου η αξιολόγηση των πραγματικών συναρτήσεων είναι οικονομικά ή χρονικά ασύμφορη.