Μέτρα απόστασης και ομοιότητας σε πολυδιάστατους χώρους και η χρήση τους σε προβλήματα ομαδοποίησης πολυδιάστατων δεδομένων

Abstract

Η ανάλυση κατά συστάδες αποτελεί έναν από τους σημαντικότερους κλάδους της Στατιστικής και της Επιστήμης των Δεδομένων, με εφαρμογές σε πλήθος επιστημονικών και τεχνολογικών πεδίων. Στόχος της είναι η ανακάλυψη υποκείμενης δομής και προτύπων, μέσα σε σύνολα δεδομένων, μέσω της ομαδοποίησης παρατηρήσεων που παρουσιάζουν ομοιότητες και της διάκρισης εκείνων που εμφανίζουν διαφοροποιήσεις. Καθοριστικό ρόλο σε αυτή τη διαδικασία διαδραματίζει η έννοια της απόστασης ή της ομοιότητας, καθώς το μέτρο που επιλέγεται για τον υπολογισμό της εγγύτητας μεταξύ αντικειμένων καθορίζει άμεσα το αποτέλεσμα και την ποιότητα της ομαδοποίησης. Η επιλογή διαφορετικών μετρικών αποστάσεων δύναται να οδηγήσει σε ουσιωδώς διαφορετικά αποτελέσματα, ακόμη και όταν εφαρμόζεται ο ίδιος αλγόριθμος clustering στο ίδιο σύνολο δεδομένων. Η διεθνής βιβλιογραφία περιγράφει μια πληθώρα εναλλακτικών μετρικών, από τις κλασικές Ευκλείδειες αποστάσεις έως πιο εξειδικευμένα μέτρα, όπως η απόσταση Mahalanobis ή οι δείκτες ομοιότητας τύπου Jaccard και Cosine. Κάθε μέτρο παρουσιάζει θεωρητικά πλεονεκτήματα και μειονεκτήματα, καθώς και διαφορετικό πεδίο εφαρμογής, γεγονός που καθιστά τη μελέτη και σύγκρισή τους αναγκαία για την κατανόηση της συμπεριφοράς τους σε πολυδιάστατους χώρους δεδομένων. Μέσα στο πλαίσιο αυτό, η παρούσα διπλωματική εργασία εστιάζει σε τρεις άξονες. Στη συστηματική παρουσίαση των σημαντικότερων μετρικών αποστάσεων και στα Μέτρα ομοιότητας που χρησιμοποιούνται στη βιβλιογραφία, με αναφορά στις μαθηματικές τους ιδιότητες και στις θεωρητικές σχέσεις που τις συνδέουν. Στην ανάλυση της σχέσης μεταξύ απόστασης και ομοιότητας, καθώς και της τεχνικής μετάβασης από το ένα μέτρο στο άλλο, με ιδιαίτερη έμφαση στις εφαρμογές που συναντώνται σε τεχνικές μηχανικής μάθησης και εξόρυξης δεδομένων. Στην πειραματική αξιολόγηση διαφορετικών μετρικών μέσω της εφαρμογής αλγορίθμων clustering σε πολυδιάστατα σύνολα δεδομένων, ώστε να αποτιμηθεί η αποτελεσματικότητά τους σε πραγματικά σενάρια. Η συνδυαστική θεώρηση θεωρίας και πράξης αναμένεται να προσφέρει μια ολοκληρωμένη εικόνα για τον ρόλο που διαδραματίζει η επιλογή μετρικής απόστασης στη διαδικασία της ομαδοποίησης. Με τον τρόπο αυτό, η εργασία στοχεύει όχι μόνο να φωτίσει τις θεωρητικές πτυχές του προβλήματος, αλλά και να προτείνει πρακτικές κατευθύνσεις για την ορθολογική επιλογή μετρικών ανάλογα με τα χαρακτηριστικά των δεδομένων και τις απαιτήσεις της εκάστοτε εφαρμογής.