Νέες μετρικές σε συστήματα συστάσεων

Abstract

Οι έρευνες πάνω στα συστήματα συστάσεων έχουν επικεντρωθεί σε παραδοσιακές μετρικές όπως η ακρίβεια και στο πόσο κοντά είναι η προβλεπόμενη αξιολόγηση του συστήματος σε σχέση με την πραγματική αξιόλογηση του χρήστη. Ωστόσο τα τελευταία χρόνια έχει γίνει ευρέως αποδεκτό ότι υπάρχουν και άλλες μετρικές που μπορούν να έχουν αντίκτυπο στην ποιότητα των προτάσεων ενός συστήματος συστάσεων. Αυτές οι μετρικές έχουν να κάνουν με το πόσο ποικίλες ή καινούργιες είναι οι προτάσεις για το χρήστη και πόσο μεγάλο εύρος καλύπτουν από τα συνολικά διαθέσιμα αντικείμενα που μπορούν να προταθούν. Στην παρούσα εργασία γίνεται ανάλυση τριών μετρικών εξ αυτών και πιο συγκεκριμένα των diversity, novelty και coverage. Παρουσιάζονται οι ορισμοί τους και διάφορες τεχνικές οπτικοποίησης που συναντάμε στη βιβλιογραφία όπως επίσης και σχετικές εργασίες που επικεντρώνονται στη βελτίωση της απόδοσης των μετρικών αυτών. Μέσα από τη βιβλιογραφία αντιληφθήκαμε ότι δεν είναι ξεκάθαρο αν και πως η βελτίωση κάθε μετρικής επηρεάζει τις υπόλοιπες. Για αυτό το λόγο χρησιμοποιώντας μια τεχνική αναδιάταξης με βάση το diversity κάναμε διάφορα offline πειράματα στο movielens σύνολο δεδομένων και προσπαθήσαμε να συγκρίνουμε τις συσχετίσεις που έχει η οπτικοποιημένη μετρική diversity σε σχέση με τις υπόλοιπες μετρικές. Η τεχνική αναδιάταξης εφαρμόστηκε πάνω σε state of the art αλγορίθμους των δύο βασικών κατηγοριών του συνεργατικού φιλτραρίσματος. Από τα αποτελέσματα μας αν και σε περιορισμένο εύρος βρήκαμε θετική συσχέτιση μεταξύ του diversity και του novelty και αρνητική συσχέτιση μεταξύ του diversity και της ακρίβειας.