Grad-CAM vs HiResCAM : a comparative study via quantitative evaluation metrics

Abstract

Σε αυτή την εργασία θεωρούμε τους αλγόριθμους επεξηγησιμότητας (XAI) Grad-CAM και HiResCAM οι οποίοι βασίζονται στη χρήση κλίσης για να παράξουν χάρτες απόδοσης (attribution maps) που εξαρτώνται από τη κλάση των δεδομένων. Οι δύο μέθοδοι διαφέρουν στον τρόπο που αξιοποιούν τη κλίση, καθώς ο HiResCAM πολλαπλασιάζει το κάθε εικονοστοιχείο (pixel) με την αντίστοιχη κλίση ενώ ο Grad-CAM πολλαπλασιάζει τα εικονοστοιχεία με τη μέση τιμή των κλίσεων του χάρτη χαρακτηριστικών στον οποίο ανήκουν. Ακολουθώντας την ορολογία που εμφανίζεται στη δημοσίευση για τον HiResCAM, λέμε ότι μια μέθοδος που υπολογίζει χάρτες απόδοσης λέγεται πιστή (faithful) ως προς το μοντέλο εάν για κάθε κλάση το άθροισμα των τιμών του αντίστοιχου χάρτη απόδοσης ισούται με το αποτέλεσμα που υπολογίζει το μοντέλο, με απόκλιση κάποιου όρου πόλωσης (bias term). Με βάση τη θεωρία της ίδιας δημοσίευσης, όταν η αρχιτεκτονική του Συνελικτικού Νευρωνικού Δικτύου (CNN) είναι της μορφής ‘CNN επίπεδο - Flatten επίπεδο - Αποτέλεσμα κλάσεων’ και οι κλίσεις των αλγορίθμων επεξηγησιμότητας υπολογίζονται ως προς το τελευταίο συνελικτικό επίπεδο τότε ο HiResCAM είναι πιστός ως προς το μοντέλο, ενώ ο Grad-CAM δεν είναι. Βάσει αυτού, στα πλαίσια του προαναφερθέντος περιβάλλοντος, αντλούμε κίνητρο να μελετήσουμε την ποιότητα των χαρτών απόδοσης του HiResCAM και του Grad-CAM μέσω ποσοτικών μετρικών αξιολόγησης και να εξετάσουμε αν η ιδιότητα να είναι ένας αλγόριθμος πιστός στο μοντέλο αντικατοπτρίζεται στα αποτελέσματα των μετρικών. Η προσέγγιση μας υλοποιεί τις μετρικές AOPC, Max-Sensitivity και HAAS και τις εφαρμόζει σε προ-εκπαιδευμένες ResNet και VGG19 συνελικτικές αρχιτεκτονικές και στα σύνολα ιατρικών δεδομένων CRC, Covid-19 Radiography Database, HAM10000 και BreakHis. Τα πειραματικά αποτελέσματα δείχνουν ότι οι μετρικές AOPC και Max-Sensitivity αναδεικνύουν τον πιστό αλγόριθμο, HiResCAM, ως αυτόν που παράγει πιο ποιοτικούς χάρτες απόδοσης. Αυτό οφείλεται κυρίως στο τρόπο διαχείρισης των κλίσεων καθώς ο HiResCAM αξιοποιεί την επιρροή της τιμή τους και του προσίμου τους ξεχωριστά για το κάθε εικονοστοιχείο, κατασκευάζωντας έτσι χάρτες υψηλής ανάλυσης που περιγράφουν με ακρίβεια τη θέση της κλάσης. Τέλος, η HAAS μετρική δεν έδωσε τιμές οι οποίες μπορούν να συνισφέρουν στη σύγκριση των δύο αλγορίθμων, καθώς σχεδόν σε όλα τα πειράματα, ανεξαρτήτως δεδομένων, μοντέλου και μεθόδου επεξηγησιμότητας, υπολόγισε πως οι παραγόμενοι χάρτες ήταν κακής ποιότητας. Κατ΄ επέκταση η προσέγγιση μας επικεντρώθηκε στην αναζήτηση πιθανών αιτιών για τη συνολικά αποκλίνουσα συμπεριφορά της μετρικής, δίνοντας έμφαση στη σύνδεση της με το σχήμα, το χρώμα και τη πυκνότητα της κλάσης.