| dc.contributor.advisor | Μαγκλογιάννης, Ηλίας | |
| dc.contributor.advisor | Maglogiannis, Ilias | |
| dc.contributor.author | Λάμπρου, Ευάγγελος | |
| dc.contributor.author | Lamprou, Vaggelis | |
| dc.date.accessioned | 2023-06-15T11:41:30Z | |
| dc.date.available | 2023-06-15T11:41:30Z | |
| dc.date.issued | 2023-05 | |
| dc.identifier.uri | https://dione.lib.unipi.gr/xmlui/handle/unipi/15495 | |
| dc.identifier.uri | http://dx.doi.org/10.26267/unipi_dione/2917 | |
| dc.description.abstract | Σε αυτή την εργασία θεωρούμε τους αλγόριθμους επεξηγησιμότητας (XAI) Grad-CAM και HiResCAM οι οποίοι βασίζονται στη χρήση κλίσης για να παράξουν χάρτες απόδοσης (attribution maps) που εξαρτώνται από τη κλάση των δεδομένων. Οι δύο μέθοδοι διαφέρουν στον τρόπο που αξιοποιούν τη κλίση, καθώς ο HiResCAM πολλαπλασιάζει το κάθε εικονοστοιχείο (pixel) με την αντίστοιχη κλίση ενώ ο Grad-CAM πολλαπλασιάζει τα εικονοστοιχεία με τη μέση τιμή των κλίσεων του χάρτη χαρακτηριστικών στον οποίο ανήκουν.
Ακολουθώντας την ορολογία που εμφανίζεται στη δημοσίευση για τον HiResCAM, λέμε ότι μια μέθοδος που υπολογίζει χάρτες απόδοσης λέγεται πιστή (faithful) ως προς το μοντέλο εάν για κάθε κλάση το άθροισμα των τιμών του αντίστοιχου χάρτη απόδοσης ισούται με το αποτέλεσμα που υπολογίζει το μοντέλο, με απόκλιση κάποιου όρου πόλωσης (bias term). Με βάση τη θεωρία της ίδιας δημοσίευσης, όταν η αρχιτεκτονική του Συνελικτικού Νευρωνικού Δικτύου (CNN) είναι της μορφής ‘CNN επίπεδο - Flatten επίπεδο - Αποτέλεσμα κλάσεων’ και οι κλίσεις των αλγορίθμων επεξηγησιμότητας υπολογίζονται ως προς το τελευταίο συνελικτικό
επίπεδο τότε ο HiResCAM είναι πιστός ως προς το μοντέλο, ενώ ο Grad-CAM δεν είναι.
Βάσει αυτού, στα πλαίσια του προαναφερθέντος περιβάλλοντος, αντλούμε κίνητρο να μελετήσουμε την ποιότητα των χαρτών απόδοσης του HiResCAM και του Grad-CAM μέσω ποσοτικών μετρικών αξιολόγησης και να εξετάσουμε αν η ιδιότητα να είναι ένας αλγόριθμος πιστός στο μοντέλο αντικατοπτρίζεται στα αποτελέσματα των μετρικών. Η προσέγγιση μας υλοποιεί τις μετρικές AOPC, Max-Sensitivity και HAAS και τις εφαρμόζει σε προ-εκπαιδευμένες ResNet και VGG19 συνελικτικές αρχιτεκτονικές και στα σύνολα ιατρικών δεδομένων CRC, Covid-19 Radiography Database, HAM10000 και BreakHis.
Τα πειραματικά αποτελέσματα δείχνουν ότι οι μετρικές AOPC και Max-Sensitivity αναδεικνύουν τον πιστό αλγόριθμο, HiResCAM, ως αυτόν που παράγει πιο ποιοτικούς χάρτες απόδοσης. Αυτό οφείλεται κυρίως στο τρόπο διαχείρισης των κλίσεων καθώς ο HiResCAM αξιοποιεί την επιρροή της τιμή τους και του προσίμου τους ξεχωριστά για το κάθε εικονοστοιχείο, κατασκευάζωντας έτσι χάρτες υψηλής ανάλυσης που περιγράφουν με ακρίβεια τη θέση της κλάσης. Τέλος, η HAAS μετρική δεν έδωσε τιμές οι οποίες μπορούν να συνισφέρουν στη σύγκριση των δύο αλγορίθμων, καθώς σχεδόν σε όλα τα πειράματα, ανεξαρτήτως δεδομένων,
μοντέλου και μεθόδου επεξηγησιμότητας, υπολόγισε πως οι παραγόμενοι χάρτες ήταν κακής ποιότητας. Κατ΄ επέκταση η προσέγγιση μας επικεντρώθηκε στην αναζήτηση πιθανών αιτιών για τη συνολικά αποκλίνουσα συμπεριφορά της μετρικής,
δίνοντας έμφαση στη σύνδεση της με το σχήμα, το χρώμα και τη πυκνότητα της κλάσης. | el |
| dc.format.extent | 62 | el |
| dc.language.iso | en | el |
| dc.publisher | Πανεπιστήμιο Πειραιώς | el |
| dc.title | Grad-CAM vs HiResCAM : a comparative study via quantitative evaluation metrics | el |
| dc.type | Master Thesis | el |
| dc.contributor.department | Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Ψηφιακών Συστημάτων | el |
| dc.description.abstractEN | In this study we consider the Grad-CAM and HiResCAM eXplainable AI (a.k.a. XAI) algorithms which are gradient based techniques that produce class-specific attribution maps. The two methods differ in the way they utilize the gradient effect as HiResCAM preserves it on a pixel level while Grad-CAM calculates averages over feature map pixels.
We adopt the terminology of the HiResCAM publication and consider an attribution map method to be faithful to a model if the sum of the attribution map values reflects the class score calculation, deviating up to a class-dependent bias term. Based on theory, when the CNN architecture is of the form “Conv layer - Flatten layer - Class Scores” and the XAI algorithm gradients are computed with respect to the last convolutional layer of the network, then one can prove that HiResCAM is faithful to the model and the produced attribution maps accurately highlight the pixel locations the model identifies the class. On the other hand, Grad-CAM’s attribution maps do not exhibit analogous behaviour.
This theoretical result motivates us to investigate the quality of their attribution maps in terms of quantitative evaluation metrics and examine if faithfulness aligns with the metrics results. Our evaluation scheme implements the well-established AOPC and Max-Sensitivity scores along with the recently introduced HAAS score and utilizes ResNet and VGG pre-trained architectures
trained on four well-known medical image datasets; CRC, COVID-19 Radiography Database, HAM10000 and BreakHis.
The experimental results suggest that Max-Sensitivity and AOPC favour the HiResCAM faithful attribution maps over the non-faithful Grad-CAM attribution maps. This is attributed to the fact that HiResCAM fully exploits the gradients in terms of values and sign, producing high resolution HiResCAM attribution maps which provide a more precise class localization. On the other hand, HAAS did not contribute meaningful values to our comparison, as in almost all experiments yielded that the attribution maps are inaccurate, regardless of dataset, model and attribution method. This fuelled further study about its nature and led us to investigate its relation with class features such as the shape, the colour and the pattern distribution. | el |
| dc.corporate.name | Εθνικό Κέντρο Έρευνας Φυσικών Επιστημών «Δημόκριτος» | el |
| dc.contributor.master | Τεχνητή Νοημοσύνη - Artificial Intelligence | el |
| dc.subject.keyword | Grad-CAM | el |
| dc.subject.keyword | HiResCAM | el |
| dc.subject.keyword | Comparison | el |
| dc.subject.keyword | Quantitative | el |
| dc.subject.keyword | Metrics | el |
| dc.date.defense | 2023-06-07 | |
