Vulnerabilities and robustness in computer vision

Abstract

Η παρούσα διπλωματική εργασία εξετάζει προς την ευρωστία και τις ευπάθειες αρχιτεκτονικές μοντέλων που χρησιμοποιούνται στην υπολογιστική όραση. Η προσεγγιση ως προς την μοντελοποιηση αυτη του προβληματος, περιλαμβάνει την συλλογη ενος φασματος αρχιτεκτονικών εκπαιδευμενων μοντέλων που χρησιμοποιούνται ευρέως στην υπολογιστική όραση και συγκεκριμένα τον τομέα του Image classification με μνεία την στροφή του τομέα απο τα CNN στην χρηση των Transformers. Τα μοντέλα αυτά ειναι το Resnet, το Cvt , το Swin transformer , το Vision transfomrer και το Convnext , οπου εξακριβώνουμε την αποδοτικότητα τους στο dataset που εχουν εκπαιδευτει Imagenet-1k και την εφαρμογη τους σε ιδιομορφο dataset που περιέχει παρόμοιες κλάσεις οπου χρησιμοποιήθηκε το Objectnet. Αφου παρατηρησουμε την μη επαρκειά τους να κρατήσουν τις αρχικές τους μετρικές και μεγάλη αποκλιση εξετάζουμε πιθανές αιτίες που πιθανον επηρεάζουν .Επειτα αφου διαχωρίζουμε σε κατηγορίες τις κυριότερες ευπάθειες στον τομέα της υπολογιστικής όρασης εκτελούμε μια untargeted white box και μια targeted black box επίθεση στα μοντέλα μας , την FGSM και εναν γενετικο αλγοριθμο αντίστοιχα , αναλύουμε τα αποτελέσματα μας με βάση την αρχιτεκτονική των μοντέλων αυτων. Εξάγουμε συμπερασματα για το οτι η ευρωστία ειναι ενας πολυδιαστατος τομέας που εχουμε ακόμα αρκετο δρομο να δρόμο μπροστα μας για να τον διασφαλίσουμε και παραθέτουμε τα αποτελέσματα μας σχετικά με το ποιες αρχιτεκτονικες απο αυτες ήταν πιο ανθεκτικές ως προς την ακρίβεια τους στα εκάστοτε πειράματα.