Δημιουργία και ανίχνευση επιθέσεων μεταμόρφωσης προσώπου με τη χρήση τεχνικών βαθιάς μάθησης

Abstract

Τα τελευταία χρόνια, τα συστήματα βιομετρικής αναγνώρισης προσώπου έχουν ενταχθεί σε πολλές εφαρμογές υψηλής ασφάλειας, όπως η έκδοση ηλεκτρονικών διαβατηρίων, η πρόσβαση στα σύνορα λόγω ελέγχου και η είσοδος σε λεπτές υπηρεσίες. Παρά τη καθημερινή εξέλιξη της ορθότητας τους, τα συστήματα αυτά διατηρούν μια ευάλωτη κατάσταση σε μια διαφορετική εξελιγμένη μορφή απάτης: τις επιθέσεις μορφοποίησης προσώπου (face morphing attacks). Πρόκειται για τεχνικές που ενώνουν τα χαρακτηριστικά δύο διαφορετικών προσώπων σε μία και μόνο εικόνα, η οποία μπορεί να ταυτοποιηθεί αποτελεσματικά και ως προς τους δύο αρχικά πρόσωπα. Η εν λόγω μεταπτυχιακή διπλωματική εργασία ερευνά το πρόβλημα από τις δύο όψεις του: της παραγωγής και του εντοπισμού. Στο πρώτο μέρος, δημιουργούνται τέσσερις διαφορετικές μέθοδοι δημιουργίας morphed εικόνων, οι οποίες εκπροσωπούν τόσο τις παραδοσιακές όσο και τις πιο μοντέρνες τάσεις: διαδικασία βασισμένη σε σημεία αναφοράς (landmark-based), αναβαθμισμένη μορφή με Poisson blending, δημιουργία μέσω StyleGAN2 και τέλος δημιουργία μέσω μοντέλων διάχυσης (DDPM). Στη συνέχεια, προετοιμάζεται και κρίνεται ένα σύστημα ανίχνευσης (Morphing Attack Detection - MAD) στηριγμένο σε ιδιομορφίες Multi-Block Local Binary Patterns (MB-LBP) και διαχωριστή Support Vector Machine (SVM). Δημιουργείται αναλυτική πειραματική εξέταση με χρήση cross-evaluation, ώστε να αναλυθεί η δεξιότητα γενίκευσης κάθε εκπαιδευμένου μοντέλου έναντι διαφορετικών εκδόσεων επιθέσεων. Τα δεδομένα αποκαλύπτουν ότι οι διαχωριστές / ταξινομητές που προσαρμόζονται σε έναν ειδικό τύπο morph εμφανίζουν δυνατή πτώση απόδοσης όταν υλοποιούνται σε ξεχωριστούς τύπους, επισημαίνοντας το καθήκον για πιο πλήρης και ισχυρά προγράμματα ανίχνευσης. Εξαιρετικά ενδιαφέρον παρουσιάζει η επισήμανση ότι οι γεννητικές μέθοδοι (StyleGAN2, Diffusion, DDPM) εμφανίζονται με ίδια στατιστικά μοτίβα, όπου έχουν διαφορά σε σχέση με αυτά των landmark-based morphs. Η εργασία ολοκληρώνεται με σχολιασμό των αποτελεσμάτων, αναφορά στον κώδικα δεοντολογίας της έρευνας και προτάσεις για περαιτέρω έρευνα .