Adversarial attacks and robustness in deep neural networks for sound event detection

Abstract

Καθώς η χρήση των συστημάτων Ανίχνευσης Ηχητικών Συμβάντων (Sound Event Detection - SED) επεκτείνεται σε εφαρμογές του πραγματικού κόσμου και σε κρίσιμες για την ασφάλεια καταστάσεις, η διασφάλιση της ανθεκτικότητάς τους απέναντι σε κακόβουλους χειρισμούς καθίσταται ολοένα και πιο σημαντική. Η παρούσα διπλωματική εργασία διερευνά την ευπάθεια των μοντέλων βαθιάς μάθησης που χρησιμοποιούνται στην SED σε επιθέσεις τύπου black-box και εξετάζει στρατηγικές για την ενίσχυση της ανθεκτικότητάς τους.

Από την πλευρά του επιτιθέμενου, εφαρμόζονται δύο μέθοδοι βασισμένες στη βελτιστοποίηση — η Σμηνοειδής Βελτιστοποίηση Σωματιδίων (Particle Swarm Optimization - PSO) και η Διαφορική Εξέλιξη (Differential Evolution - DE) — για τη δημιουργία επιθετικών (adversarial) ηχητικών δειγμάτων. Για τη διατήρηση της μη αντιληψιμότητας και τον έλεγχο του προσθετικού θορύβου, χρησιμοποιούνται όροι κανονικοποίησης και τα πειράματα πραγματοποιούνται υπό διαφορετικούς λόγους σήματος προς θόρυβο (SNR). Οι επιθέσεις αξιολογούνται σε ένα ευρύ φάσμα αρχιτεκτονικών μοντέλων, συμπεριλαμβανομένων συνελικτικών νευρωνικών δικτύων (CNNs) με και χωρίς Global Average Pooling, μοντέλων βασισμένων στο ResNet όπως το AudioCLIP, και αρχιτεκτονικών βασισμένων σε μετασχηματιστές όπως το PaSST. Εφαρμόζεται fine-tuning για την προσαρμογή προεκπαιδευμένων μοντέλων όπως το AudioCLIP στις κατανομές των συνόλων δεδομένων UrbanSound8K και ESC-50, επιτρέποντας συνεπή αξιολόγηση μεταξύ των συνόλων δεδομένων. Τα πειραματικά αποτελέσματα δείχνουν ότι το μοντέλο AudioCLIP που έχει υποστεί fine-tuning είναι ιδιαίτερα ευάλωτο σε επιθέσεις, ενώ τα μοντέλα τύπου μετασχηματιστή όπως το PaSST παρουσιάζουν μεγαλύτερη ανθεκτικότητα.

Για την άμβλυνση της αποτελεσματικότητας των επιθέσεων, χρησιμοποιείται και ενσωματώνεται στην "κεφαλή" κάθε μοντέλου ένας αυτόματος αποκωδικοποιητής αποθορυβοποίησης (denoising autoencoder). Η τεχνική αυτή χρησιμοποιείται επίσης για την ανίχνευση επιθετικών παραδειγμάτων πριν αυτά περάσουν στα μοντέλα. Συγκεκριμένα, με την ανάλυση των αποκλίσεων και αποστάσεων μεταξύ της αρχικής και της ανακατασκευασμένης εισόδου, είναι δυνατό να εξαχθεί συμπέρασμα για το αν ένα δείγμα έχει υποστεί χειρισμό.

Τα αποτελέσματα δείχνουν ότι οι πιο αποτελεσματικές επιθέσεις επιτεύχθηκαν μέσω του αλγορίθμου PSO, φτάνοντας σε μέγιστο ποσοστό επιτυχίας 76% στο μοντέλο AudioCLIP με fine-tuning, για στόχο SNR 5 dB. Καθώς ο περιορισμός του SNR αυξήθηκε στα 15–20 dB, καθιστώντας τις διαταραχές λιγότερο αντιληπτές από τον άνθρωπο, τα ποσοστά επιτυχίας των επιθέσεων μειώθηκαν, σταθεροποιούμενα στο 40–50% για ευάλωτα μοντέλα και κάτω από 20% για πιο ανθεκτικά, επιβεβαιώνοντας τη σχέση ανταλλαγής μεταξύ αποτελεσματικότητας της επίθεσης και μη αντιληψιμότητας. Η αξιολόγηση με τη μέθοδο άμυνας βασισμένη σε Autoencoder έδειξε σταθερή μείωση της επιτυχίας των επιθέσεων κατά 5–10% σε όλα τα μοντέλα, χωρίς αισθητή επίπτωση στην αρχική ακρίβεια ταξινόμησης σε καθαρές εισόδους, καθιστώντας την μία αποτελεσματική αλλά απλή αμυντική προσέγγιση. Επιπλέον, το πείραμα ανίχνευσης βασισμένο στη συνέπεια των προβλέψεων πριν και μετά την αποθορυβοποίηση πέτυχε τέλεια ακρίβεια (precision) 1.0 αλλά με ανάκληση (recall) περίπου 34%, υποδεικνύοντας ότι μπορεί να εντοπίσει αξιόπιστα επιθετικά δείγματα όταν τα ανιχνεύει, αν και παραλείπει ένα ποσοστό των επιθέσεων, γεγονός που υποδηλώνει την ανάγκη για μελλοντικές βελτιώσεις για αύξηση της ευαισθησίας.

Τα ευρήματα αυτά υπογραμμίζουν την επείγουσα ανάγκη για ενίσχυση της ανθεκτικότητας των νευρωνικών δικτύων, ιδιαίτερα σε εφαρμογές κρίσιμης σημασίας για την ασφάλεια, όπου η κακόβουλη παραποίηση θα μπορούσε να έχει σοβαρές συνέπειες. Η ενσωμάτωση ενός αποθορυβοποιητικού autoencoder αποδείχθηκε αποτελεσματική, μειώνοντας σταθερά την επιτυχία των επιθέσεων χωρίς να υποβαθμίζει την απόδοση του μοντέλου, με εμφανή οφέλη τόσο για τα μοντέλα βασισμένα σε CNN όσο και για τις αρχιτεκτονικές τύπου μετασχηματιστή όπως το PaSST. Συνολικά, τα αποτελέσματα τονίζουν τον κρίσιμο ρόλο του σχεδιασμού εγγενώς ανθεκτικών αρχιτεκτονικών μοντέλων και της χρήσης στρατηγικών τεχνικών προεπεξεργασίας για την ενίσχυση των συστημάτων SED απέναντι σε επιθετικές απειλές.