Deepfake detection with deep learning : leveraging remote heart rate estimation to discriminate real from fake videos of faces

Abstract

Ta Deepfakes γίνονται γρήγορα πραγµατιϰότητα. Αυτά τα µέσα δηµιουργούνται από πολύ ισχυρά εργαλεία που επιτρέπουν γρήγορο ϰαι φϑηνό χειρισµό µέσων. Τα βίντεο αυτά µπορούν να χρησιµοποιηϑούν για ανήϑιϰες ϰαι ϰαϰόβουλες εφαρµογές, όπως η διάδοση ψεύτιϰων ειδήσεων ή ψεύτιϰο πορνό. ∆εδοµένων των επερχόµενων προβλη µάτων που ϑέτουν αυτά τα µέσα, ερευνητές έχουν αρχίσει να εργάζονται µε διαφορε τιϰούς τρόπους για να προσπαϑήσουν να εντοπίσουν αυτούς τους τύπους µέσων. Αυτή η διπλωµατιϰή εργασία διερευνά τη χρονιϰή προσέγγιση της ανίχνευσης deepfake, µε ιδιαίτερη έµφαση στην εξερεύνηση των φυσιολογιϰών τεχνουργηµάτων που σχετίζονται µε την ϰαταστροφή των φυσιολογιϰών σηµάτων, όπως η µεταβλητότητα του ϰαρδιαϰού ρυϑµού, που λαµβάνονται µέσω του πλαισίου pyVHR. Η µελέτη χρησιµοποιεί πολλά µοντέλα τελευταίας τεχνολογίας Συνελιϰτιϰού Νευρωνιϰού ∆ιϰτύου (CNN), συµπεριλ αµβανοµένων των AlexNet, ResNet ϰαι SincNet, µαζί µε διάφορες τροποποιήσεις ϰαι δι αφορετιϰές τεχνιϰές προεπεξεργασίας δεδοµένων. Αυτά τα µοντέλα εϰπαιδεύονται ϰαι αξιολογούνται στο σύνολο δεδοµένων FaceForensics+, παρέχοντας µια ολοϰληρωµένη αξιολόγηση της αποτελεσµατιϰότητάς τους στον εντοπισµό του deepfake βίντεο. Τα αποτελέσµατα αυτής της έρευνας δείχνουν ότι το µοντέλο SincNet έχει ϰαλύτερη από δοση από άλλα µοντέλα σε διαφορετιϰά σύνολα δεδοµένων στο σύνολο δεδοµένων Face Forensics++. Συγϰεϰριµένα, επιτυγχάνει εντυπωσιαϰή αϰρίβεια 95,8% ϰαι F1-score 95,9% όταν εϰπαιδεύεται στο σύνολο δεδοµένων FaceShifter. Ωστόσο, η απόδοση του µοντέλου ποιϰίλλει ανάλογα µε το συγϰεϰριµένο σύνολο δεδοµένων που χρησιµοποιείται για την εϰπαίδευση, υποδειϰνύοντας τη σηµασία της επιλογής δεδοµένων στην ανίχνευση deep fake βίντεο. Τα αποτελέσµατα υπογραµµίζουν τη δυνατότητα χρήσης φυσιολογιϰών σηµάτων, που εξάγονται από το εργαλείο pyVHR, για την ανίχνευση deepfake βίντεο. Εί ναι αξιοσηµείωτο ότι το µοντέλο SincNet έδειξε την ιϰανότητα αποτελεσµατιϰής διάϰρ ισης µεταξύ πραγµατιϰών ϰαι ψεύτιϰων βίντεο χρησιµοποιώντας µόνο τα σήµατα BVP που εξάγονται από το εργαλείο pyVHR.