Video binary classification using deep learning techniques

Abstract

Στον τομέα της σύνοψης βίντεο απαιτείται η αποτελεσματική διάκριση μεταξύ πληροφοριακών και μη πληροφοριακών τμημάτων βίντεο για τη δημιουργία συνοπτικών περιλήψεων που περικλείουν το ουσιαστικό τους περιεχόμενο. Χρησιμοποιώντας προηγμένες μεθόδους βαθιάς μάθησης για την εξαγωγή χαρακτηριστικών τόσο από δεδομένα ήχου όσο και από οπτικά δεδομένα, η μελέτη αυτή χρησιμοποιεί ένα ευρύ φάσμα βελτιστοποιημένων αλγορίθμων ταξινόμησης μαζί με νέους που βασίζονται σε LSTM, Attention-based και Transformers μοντέλα. Μια πρώιμη προσέγγιση σύντηξης ενσωματώνει τα οπτικοακουστικά δεδομένα για να ενισχύσει την ακρίβεια της ταξινόμησης. Παρά τις αξιοσημείωτες επιτυχίες, ιδίως με τα οπτικά δεδομένα, οι προκλήσεις στην εξαγωγή χαρακτηριστικών ήχου και ορισμένες επιδόσεις μοντέλων υποδεικνύουν τους τομείς για μελλοντική βελτίωση. Η διατριβή συμβάλλει στον τομέα καταδεικνύοντας τις δυνατότητες του συνδυασμού ακουστικών και οπτικών χαρακτηριστικών με τη χρήση τεχνικών βαθιάς μάθησης για τη δυαδική ταξινόμηση βίντεο, θέτοντας στέρεες βάσεις για την ανάπτυξη ακριβέστερων περιλήψεων βίντεο.