Μέθοδοι βαθιάς μηχανικής μάθησης για την ανάλυση σημάτων βιοακουστικής

Abstract

Η παρούσα μεταπτυχιακή διατριβή πραγματεύεται την ανάπτυξη και αξιολόγηση ενός συστήματος αυτόματης αναγνώρισης ειδών πτηνών μέσω βιοακουστικών δεδομένων, με χρήση τεχνικών βαθιάς μάθησης και ακολουθιακής μοντελοποίησης. Η αυτόματη ανάλυση ηχογραφήσεων πεδίου αποτελεί κρίσιμο εργαλείο για την παρακολούθηση της βιοποικιλότητας, ωστόσο συνοδεύεται από σημαντικές προκλήσεις, όπως η παρουσία περιβαλλοντικού θορύβου, η χρονική ασυνέχεια των φωνητικών εκδηλώσεων και η έντονη ανισορροπία μεταξύ των διαθέσιμων κλάσεων. Στο πλαίσιο της εργασίας προτείνεται ένα σύστημα αναγνώρισης πτηνών που βασίζεται στη μετατροπή των ηχογραφήσεων σε χρονικές ακολουθίες ακουστικών χαρακτηριστικών. Για την εξαγωγή πλούσιων και ανθεκτικών αναπαραστάσεων αξιοποιείται προεκπαιδευμένο ακουστικό μοντέλο της οικογένειας Pre-trained Audio Neural Networks (PANNs), ενώ η ακουστική πληροφορία εμπλουτίζεται με διαθέσιμα μεταδεδομένα των καταγραφών. Οι προκύπτουσες ακολουθίες επεξεργάζονται από μοντέλο βασισμένο σε αρχιτεκτονική Transformer, το οποίο αξιοποιεί μηχανισμούς αυτοπροσοχής για την αποτελεσματική μοντελοποίηση των χρονικών εξαρτήσεων. Για την ενίσχυση της γενικευσιμότητας και την αντιμετώπιση της ανισορροπίας κλάσεων εφαρμόζονται σύγχρονες τεχνικές εκπαίδευσης, όπως Mixup στο επίπεδο των ακουστικών embeddings, κανονικοποίηση της συνάρτησης κόστους και στρατηγικές σταθεροποίησης της εκπαίδευσης, ενώ τεχνικές masking τύπου SpecAugment (time και feature/frequency masking) αξιοποιούνται αποκλειστικά στο στάδιο εξαγωγής προβλέψεων ως Test-Time Augmentation (TTA). Η αξιολόγηση του συστήματος πραγματοποιείται σε πραγματικά βιοακουστικά δεδομένα, προερχόμενα από την πλατφόρμα Xeno-Canto, και τα πειραματικά αποτελέσματα καταδεικνύουν ότι η προτεινόμενη προσέγγιση επιτυγχάνει αξιόπιστη απόδοση και βελτιωμένη γενίκευση, ιδιαίτερα σε σπάνια και ακουστικά απαιτητικά είδη πτηνών.