Αναγνώριση ενεργειών σε βίντεο αγώνων ποδοσφαίρου με μηχανική μάθηση

Abstract

Η παρούσα πτυχιακή εργασία αντιμετωπίζει τον διαγωνισμό: Player Centered Ball Action Spotting(PC-BAS) από την οργάνωση SoccerNet, στα πλαίσια του οποίου λαμβάνουμε έναν συνδυασμό τακτικών δεδομένων(tactical data), ιχνηλάτησης παικτών(player tracklets) και τηλεοπτικών μεταδόσεων των παιχνιδιών καλούμαστε να εντοπίσουμε ενέργειες παικτών. Σε αυτή την εργασία προτείνεται μία αρχιτεκτονική η οποία αξιοποιεί ένα Heterogeneous Graph Transformer ώστε να συνδιάσει τα τακτικά δεδομένα με τις ιχνηλατήσεις των παικτών και τα πλαίσια των τηλεοπτικών μεταδόσεων, και ένα MS-TCN++ για να συσχετίσει χρονικά τα δεδομένα που αφορούν σε διαφορετικές χρονικές στιγμές. Στην εκπαίδευση αυτού του μοντέλου χρησιμοποιήθηκε συνάρτηση κόστους με κατανόηση κατάστασης(CALF), η οποία είχε αναπτυχθεί για έναν διαφορετικό διαγωνισμό του ίδιου οργανισμού. Αυτή η εργασία ενδυναμώνει αυτή την συνάρτηση κόστους κάνοντάς την να λαμβάνει υπόψη τον παίκτη που ενεργεί σε κάθε ενέργεια. Επιπλέον, ώστε να λάβει το μοντέλο ξεκάθαρη αντίληψη της κατανομής των παικτών στο γήπεδο εισήχθησαν κόμβοι ζώνης, οι οποίοι περιέχουν πληροφορία για το πόσοι παίκτες υπάρχουν σε κάθε ζώνη. Για την αξιολόγηση της απόδοσης της Αρχιτεκτονικής χρησιμοποιήσαμε την αξιολόγηση του διαγωνισμού μέσω της πλατφόρμας Codabench, όπου το πλήρες μοντέλο επιτυγχάνει 39.9% micro-F1 και 25.2% macro-F1 στο σύνολο επικύρωσης (VAL split), ξεπερνώντας την εκδοχή χωρίς γράφο κατά 6.2 μονάδες macro-F1, με τα μεγαλύτερα κέρδη να εμφανίζονται στις σχεσιακές κατηγορίες ενεργειών, όπως cross, block και shot, όπου το πλαίσιο μεταξύ παικτών έχει τη μεγαλύτερη σημασία