Neuro-symbolic complex event recognition in autonomous driving

Abstract

Η αναγνώριση σύνθετων συμβάντων (CER) στοχεύει στην αποδοτική αναγνώριση χρονικών συμβάντων και την αντίδραση σε αυτά. Μερικές φορές, αυτά τα συμβάντα πρέπει να αναγνωριστούν από άλλες μορφές δεδομένων πέρα από απλά αριθμητικά δεδομένα, με το βίντεο να αποτελεί μια συνηθισμένη μορφή. Ένα παράδειγμα είναι ο τομέας της αυτόνομης οδήγησης, όπου πρέπει να αναγνωρίζονται διάφορα συμβάντα από την οπτική γωνία ενός αυτόνομου οχήματος. Ωστόσο, οι περισσότερες μέθοδοι βαθιάς μάθησης που επιλύουν προβλήματα υπολογιστικής όρασης λειτουργούν ως «μαύρα κουτιά», ένα χαρακτηριστικό ακατάλληλο για τέτοιες εφαρμογές υψηλού κινδύνου. Επιπλέον, δεν μπορούν να αξιοποιήσουν την υπάρχουσα γνώση του τομέα, π.χ. γνωστά μοτίβα που πρέπει να αναγνωριστούν. Σε αυτή την εργασία, προτείνουμε μια νευρο-συμβολική προσέγγιση που αναγνωρίζει σύνθετα οδικά συμβάντα συνδυάζοντας την υπάρχουσα εξηγήσιμη τεχνολογία CER με μεθόδους υπολογιστικής όρασης. Εφαρμόσαμε τη μέθοδό μας στην πρόβλεψη συμβάντων «προσπέρασης» και την αξιολογήσαμε τόσο για αυτό το σύνθετο συμβάν όσο και για τα απλούστερα συμβάντα από τα οποία αποτελείται, συγκρίνοντάς τη με μια προσέγγιση βαθειάς μάθησης. Παρόλο που η προτεινόμενη μέθοδός μας είχε καλύτερη απόδοση συνολικά, το κύριο εύρημα της έρευνάς μας ήταν η ικανότητά της να παράγει καλά αποτελέσματα με μικρότερα και απλούστερα δίκτυα, σε σύγκριση με την κλασική νευρωνική προσέγγιση, η οποία απαιτούσε σημαντικά μεγαλύτερα δίκτυα για να επιτύχει την ίδια απόδοση.