KANB-Enhanced neural networks for mobility forecasting

Abstract

Στη συγκεκριμένη εργασία εξετάζεται το αν εκπαιδεύσιμες συναρτήσεις ενεργοποίησης της οικογένειας KANB μπορούν να βελτιώσουν την πρόβλεψη θαλάσσιας κινητικότητας. Το πρόβλημα είναι η πρόβλεψη του αριθμού πλοίων σε συγκεκριμένα γεωγραφικά κελιά για έξι χρονικούς ορίζοντες των 5 λεπτών, μέχρι τα 30 λεπτά. Οι δέκα χρονοσειρές που χρησιμοποιούνται είναι από την περιοχή του Αιγαίου και της Βρέστης, ενώ κάθε κελί αντιμετωπίζεται και χρησιμοποιείται για εκπαίδευση ως ξεχωριστό πρόβλημα. Στα δεδομένα περιλαμβάνονται ο τρέχοντας αριθμός πλοίων, οι χρονικές υστερήσεις, οι μεταβλητές γειτονικών κελιών και ημερολογιακά χαρακτηριστικά. Εφόσον τα διαθέσιμα γνωρίσματα κάθε γειτονιάς δεν είναι κοινά και δεν έχουν το ίδιο σχήμα σε όλες τις περιοχές, η προεπεξεργασία των δεδομένων έγινε ανά κελί. Στο Αιγαίο υπήρχαν πολύ λίγα κενά, ενώ χρονικοί κάδοι που δεν υπήρχαν, αντιστοιχούσαν πρακτικά σε μηδενική κίνηση. Από την άλλη, στα δεδομένα της Βρέστης, οι μηδενικές τιμές υπήρχαν και αντιστοιχούσαν σε άγνωστες παρατηρήσεις. Έτσι έγινε μόνο περιορισμένη συμπλήρωση του μελλοντικού χρονικού ορίζοντα για κενά έως 15 λεπτά, με τα μεγαλύτερα διαστήματα να αφαιρούνται από την εκπαίδευση και την αξιολόγηση. Ο διαχωρισμός των δεδομένων έγινε με αναλογία 70/15/15 και ήταν χρονολογικός ώστε να μην εισάγεται πληροφορία από το μέλλον. Το μοντέλο είναι ένας Transformer δύο επιπέδων. Κάθε αριθμητικό γνώρισμα μετατρέπεται σε διάνυσμα 64 διαστάσεων και αντιμετωπίζεται ως ξεχωριστό token. Επομένως, ο μηχανισμός προσοχής μαθαίνει σχέσεις ανάμεσα στα γνωρίσματα και όχι ανάμεσα σε διαδοχικά χρονικά βήματα. Η χρονική πληροφορία βρίσκεται στις μεταβλητές υστέρησης. Η συνάρτηση ενεργοποίησης που εξετάζεται τοποθετείται στο feed-forward τμήμα κάθε Transformer block, με ανεξάρτητες παραμέτρους ανά επίπεδο. Συγκρίνονται οι KANB17, KANB18 και KANB21 με τις ReLU, GELU και ParametricGELU. Όλες οι υπόλοιπες επιλογές του μοντέλου παραμένουν σταθερές. Η πλήρης διαδικασία χωρίστηκε σε δύο στάδια. Αρχικά έγινε διαδοχική ρύθμιση υπερπαραμέτρων μόνο στο σύνολο επικύρωσης, με την KANB21 και πέντε χρονοσειρές ανάπτυξης. Κάθε φορά άλλαζε μία παράμετρος, ενώ το test set παρέμενε κλειστό. Επιλέχθηκαν learning rate 3 × 10− 4, Adam epsilon 10− 5, batch size 256, 150 epochs, depth 2 και 4 attention heads. Το early stopping δεν χρησιμοποιήθηκε και οι αρχικές τιμές των παραμέτρων KANB έμειναν αμετάβλητες. Η τελική αξιολόγηση περιλαμβάνει 300 εκπαιδεύσεις: δέκα χρονοσειρές, έξι συναρτήσεις ενεργοποίησης και πέντε τυχαίους σπόρους. Η GELU έχει το χαμηλότερο μέσο validation relative MAE (0,8037). Στο test set, η KANB17 έχει το χαμηλότερο μέσο relative MAE (0,8498), ενώ η ReLU κατατάσσεται πρώτη σε πέντε από τις δέκα χρονοσειρές. Οι διαφορές είναι μικρές: για παράδειγμα, η διαφορά KANB21–GELU είναι −0,0012 και δεν είναι στατιστικά τεκμηριωμένη (exact p = 0,912). Όλα τα διαστήματα εμπιστοσύνης των συγκρίσεων KANB με τις βασικές ενεργοποιήσεις περιλαμβάνουν το μηδέν. Το μοντέλο ξεπερνά την απλή πρόβλεψη επιμονής σε οκτώ χρονοσειρές, αλλά όχι στα Brest 74768 και 75108. Οι μαθημένες καμπύλες επιβεβαιώνουν ότι οι παράμετροι KANB ενημερώθηκαν σε κάθε Transformer block. Παρ’ όλα αυτά, η προσαρμογή τους δεν έδωσε σταθερό πλεονέκτημα στο MAE. Το ασφαλές συμπέρασμα είναι ότι οι KANB είναι ανταγωνιστικές εναλλακτικές με μικρή επιβάρυνση σε παραμέτρους, όχι καθολικά καλύτερες συναρτήσεις ενεργοποίησης για το συγκεκριμένο πρόβλημα. Σε έναν πρόσθετο έλεγχο με την KANB17 δοκιμάστηκαν batch size 512, ReduceLROnPlateau και μία επαναφορά του learning rate. Καμία από αυτές τις αλλαγές δεν βελτίωσε τη μέση επίδοση στο validation set σε σχέση με το αρχικό πρωτόκολλο, δηλαδή batch size 256 και σταθερό learning rate. Στην αξιολόγηση χρησιμοποιήθηκε επίσης το PEMS04, ένα σύνολο δεδομένων οδικής κυκλοφορίας με 307 αισθητήρες και παρατηρήσεις ανά 5 λεπτά. Κάθε χρονικό σημείο έχει 3 μεταβλητές: την κυκλοφοριακή ροή, πληρότητα και μέση ταχύτηταη . Στόχος αυτού του πειράματος ήταν να αξιολογηθούν οι KANB σε ένα διαφορετικό πρόβλημα κινητικότητας, με μη γραμμική συμπεριφορά καθώς και χωρική διασύνδεση μεταξύ των αισθητήρων. Καθώς η σύγκριση όλων των συνδυασμών μεταξύ των 307 αισθητήρων, με έξι ενεργοποιήσεις και 5 seeds θα χρειαζόταν 9210 runs, επιλέχθηκε ένα μικρό υποσύνολο. Η αρχική ομάδα υποψηφίων σχηματίστηκε μόνο από το training set, βάσει του απόλυτου και σχετικού σφάλματος της πρόβλεψης persistence. Στο validation set κρατήθηκαν οι αισθητήρες στους οποίους το μη γραμμικό Histogram Gradient Boosting ξεπερνούσε το Ridge και το persistence στον ορίζοντα των 30 λεπτών. Με αυτή τη διαδικασία επιλέχθηκαν και πάγωσαν οι αισθητήρες 202, 289, 303, 2 και 106. Το test set δεν χρησιμοποιήθηκε κατά την επιλογή.

Κάθε δείγμα του PEMS04 περιλαμβάνει 71 γνωρίσματα: 36 πρόσφατες τιμές του αισθητήρα- στόχου, 24 πρόσφατες τιμές ροής από δύο γειτονικούς αισθητήρες, έξι ημερήσιες και

εβδομαδιαίες υστερήσεις και πέντε ημερολογιακές μεταβλητές. Ο στόχος είναι η κυκλοφοριακή ροή στους ίδιους έξι χρονικούς ορίζοντες που χρησιμοποιήθηκαν στα ναυτιλιακά δεδομένα, από 5 έως 30 λεπτά. Το τελικό πείραμα περιλάμβανε 150 runs, δηλαδή πέντε αισθητήρες, έξι συναρτήσεις ενεργοποίησης και πέντε τυχαίους σπόρους. Η KANB18 πέτυχε το χαμηλότερο μέσο test relative MAE, με τιμή 0,747688, έναντι 0,749232 της ReLU και 0,750365 της GELU. Η KANB18 ήταν καλύτερη από τη GELU και στους μέσους όρους των πέντε αισθητήρων, σε 16 από τα 25 paired runs και σε πέντε από τους έξι χρονικούς ορίζοντες. Η συνολική βελτίωση έναντι της GELU ήταν 0,357%. Η διαφορά δεν έφτασε το συμβατικό επίπεδο στατιστικής σημαντικότητας, αφού ο ακριβής αμφίπλευρος έλεγχος έδωσε p=0,0625. Με μόνο πέντε ανεξάρτητους αισθητήρες, όμως, το πείραμα είχε περιορισμένη στατιστική ισχύ. Η κοινή κατεύθυνση του αποτελέσματος στους αισθητήρες και στους περισσότερους χρονικούς ορίζοντες αποτελεί θετική ένδειξη για την KANB18. Χρειάζεται αξιολόγηση σε μεγαλύτερο δείγμα αισθητήρων για να διαπιστωθεί αν το πλεονέκτημα διατηρείται και αποκτά ισχυρότερη στατιστική τεκμηρίωση.