Deep reinforcement learning method in centralized multi-agent air traffic control
Βαθιά ενισχυτική μάθηση για τον κεντρικό πολυπρακτορικό έλεγχο εναέριας κυκλοφορίας
Λέξεις κλειδιά
Deep reinforcement learning ; Multi agent reinforcement learning ; Multi-head attention ; Graph-based method ; Air traffic controlΠερίληψη
Ο στόχος αυτής της διατριβής είναι να σχεδιάσει πολυπρακτορικές μεθόδους Βαθιας Ενισχυτικής Μάθησης και να διερευνήσει την αποτελεσματικότητά τους στη βελτιστοποίηση και την αυτοματοποίηση της εργασίας του Ελέγχου Εναέριας Κυκλοφορίας. Αντιπροσωπεύοντας κάθε πτήση ως πράκτορα, στοχεύουμε στη διατήρηση ένός ελάχιστου διαχωρισμού μεταξύ των πτήσεων παρέχοντας ενέργειες επίλυσης, όπως πλευρικούς ελιγμούς, αλλαγές ταχύτητας και αλλαγές επιπέδου πτήσης. Με αυτόν τον τρόπο, μπορούμε να συμβάλουμε στο εξαιρετικά πολύπλοκο έργο των ανθρώπων-Ελεγκτών Εναέριας Κυκλοφορίας, επιλύοντας πιθανές συγκρούσεις μεταξύ ζευγών πτήσεων. Το πρόβλημα διατυπώνεται ως μια Αποκεντρωμένη Μερικώς Παρατηρήσιμη Μαρκοβιανή Διαδικασία Απόφασης, η οποία επιτρέπει την εκμετάλλευση του μοντέλου που βασίζεται στο μηχανισμό προσοχής εφαρμοσμένο σε γράφους, που ονομάζεται DGN και παρουσιάζεται στο [1], αφού το επεκτείναμε και το βελτιώσαμε κατάλληλα με τη χρήση ακμών του γ΄ραφου. Με βάση το [2], παρουσιάζονται δύο διαφορετικές εκδόσεις, που διερευνούν τόσο στατικές όσο και δυναμικές ακμές. Τα πειράματα που παρέχονται υποδηλώνουν ότι το τελευταίο αποφέρει τα αξιοσημείωτα αποτελέσματα της επίλυσης του 90% των πραγματικών σεναρίων που χρησιμοποιήθηκαν αποκλειστικά στην αποτίμηση και που σχετίζονται με πτήσεις που εκτελούνται στον ισπανικό εναέριο χώρο.