Supporting human-AI co-learning through emphasizing recent experiences

Abstract

Η συνεργασία μεταξύ ανθρώπου και τεχνητής νοημοσύνης αποτελεί κρίσιμο στοιχείο των διαδραστικών συστημάτων, ιδιαίτερα σε εργασίες που απαιτούν ομαλή και προσαρμοστική ομαδική συνεργασία. Ωστόσο, η επίτευξη αποτελεσματικής συνεργασίας μεταξύ ανθρώπων και πρακτόρων για την επίτευξη ενός στόχου είναι χρονοβόρα και απαιτητική. Η μάθηση μέσω μίμησης, η οποία συχνά θεωρείται υποκατηγορία της μεταφοράς μάθησης, έχει αξιοποιηθεί για την επιτάχυνση της εκπαίδευσης των πρακτόρων μέσω επιδείξεων από ειδικούς· ωστόσο, αυτού του είδους τα δεδομένα είναι συχνά δύσκολα και κοστοβόρα στην απόκτησή τους. Η παρούσα εργασία εξετάζει την επίδραση της στρατηγικής Έμφασης στις Πρόσφατες Εμπειρίες (Emphasized Recent Experience - ERE), μιας μεθόδου χρονικής προτεραιοποίησης, στη συνεργατική δυναμική ενός πράκτορα Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning - DRL), ο οποίος εκπαιδεύεται με τον αλγόριθμο Dicrete Soft Actor-Critic (SAC), σε ένα παιχνίδι συνεργασίας ανθρώπου-πράκτορα. Στη μελέτη συμμετείχαν τρεις ομάδες, με πέντε συμμετέχοντες η καθεμία, ακολουθώντας διαφορετικές στρατηγικές εκπαίδευσης: Η Ομάδα 1 χρησιμοποίησε τον βασικό αλγόριθμο SAC, η Ομάδα 2 αλληλεπίδρασε με πράκτορα SAC με χρήση της ERE, ενώ η Ομάδα 3 εφάρμοσε Μεταφορά Μάθησης (Transfer Learning - TL) μέσω δεδομένων επίδειξης από ειδικούς. Τα αποτελέσματα δείχνουν ότι η ενσωμάτωση της ERE βελτιώνει σημαντικά τόσο την απόδοση όσο και τη συνέπεια του πράκτορα SAC, διατηρώντας παράλληλα την αποδοτικότητα χρόνου της TL μεθόδου. Ακόμη και στα μεταγενέστερα στάδια του παιχνιδιού, το ERE αποτελεί μια πολλά υποσχόμενη εναλλακτική ως προς τις επιδόσεις των άπειρων χρηστών. Επιπλέον, οι υποκειμενικές αξιολογήσεις των συμμετεχόντων υποδηλώνουν καλύτερη συνολική εμπειρία παιχνιδιού και εντονότερη αίσθηση συνεργασίας σε σύγκριση με τον βασικό SAC.