Explainability in human-artificial intelligence collaboration

Abstract

Οι πρόσφατες εξελίξεις στον τομέα της Τεχνητής Νοημοσύνης (ΤΝ) (Artificial Inteligence - AI) επιτρέπουν την ανάπτυξη μεθόδων ΤΝ που καθιστούν δυνατή τη συνεργασία ανθρώπου-ΤΝ (Human-AI Collaboration) και ανθρώπου-ρομπότ (Human-Robor Collaboration - HRC). Εδώ, η συνεργασία ορίζεται ως η δράση ανθρώπων και ρομπότ σε έναν κοινό χώρο εργασίας (task-space) με σκοπό την επίτευξη κοινών στόχων. Οι μέθοδοι Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning - DRL) έχουν χρησιμοποιηθεί πρόσφατα για εργασίες (tasks) συνεργασίας ανθρώπου-ρομπότ, επιτρέποντας επίσης τη συνεκμάθηση (co-learning) της εκάστοτε εργασίας. Ωστόσο, τέτοιες μέθοδοι, παρά την ικανότητά τους να παράγουν επιθυμητές συμπεριφορές, δεν μπορούν να εξηγήσουν τη συμπεριφορά των πρακτόρων (agents), δηλαδή γιατί ένας πράκτορας αποφάσισε να επιλέξει μια συγκεκριμένη ενέργεια έναντι όλων των άλλων πιθανών ενεργειών. Η έλλειψη επεξηγησιμότητας στις μεθόδους ΤΝ έχει πολλές επιπτώσεις, συμπεριλαμβανομένης της μειωμένης εμπιστοσύνης στην αλληλεπίδραση ανθρώπου-ΤΝ, καθώς και ζητημάτων διαφάνειας και λογοδοσίας. Στην παρούσα διατριβή, χρησιμοποιούμε τις τιμές SHAP ως μέθοδο για την εξήγηση της συμπεριφοράς του πράκτορα, αναλύοντας τον τρόπο με τον οποίο τα χαρακτηριστικά (features) του χώρου καταστάσεων (state space) επηρεάζουν τις επιλεγμένες ενέργειές του. Στην περίπτωσή μας, ένας πράκτορας εκπαιδεύεται μέσω του DRL αλγορίθμου Soft Actor-Critic (SAC) για να μάθει πώς να συνεργάζεται με έναν άνθρωπο, με σκοπό την από κοινού μετακίνηση ενός UR3 cobot προς έναν κοινό χωρικό στόχο σε πραγματικό χρόνο, σε ένα περιβάλλον προσομοίωσης. Επιπλέον, χρησιμοποιούμε τον KernelSHAP για να υπολογίσουμε τη σημαντικότητα των χαρακτηριστικών στις καταστάσεις του πράκτορα και αξιοποιούμε αυτές τις τιμές για να δημιουργήσουμε εξηγήσεις βασισμένες σε δεδομένα που συλλέχθηκαν από μια expert ομάδα ανθρώπου-πράκτορα. Τέλος, ελέγχουμε εάν οι τιμές SHAP συνάδουν με την ανθρώπινη διαίσθηση.