Explainability in human-artificial intelligence collaboration

Kasiotakis, Ilias; Κασιωτάκης, Ηλίας

dc.contributor.advisor	Dagioglou, Maria
dc.contributor.advisor	Δαγιόγλου, Μαρία
dc.contributor.author	Kasiotakis, Ilias
dc.contributor.author	Κασιωτάκης, Ηλίας
dc.date.accessioned	2026-09-07T14:48:58Z
dc.date.available	2026-09-07T14:48:58Z
dc.date.issued	2026-06
dc.identifier.uri	https://dione.lib.unipi.gr/xmlui/handle/unipi/19721
dc.description.abstract	Οι πρόσφατες εξελίξεις στον τομέα της Τεχνητής Νοημοσύνης (ΤΝ) (Artificial Inteligence - AI) επιτρέπουν την ανάπτυξη μεθόδων ΤΝ που καθιστούν δυνατή τη συνεργασία ανθρώπου-ΤΝ (Human-AI Collaboration) και ανθρώπου-ρομπότ (Human-Robor Collaboration - HRC). Εδώ, η συνεργασία ορίζεται ως η δράση ανθρώπων και ρομπότ σε έναν κοινό χώρο εργασίας (task-space) με σκοπό την επίτευξη κοινών στόχων. Οι μέθοδοι Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning - DRL) έχουν χρησιμοποιηθεί πρόσφατα για εργασίες (tasks) συνεργασίας ανθρώπου-ρομπότ, επιτρέποντας επίσης τη συνεκμάθηση (co-learning) της εκάστοτε εργασίας. Ωστόσο, τέτοιες μέθοδοι, παρά την ικανότητά τους να παράγουν επιθυμητές συμπεριφορές, δεν μπορούν να εξηγήσουν τη συμπεριφορά των πρακτόρων (agents), δηλαδή γιατί ένας πράκτορας αποφάσισε να επιλέξει μια συγκεκριμένη ενέργεια έναντι όλων των άλλων πιθανών ενεργειών. Η έλλειψη επεξηγησιμότητας στις μεθόδους ΤΝ έχει πολλές επιπτώσεις, συμπεριλαμβανομένης της μειωμένης εμπιστοσύνης στην αλληλεπίδραση ανθρώπου-ΤΝ, καθώς και ζητημάτων διαφάνειας και λογοδοσίας. Στην παρούσα διατριβή, χρησιμοποιούμε τις τιμές SHAP ως μέθοδο για την εξήγηση της συμπεριφοράς του πράκτορα, αναλύοντας τον τρόπο με τον οποίο τα χαρακτηριστικά (features) του χώρου καταστάσεων (state space) επηρεάζουν τις επιλεγμένες ενέργειές του. Στην περίπτωσή μας, ένας πράκτορας εκπαιδεύεται μέσω του DRL αλγορίθμου Soft Actor-Critic (SAC) για να μάθει πώς να συνεργάζεται με έναν άνθρωπο, με σκοπό την από κοινού μετακίνηση ενός UR3 cobot προς έναν κοινό χωρικό στόχο σε πραγματικό χρόνο, σε ένα περιβάλλον προσομοίωσης. Επιπλέον, χρησιμοποιούμε τον KernelSHAP για να υπολογίσουμε τη σημαντικότητα των χαρακτηριστικών στις καταστάσεις του πράκτορα και αξιοποιούμε αυτές τις τιμές για να δημιουργήσουμε εξηγήσεις βασισμένες σε δεδομένα που συλλέχθηκαν από μια expert ομάδα ανθρώπου-πράκτορα. Τέλος, ελέγχουμε εάν οι τιμές SHAP συνάδουν με την ανθρώπινη διαίσθηση.	el
dc.format.extent	99	el
dc.language.iso	en	el
dc.publisher	Πανεπιστήμιο Πειραιώς	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.title	Explainability in human-artificial intelligence collaboration	el
dc.title.alternative	Επεξηγησιμότητα στη συνεργασία ανθρώπου-τεχνητής νοημοσύνης	el
dc.type	Master Thesis	el
dc.contributor.department	Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Ψηφιακών Συστημάτων	el
dc.description.abstractEN	Recent advancements in Artificial Intelligence (AI) allow the development of AI methods that enable human-AI and human-robot collaboration. Here, collaboration is defined as the operation of humans and robots in a shared workspace to achieve common goals. Deep Reinforcement Learning (DRL) methods have been used recently for human-robot collaboration tasks allowing also co-learning of the task at hand. However, such methods, despite their ability to generate desirable behaviors, they cannot explain agents’ behavior, i.e. why an agent decided to select a certain action over all other possible actions. The lack of explainability in AI methods has many implications, including reduced trust in human–AI interaction, as well as issues of transparency and accountability. In the present thesis, we use SHAP values as a method to explain the agent’s behavior by analyzing how the features of the state space affect its selected actions. In our case, an agent is trained through a Soft Actor-Critic (SAC) DRL algorithm to learn how to collaborate with a human in order to collaboratively move a UR3 cobot towards a common spatial goal in real-time, in a simulation environment. Furthermore, we use KernelSHAP to compute feature importance within the agent’s state and leverage these values to generate explanations based on data collected from an expert human–agent team. Finally, we check whether the SHAP values align with human intuition.	el
dc.corporate.name	National Centre for Scientific Research "Demokritos"	el
dc.contributor.master	Τεχνητή Νοημοσύνη - Artificial Intelligence	el
dc.subject.keyword	Discrete Soft Actor-Critic (SAC)	el
dc.subject.keyword	eXplainable Artificial Intelligence (XAI)	el
dc.subject.keyword	Explainability	el
dc.subject.keyword	KernelSHAP	el
dc.subject.keyword	SHapley Additive exPlanation (SHAP)	el
dc.subject.keyword	Deep Reinforcement Learning (DRL)	el
dc.subject.keyword	Human Robot Collaboration (HRC)	el
dc.subject.keyword	Gazebo Simulation	el
dc.subject.keyword	Robot Operating System (ROS)	el
dc.subject.keyword	Human–AI interaction	el
dc.subject.keyword	UR3 cobot	el
dc.subject.keyword	Co-learning	el
dc.date.defense	2026-06-05

Files in this item

Name:
Size:: 4.000Mb
Format:: PDF
Description:: Master thesis

View/Open

This item appears in the following Collection(s)

Τμήμα Ψηφιακών Συστημάτων
Department of Digital Systems

Show simple item record

Except where otherwise noted, this item's license is described as
Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα