A comparative study on explainable machine learning models for fact checking

Abstract

Η διασταύρωση ισχυρισμών, η οποία ορίζεται ως η διαδικασία αξιολόγησης της εγκυρότητας ενός ισχυρισμού ή μίας είδησης, είναι μια πολύ σημαντική διαδικασία τόσο για τους δημοσιογράφους όσο και για το κοινό, ιδιαιτέρως στην εποχή των μέσων κοινωνικής δικτύωσης. Μεγάλο κομμάτι έρευνας έχει ως στόχο του την δημιουργία αυτοματοποιημένων λύσεων και εργαλείων που αφορούν στη διασταύρωση ισχυρισμών. Η πρόσφατη πρόοδος στον τομέα της Τεχνητής Νοημοσύνης και ιδιαίτερα της Μηχανικής Μάθησης βοήθησαν στη δημιουργία τέτοιον εργαλείων και μάλιστα με πολύ καλά αποτελέσματα. Οι βελτιώσεις στον τομέα του υλικού των ηλεκτρονικών υπολογιστών, η ανάπτυξη μοντέρνων αλγορίθμων αλλά κυρίως η συγκέντρωση και δημόσια διάθεση υψηλής ποιότητας δεδομένων, βοήθησαν ιδιαίτερα σε αυτή την πρόοδο. Βέβαια, με την διάδωση της χρήση τέτοιων μεθόδων ανέκυψε και το ζητούμενο της αξιοπιστίας. Τα μοντέλα που αναπτύσσονται γι’ αυτό τον σκοπό θα πρέπει να εγκαταλείψουν την κλασική δομή του ’μαύρου κουτιού’ και να υιοθετήσουν πιο διαφανείς μεθόδους έτσι ώστε οι δράσεις και οι επιλογές τους να μπορούν να γίνουν εύκολα αντιληπτές από τον άνθρωπο. Οι δύο έννοιες που περιγράφουν αυτή η ανάγκη είναι, η ερμηνευσιμότητα και η εξηγησιμότητα. Η ερμηνευσιμότητα περιγράφει την ικανότητα ενός συστήματος να παρέχει διαφάνεια ως προς τις δράσεις του, ενώ η εξηγησιμότητα περιλαμβάνει το μέσο που χρησιμοποιείται για να γίνουν αντιληπτοί ο λόγοι οι οποίοι οδήγησαν σε αυτές τις δράσεις. Οι ερευνητές έχουν προτείνει διαφορετικούς τρόπους για να δημιουργήσουν μοντέλα που περιλαμβάνουν αυτές τις ιδιότητες, ενώ ταυτόχρονα γίνονται συζητήσεις ως προς την χρησιμότητα κάποιων εξ αυτών. Στην παρούσα εργασία μελετάμε δυο διαφορετικές μεθόδους. Η μία χρησιμοποιεί ως μέσο εξήγησης ένα σύνολο από λέξεις που βοήθησαν περισσότερο το μοντέλο να καταλήξει στο συμπέρασμα της διασταύρωσης του ισχυρισμού, και η άλλη χρησιμοποιεί μικρές περιλήψεις από άρθρα διασταύρωσης ισχυρισμών. Στο πλαίσιο αυτής της μελέτης προτείνουμε τη δημιουργία μιας νέας ταξονομίας τόσο για την αξιολόγηση των παραπάνω μεθόδων αλλά και ως ένα νέο μέσο εξηγησιμότητας.