Fact checking with large language models

Abstract

Η πρόσφατη αυξημένη εξάπλωση της παραπληροφόρησης έχει διεγείρει την έρευνα γύρω από τον τομέα της επαλήθευσης γεγονότων, ο οποίος τομέας ορίζεται ως η διαδικασία αξιολόγησης της αλήθειας ενός ισχυρισμού. Ενώ οι αυτοματοποιημένες διαδικασίες επαλήθευσης γεγονότων έχουν δει αυξανόμενο ενδιαφέρον τα τελευταία χρόνια, η ταχεία ανάπτυξη τεχνολογιών που μπορούν να χρησιμοποιηθούν για την υποβοήθηση της αυτόματης διαδικασίας, έχουν ανοίξει τον δρόμο για την αναθεώρηση των τρεχουσών μεθόδων και προσεγγίσεων. Οι ταχείες εξελίξεις στον τομέα της βαθιάς μάθησης, μαζί με την εμφάνιση των μεγάλων γλωσσικών μοντέλων (LLMs) έχουν παραγάγει διάφορες τεχνικές που μπορούν να αντικαταστήσουν επιτυχώς τις παραδοσιακές προσεγγίσεις επεξεργασίας φυσικής γλώσσας (NLP). Επομένως, για τους σκοπούς αυτής της διατριβής, θα χρησιμοποιήσουμε μια ήδη υπάρχουσα διαδικασία επαλήθευσης γεγονότων και θα αντικαταστήσουμε τις περισσότερες από τις μεθόδους της μεσύγχρονες αρχιτεκτονικές όπως μοντέλων ενσωμάτωσης κειμένου, που βρίσκονται συνήθως στα LLMs. Επιπλέον, θα επεκτείνουμε το σύνολο δεδομένων που δημιουργήθηκε για την αποθήκευση ισχυρισμών στην ελληνική γλώσσα και θα αντικαταστήσουμε τα μοντέλα ταξινόμησης που χρησιμοποιήθηκαν για την παραγωγή μιας απόφασης, με μοντέρνα νευρωνικά δίκτυα. Τα αποτελέσματα αυτής της διατριβής απέδειξαν ότι η προσέγγισή μας παράγει πολύ υποσχόμενα αποτελέσματα σε πολλές περιπτώσεις, συχνά φτάνοντας, και ξεπερνώντας τα αποτελέσματα που αφορούν την ακρίβεια και που παράγονται από παραδοσιακές τεχνικές NLP. Επιπλέον, η μεθοδολογία μας παρέχει σημαντικές ευκαιρίες για περαιτέρω βελτίωση, καθώς η τελική διαδικασία που καθιερώσαμε είναι ιδιαίτερα προσαρμόσιμη και παρέχει ένα γόνιμο έδαφος για επιπλέον πειραματισμό — είτε με την περαιτέρω διεύρυνση του συνόλου δεδομένων είτε με την εισαγωγή πιο αποτελεσματικών μοντέλων ενσωμάτωσης κειμένου που μπορεί να παραχθούν στο μέλλον, και μοντέλων ταξινόμησης με διαφορετικές αρχιτεκτονικές που είναι πιο αξιόπιστες στην ανίχνευση προτύπων.