Developing a maritime-specific LLM utilizing RAG architectures

Abstract

Τα ναυτιλιακά τεχνικά εγχειρίδια περιλαμβάνουν εκτεταμένες πληροφορίες που σχετίζονται με τη λειτουργία, τη συντήρηση και την ασφάλεια, γεγονός που καθιστά την αναζήτηση συγκεκριμένων τεχνικών στοιχείων χρονοβόρα. Η παρούσα διπλωματική εργασία εξετάζει τη χρήση της αρχιτεκτονικής Retrieval-Augmented Generation (RAG) ως μέθοδο για τη βελτίωση της πρόσβασης σε πληροφορίες που περιέχονται στη ναυτιλιακή τεχνική τεκμηρίωση. Σχεδιάστηκε και υλοποιήθηκε ένα τοπικά εκτελούμενο σύστημα RAG για την παραγωγή απαντήσεων βάσει ναυτιλιακών τεχνικών εγχειριδίων. Το σύστημα επεξεργάζεται έγγραφα PDF σε επικαλυπτόμενα τμήματα κειμένου, τα μετατρέπει σε διανυσματικές αναπαραστάσεις χρησιμοποιώντας το μοντέλο all-MiniLM-L6-v2 SentenceTransformer και τα αποθηκεύει σε μια μόνιμη διανυσματική βάση δεδομένων ChromaDB. Για κάθε ερώτηση του χρήστη, ανακτώνται τα σχετικά τμήματα των εγγράφων και χρησιμοποιούνται ως πλαίσιο για το γλωσσικό μοντέλο Qwen2.5-3B-Instruct. Τόσο η ανάκτηση όσο και η παραγωγή απαντήσεων πραγματοποιούνται τοπικά, χωρίς τη χρήση εξωτερικού API γλωσσικού μοντέλου, ενώ αναπτύχθηκε και γραφικό περιβάλλον χρήστη για την άμεση αλληλεπίδραση με το σύστημα. Το σύστημα αξιολογήθηκε με 24 ερωτήσεις βασισμένες σε τέσσερα ναυτιλιακά τεχνικά εγχειρίδια. Η σχετική πληροφορία ανακτήθηκε επιτυχώς σε 20 από τις 24 ερωτήσεις, που αντιστοιχεί σε συνολικό ποσοστό επιτυχούς ανάκτησης 83,3%. Από τις παραγόμενες απαντήσεις, 15 (62,5%) χαρακτηρίστηκαν ως πλήρως ορθές, έξι (25,0%) ως μερικώς ορθές και τρεις (12,5%) ως λανθασμένες. Τα αποτελέσματα δείχνουν ότι το προτεινόμενο ελαφρύ και τοπικά εκτελούμενο σύστημα RAG μπορεί να υποστηρίξει την πρόσβαση σε τεχνική πληροφορία από διαφορετικά ναυτιλιακά εγχειρίδια, ενώ παράλληλα αναδεικνύουν ότι η επιτυχής ανάκτηση δεν εγγυάται πάντοτε μια πλήρη ή ακριβή τελική απάντηση. Το σύστημα παρέχει επομένως μια χρήσιμη βάση για την περαιτέρω ανάπτυξη τοπικά εκτελούμενων εργαλείων RAG για ναυτιλιακή τεχνική τεκμηρίωση.