Στατιστικά, πιθανοτικά και γλωσσικά μοντέλα συνάφειας και τεχνικές μετα-αναζήτησης στην ανάκτηση πληροφοριών

Abstract

Αυτή η διατριβή διερευνά τον τομέα της Ανάκτησης Πληροφοριών, εστιάζοντας στο σχεδιασμό, την υλοποίηση και την αξιολόγηση μοντέλων κατάταξης εγγράφων και τεχνικών μετα-αναζήτησης. Αρχικά, δημιουργήθηκε μια θεωρητική βάση μελετώντας βασικές έννοιες όπως η Λογική (Boolean) Ανάκτηση, τα Μοντέλα Διανυσματικού Χώρου, τα Πιθανοτικά Μοντέλα, Γλωσσικά Μοντέλα και οι μέθοδοι αξιολόγησης Ακρίβειας και Ανάκλησης (Precision & Recall). Στην πρακτική φάση, αναπτύχθηκε ένα σύστημα Ανάκτησης Πληροφοριών χρησιμοποιώντας το Apache Lucene 8.0.0. Υλοποιήθηκαν και δοκιμάστηκαν τέσσερα μοντέλα κατάταξης: BM25 Similarity, TF-IDF Similarity, Dirichlet Similarity LM Model και Jelinek Mercer Similarity LM Model. Για την αξιολόγηση της αποτελεσματικότητας αυτών των μοντέλων, δημιουργήθηκε μια προσαρμοσμένη βιβλιοθήκη σε γλώσσα προγραμματισμού Perl 5 για τον υπολογισμό και την οπτικοποίηση των μετρήσεων Ακρίβειας και Ανάκλησης. Εκτός από τα μεμονωμένα μοντέλα ανάκτησης, κατασκευάστηκαν δύο μηχανές μετα αναζήτησης χρησιμοποιώντας τη βιβλιοθήκη Ranx της Python, εφαρμόζοντας διάφορες τεχνικές σύνθεσης της κατάταξης, όπως CombSUM, CombMAX, Reciprocal Rank Fusion (RRF) και ProbFuse. Παρουσιάζονται πειραματικά αποτελέσματα, συγκρίνοντας την απόδοση των μεμονωμένων μοντέλων από το Lucene. Τα ευρήματα υπογραμμίζουν τα σχετικά πλεονεκτήματα κάθε προσέγγισης και προσφέρουν πληροφορίες για το πώς οι στρατηγικές συνάφειας μπορούν να βελτιώσουν την αποτελεσματικότητα της ανάκτησης. Επίσης κατά την διάρκεια των πειραμάτων στην μέτα-αναζήτηση, παρουσιάζονται τα κορυφαία 10 αποτελέσματα που προκύπτουν από τα επιμέρους μοντέλα και τις τεχνικές σύνθεσης. Η εργασία εστιάζει στην υλοποίηση και τον υπολογισμό αυτών των αποτελεσμάτων, θέτοντας τις βάσεις για μελλοντική αξιολόγηση και αναλυτική σύγκριση της απόδοσης των διαφορετικών προσεγγίσεων. Με αυτόν τον τρόπο, παρέχονται χρήσιμες ενδείξεις για τη συμπεριφορά των μοντέλων και των τεχνικών μετα-αναζήτησης, ανοίγοντας δρόμο για περαιτέρω βελτιστοποίηση και ανάπτυξη αποδοτικότερων συστημάτων ανάκτησης πληροφοριών. Αυτή η εργασία καταδεικνύει τη σημασία της επιλογής, της αξιολόγησης και του συνδυασμού μοντέλων στην κατασκευή αποδοτικών και αποτελεσματικών συστημάτων ανάκτησης πληροφοριών