Ανάκτηση κειμένων από μεγάλες συλλογές εγγράφων με χρήση προηγμένων τελεστών επερώτησης

Abstract

Η βελτίωση των μεθόδων ή ανακάλυψη νέων για την ανάκτηση κειμένων από μεγάλες συλλογές εγγράφων αποτελεί πρόκληση. Η ραγδαία ανάπτυξη των τεχνολογιών και των μεθόδων αποθήκευσης μεγάλου όγκου αρχείων που περιέχουν πληροφορία με τη μορφή κειμένου, οδηγεί ταυτόχρονα στην αύξηση των αναγκών για την εύρεση τεχνικών που θα βελτιώσουν τους χρόνους απόκρισης και θα είναι περισσότερο αποδοτικές. Σε αυτήν την μεταπτυχιακή διατριβή χρησιμοποιούνται οι υπάρχουσες τεχνικές που έχουν αναπτυχθεί στο επιστημονικό πεδίο της ανάκτησης πληροφορίας και επιχειρείται η ενσωμάτωση μίας νέας, της τεχνικής εύρεσης κορυφογραμμής (Skyline) για τον εντοπισμό των εγγράφων που το περιεχόμενό τους παρουσιάζει τη μεγαλύτερη ομοιότητα με τις λέξεις κλειδιά που έχουν διατυπωθεί στην επερώτηση. Για την πειραματική διαδικασία χρησιμοποιούνται συλλογές επιστημονικών άρθρων από συνέδρια, τα οποία είναι σε μορφή PDF. Για την επεξεργασία τους και την εξόρυξη του κειμένου από την περίληψη του καθενός ώστε να εξαχθούν οι όροι και να δημιουργηθεί το ευρετήριο πάνω στο οποίο θα ενεργούνται οι αναζητήσεις, χρησιμοποιούνται οι τεχνικές της βιβλιοθήκης Lucene. Αυτή η βιβλιοθήκη αποτελεί ένα πολύ διαδεδομένο, open source εργαλείο αναζήτησης. Λόγω της ευρείας αποδοχής που παρουσιάζει, τα αποτελέσματά της χρησιμοποιούνται ως μέτρο σύγκρισης για τη νέα τεχνική ανάκτησης που ενσωματώνεται σε αυτήν την πτυχιακή. Η εφαρμογή της μεθόδου εύρεσης κορυφογραμμής έγκειται στη χρησιμοποίηση πολυδιάστατων δεδομένων, τέτοιου τύπου διαχειρίζεται και η Lucene, αφού αναπαριστά τα έγγραφα ως διανύσματα. Επίσης, η τεχνική βαθμολόγησης της Lucene συνδέεται με τη σχέση υπεροχής μεταξύ δύο σημείων. Η τεχνική Skyline βασίζεται στις σχέσεις κυριαρχίας μεταξύ σημείων για τον καθορισμό της κορυφογραμμής - ουρανογραμμής.