Πολυγλωσσικοί ταξινομητές μέσω νευρωνικής μηχανικής μετάφρασης με έμφαση σε μεθόδους εκμάθησης μέσω μεταφοράς και ομοσπονδιακής μάθησης

Abstract

Τα τελευταία χρόνια παρατηρείται σταθερή αύξηση του ενδιαφέροντος της επιστημονικής και επιχειρηματικής κοινότητας στον τομέα της Τεχνητής Νοημοσύνης (ΤΝ) (Artificial Intelligence - AI). Η ικανότητα των σύγχρονων συσκευών να εφαρμόζουν εξαιρετικά εξελιγμένες τεχνικές ΤΝ έχει αυξήσει τη σημασία της χρήσης και ανάπτυξης εφαρμογών που θα κάνουν χρήση τεχνικών και αλγόριθμων ΤΝ για την επεξεργασία και την ανάλυση των σύγχρονων δεδομένων. Αναμφισβήτητα, η πρόοδος στην ΤΝ καθιστά τα συστήματα ηλεκτρονικών υπολογιστών πιο φιλικά προς τον άνθρωπο κάτι που απαιτεί τη συμπερίληψη της φυσικής γλώσσας ως αναπόσπαστο μέσο της ευρύτερης επικοινωνίας και της διεπαφής μεταξύ ανθρώπου και υπολογιστή. Σήμερα, ο πρωταρχικός στόχος της έρευνας στον τομέα της Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ) (Natural Language Processing - NLP) είναι να επιτρέψει και να διευκολύνει την επικοινωνία μεταξύ ανθρώπων και υπολογιστών χωρίς να καταφεύγουμε σε πολύπλοκες διαδικασίες. Ιδιαίτερα η εισαγωγή στην καθημερινή μας ζωή ενός μεγάλου πλήθους εφαρμογών που εντάσσονται στον τομέα της Παραγωγικής Τεχνητής Νοημοσύνης - ΠΝΤ (Generative AI - GAI), όπως το ChatGPT της εταιρίας OpenAI, το Copilot της εταιρίας Microsoft, και το Google Bard, έχουν εισάγει επαναστατικές μεθόδους στους τομείς της επεξεργασίας (Natural Language Processing - ΕΦΓ), αναγνώρισης (Natural Language Understanding - NLU) και παραγωγής (Natural Language Generation - NLG) γλωσσικού περιεχομένου πιο φιλικού στον άνθρωπο. Το τελευταίο έχει επιφέρει σημαντικές βελτιώσεις και στην αλληλεπίδραση μεταξύ ανθρώπου και μηχανής επιτρέποντας ταχύτερη παραγωγή κειμένου και άλλου οπτικοακουστικού υλικού. Τα σύγχρονα chatbots, οι αυτόματες μηχανές μετάφρασης και οι μηχανές αναζήτησης είναι μόνο μερικές από αυτές τις εφαρμογές. Οι συγκεκριμένες εφαρμογές εφαρμόζουν αλγόριθμους και τεχνικές που εμπίπτουν στον τομέα της ΕΦΓ, η οποία είναι υποτομέας της Τεχνητής Νοημοσύνης και είναι ένας από τους πλέον εξελιγμένους και αναπτυσσόμενους ερευνητικούς και επιχειρηματικούς τομείς της τελευταίας πενταετίας. Παρά το γεγονός ότι η ΕΦΓ δεν είναι καινούργιο πεδίο έρευνας, οι πρόσφατες τεχνολογικές εξελίξεις στο πλαίσιο της ΠΝΤ, η αυξανόμενη ανάγκη για ουσιαστική επικοινωνία ανθρώπου-υπολογιστή, η διαθεσιμότητα μεγάλων δεδομένων (Big Data), οι υπολογιστικοί πόροι υψηλής ισχύος και οι σύγχρονοι αλγόριθμοι έχουν πυροδοτήσει μια εκθετική αύξηση του ενδιαφέροντος για την ανάπτυξη νέων εφαρμογών και συστημάτων. Ωστόσο, μία από τις μεγαλύτερες προκλήσεις στον τομέα της ΕΦΓ είναι η αδυναμία γενίκευσης των συστημάτων, ώστε να μπορούν να εφαρμοστούν αποτελεσματικά σε πολλαπλούς και ετερογενείς τομείς ενδιαφέροντος. Νέες τεχνικές Μηχανικής Μάθησης - ΜΜ (Machine Learning - ML), όπως η εκμάθηση μέσω μεταφοράς (transfer learning), αποσκοπούν στην αντιμετώπιση αυτών των περιορισμών. Παρόλα αυτά, η διαρκώς αυξανόμενη παραγωγή και ποικιλομορφία δεδομένων δημιουργούν επιπλέον προκλήσεις στη διαλειτουργικότητα και στη χρήση τους σε διαφορετικούς τομείς. Επίσης, ένα από τα μείζονα προβλήματα που αντιμετωπίζουν οι σύγχρονες εφαρμογές στον τομέα της ΕΦΓ έχει να κάνει με την αδυναμία τους να γενικεύσουν και να εφαρμοστούν σε διαφορετικούς τομείς ενδιαφέροντος. Η σύγχρονη παραγωγή τεράστιων όγκων δεδομένων και η ποικιλομορφία που τα διακρίνει θέτει ορισμένους περιορισμούς στην εφαρμογή και διαλειτουργικότητα τους ανάμεσα σε διαφορετικούς τομείς, όπως η υγεία, η δημόσια διοίκηση, η βιομηχανία κ.ά.. Εφαρμογές ανάλυσης συναισθήματος ή αναγνώρισης οντοτήτων που έχουν δημιουργηθεί για ένα συγκεκριμένο τομέα, π.χ. στον τομέα της υγειονομικής περίθαλψης, δείχνουν να έχουν χαμηλότερη απόδοση αν χρησιμοποιηθούν σε έναν διαφορετικό τομέα, πχ. ανάλυση συναισθήματος χρηστών μέσων κοινωνιών δικτύωσης σχετικά με μια εκλογική διαδικασία ή με ένα συγκεκριμένο προϊόν. Αυτό καταδεικνύει την ανάγκη για ανάπτυξη τεχνικών που δεν θα περιορίζονται από το περιεχόμενο και τον τομέα στον οποίο αναπτύσσονται, αλλά θα στηρίζονται στις έννοιες της διαλειτουργικότητας και της ομοσπονδίας των δεδομένων. Ιδιαίτερη σημασία αποκτά η ανάγκη ανάπτυξης συστημάτων που να υποστηρίζουν πολυγλωσσικές υλοποιήσεις. Οι γλωσσικές διαφορές αποτελούν σημαντικό εμπόδιο στην ΠΕΡΙΛΗΨΗ ΜΑΝΙΑΣ ΓΕΩΡΓΙΟΣ – ΔΙΔΑΚΤΟΡΙΚΗ ΔΙΑΤΡΙΒΗ 20 οριζόντια εφαρμογή αλγορίθμων ΕΦΓ, καθώς οι περισσότερες υλοποιήσεις επικεντρώνονται σε συγκεκριμένες γλώσσες, με αποτέλεσμα την περιορισμένη εφαρμογή και απόδοση σε διαφορετικά γλωσσικά ή πολιτισμικά πλαίσια. Η υλοποίηση πολυγλωσσικών συστημάτων αποτελεί κρίσιμη απαίτηση για τη δημιουργία διαλειτουργικών και ομοσπονδιακών προσεγγίσεων που δεν θα εξαρτώνται από τη γλώσσα, εξασφαλίζοντας έτσι την ευρύτερη χρήση και ενσωμάτωσή τους. Η ανάγκη για πολυγλωσσικές υλοποιήσεις δεν περιορίζεται μόνο στην αντιμετώπιση γλωσσικών εμποδίων αλλά συμβάλλει και στη διεύρυνση της χρησιμότητας των συστημάτων σε παγκόσμιο επίπεδο, ενισχύοντας την προσβασιμότητα, τη συμμετοχικότητα και τη δίκαιη ανάπτυξη. Συστήματα με πολυγλωσσική υποστήριξη ενισχύουν τη δυνατότητα διαχείρισης δεδομένων από κατανεμημένες και ετερογενείς πηγές, ενοποιώντας τη γνώση και εξαλείφοντας γλωσσικά όρια, προσφέροντας έτσι περισσότερη ακρίβεια και ευελιξία σε διαφορετικούς τομείς εφαρμογής. Ακόμη, η παραγωγή και η διαχείριση μεγάλων δεδομένων από ολοένα και περισσότερες κατανεμημένες πηγές και συσκευές δημιουργεί την ανάγκη για ανάπτυξη ομοσπονδιακών και διαλειτουργικών προσεγγίσεων που δεν θα επηρεάζονται και περιορίζονται από μια γλώσσα. Τα τελευταία χρόνια, η αξιοποίηση της ομοσπονδιακής μάθησης – ΟΜ (federated learning), όπου οι συσκευές χρησιμοποιούνται ως υπολογιστικοί κόμβοι που εκτελούν υπολογισμούς στα τοπικά δεδομένα τους προκειμένου να ενημερώσουν ένα παγκόσμιο μοντέλο, στοχεύει προς την επίλυση του ζητήματος της ομοσπονδίας των δεδομένων, με παράλληλη ενίσχυση της ασφάλειας των δεδομένων των χρηστών. Τέλος, οι ανάγκες και οι τάσεις των σύγχρονων διαπολιτισμικών και πολύγλωσσων κοινωνιών καταδεικνύουν όλο και περισσότερο την ανάγκη δημιουργίας πολύγλωσσων λύσεων και εφαρμογών που θα έχουν τη δυνατότητα να λειτουργήσουν σε ένα ευρύτερο ομοσπονδιακό πλαίσιο και θα κάνουν πλήρη και αποτελεσματική χρήση των τεχνικών της Νευρωνικής Μηχανικής Μετάφρασης – ΝΜΜ (Neural Machine Translation - ΝΜT). Μέχρι στιγμής η ερευνητική και επιχειρηματική κοινότητα έχουν επικεντρωθεί στην εφαρμογή εργαλείων και τεχνικών βασισμένων στην αγγλική γλώσσα. Λίγες μελέτες και εργαλεία στοχεύουν σε λιγότερο σημαντικές γλώσσες, όπως η ελληνική. Για παράδειγμα, παρά τις συνεχείς προόδους στην ανάπτυξη αλγορίθμων και τεχνικών ΝΜΜ στην αναγνώριση συναισθήματος (sentiment analysis) σε γλώσσες υψηλής συχνότητας και χρήσης, όπως τα αγγλικά, λίγες εφαρμογές και μελέτες έχουν πραγματοποιηθεί σε λιγότερο χρησιμοποιημένες και πιο δύσχρηστες γλώσσες, όπως τα ελληνικά. Με βάση τις παραπάνω προκλήσεις, η παρούσα διδακτορική διατριβή επικεντρώνεται στην ανάπτυξη επιστημονικών προσεγγίσεων που θα προάγουν την πολυγλωσσική διαλειτουργικότητα και τη γενίκευση των εφαρμογών ΕΦΓ. Στόχος είναι η δημιουργία καινοτόμων προσεγγίσεων που θα μπορούν να διαχειρίζονται δεδομένα από ετερογενείς και κατανεμημένες πηγές, εξασφαλίζοντας την αποτελεσματική αλληλεπίδραση μεταξύ ανθρώπων και μηχανών ανεξάρτητα από τη γλώσσα ή το πολιτισμικό πλαίσιο και θα ενισχύουν τη διαδικασία λήψης αποφάσεων παρέχοντας αξιόπιστα αποτελέσματα και επιπλέον γνώση στους τελικούς χρήστες. Μέσω της ενσωμάτωσης τεχνικών όπως η εκμάθηση μέσω μεταφοράς, τα προεκπαιδεύμενα γλωσσικά μοντέλα, η ΟΜ και η ΝΜΜ, η διατριβή φιλοδοξεί να συμβάλει στην αντιμετώπιση των σύγχρονων ερευνητικών και τεχνολογικών περιορισμών, θέτοντας τη βάση για λύσεις που θα ενισχύουν τη δίκαιη και συμπεριληπτική ανάπτυξη στο πεδίο της ΤΝ.