Αναγνώριση της αγγλικής νοηματικής γλώσσας σε βίντεο με χρήση Συνελικτικών Αναδρομικών Δικτύων

Abstract

Τα άτομα με προβλήματα ακοής χρησιμοποιούν τη νοηματική γλώσσα (ΝΓ) ως κύρια επικοινωνία. Αυτή η γλώσσα περιέχει κυρίως συνδυασμούς χαρακτηριστικών κινήσεων των χεριών και των εκφράσεων του προσώπου για τον ορισμό των λέξεων και των προτάσεων. Η σχέση μεταξύ της σημασίας μιας πρότασης και των συγκεκριμένων λέξεων είναι -σε ορισμένες περιπτώσεις- περίπλοκη και δυσνόητη, με αποτέλεσμα η εκμάθησή της να μην είναι εύκολη για τους περισσότερους. Τα μαθήματα Νοηματικής γίνονται σε περιορισμένα ινστιτουτα μεγάλων αστικών κέντρων μόνο ,ενώ δεν διδάσκονται σε κανένα δημόσιο σχολείο. Επίσης, πρέπει να αναφερθεί το γεγονός ότι τα άτομα με δυσκολίες όρασης δεν έχουν κανέναν τρόπο να επικοινωνήσουν απευθείας με τους κωφους ανθρώπους. Αυτοι ειναι πολυ βασικοι λόγοι που δημιουργουν την αναγκη μιας αυτοματοποιημένης μετάφρασης της Νοηματικης Γλωσσας σε γραπτές λέξεις και προτάσεις . Η διαδικασία για να επιτευχθεί αυτό μπορεί να γίνει από την τεχνητή νοημοσύνη και τη μηχανική μάθηση και αυτή τη στιγμή η ερευνητική κοινότητα αντιμετωπίζει δυσκολίες, λόγω της έλλειψης μεγάλων συνόλων δεδομένων καθώς και των διαφορών από γλώσσα σε γλώσσα. Ως εκ τούτου, η ανάγκη να συμβάλουμε στην άμεση επικοινωνία της κοινότητας των κωφών είναι μεγάλη και οι ερευνητές προσπαθούν να βρουν μεθόδους και τρόπους για να την καθιερώσουν. Ένα από τα πρώτα ζητήματα είναι η αναγνώριση κίνησης ενός ανθρώπου χρησιμοποιεί ΝΓ από την τεχνητή νοημοσύνη. Ένα άλλο ζητούμενο είναι η αντιστοιχία των κινήσεων των χεριών με τη λέξη. Ο κύριος τρόπος είναι να εκπαιδεύσουμε Τεχνητά Νευρωνικά Δίκτυα και να βελτιώνουμε συνεχώς κάθε πρόβλημα που συναντάμε. Επομένως, η χρήση πολλών διαφορετικών προσεγγίσεων και η δοκιμή των συμπερασμάτων είναι μεγάλης σημασίας. Αυτή η εργασία προσπαθεί να επιτύχει έναν μικρό στόχο σε αυτό το μεγάλο όραμα και να βοηθήσει άλλους ερευνητές να μεταφράσουν τη ΝΓ σε άλλες γλώσσες, με τη βοήθεια ταξινόμησης εικόνων και μοντέλων βαθιάς ακολουθίας.