Εφαρμογή τεχνικών μηχανικής μάθησης για την ανάλυση τηλεδιασκέψεων σε πραγματικό χρόνο

Abstract

Στην παρούσα διπλωματική εξετάζεται η ιδέα και η υλοποίηση μια εφαρμογής για ζωντανές τηλεδιασκέψεις, μέσω του περιηγητή ιστού, με ζωντανό βίντεο και ήχο. Αυτές έγιναν εφικτές μέσω του πρωτοποριακού πρωτοκόλλου, WebRTC, που διεύρυνε τους ορίζοντες των κατασκευαστών περιηγητών ιστού, εφόσον δεν υπήρχε μέχρι πρότινος. Επιπλέον, τα τελευταία χρόνια έχει αυξηθεί το ενδιαφέρον για τις εφαρμογές μηχανικής μάθησης και έχουν γίνει άλματα όσον αφορά την τεχνολογία και τις εφαρμογές της. Με την εξέλιξή τους, νέες ιδέες και υλοποιήσεις προτάσσονται για να βρεθεί τι είναι εφικτό και ποια είναι τα όρια τους. Στην παρούσα διπλωματική εργασία, μελετήθηκε και αναπτύχθηκε η δημιουργία Συνελικτικών Νευρωνικών Δικτύων, η χρησιμοποίηση έτοιμων προ-εκπαιδευμένων μοντέλων και η εφαρμογή τους πάνω στον κεντρικό πυρήνα, τις βιντεοδιασκέψεις. Σκοπός της μηχανικής μάθησης είναι να δείξει στον συμμετέχοντα των βιντεοδιασκέψεων τα συναισθήματα των συμμετεχόντων σε ζωντανό χρόνο. Επειδή η εφαρμογή έχει σχεδιαστεί ώστε να εκτελείται σε περιηγητές ιστού, οι τεχνολογίες και ο τρόπος υλοποίησης αυτών αποτελεί μείζων ζήτημα στην επίτευξη ελκυστικού αποτελέσματος. Για αυτό τον σκοπό μέσα από την έρευνα που έγινε, χρησιμοποιήθηκαν εργαλεία όπως το OpenVidu, για την διαχείριση των χρηστών και των βιντεοδιασκέψεων, OpenCV για την αναγνώριση προσώπων στα βίντεο και TensorFlow, Caffe για την αναγνώριση συναισθημάτων. Η υλοποίηση έγινε κυρίως σε γλώσσα προγραμματισμού Javascript, με την χρήση της βιβλιοθήκης React, την γλώσσα προγραμματισμού Python για την εκπαίδευση των μοντέλων μηχανικής μάθησης και την ανάλυση τους σε ζωντανό χρόνο. Επιπλέον, έγιναν πειράματα σε διαφορετικές συσκευές για την εύρεση της διεκπεραιωτικότητας και τις ανάγκες της εφαρμογής, καθώς και διαφορετικές τοπολογίες και τρόπους λειτουργίας, για την ενσωμάτωσή της σε μελλοντικά σενάρια, όπως σε κατανεμημένα συστήματα και νεφοϋπολογιστική.