Εφαρμογή τεχνικών μηχανικής μάθησης για την ανάλυση τηλεδιασκέψεων σε πραγματικό χρόνο
| dc.contributor.advisor | Κυριαζής, Δημοσθένης | |
| dc.contributor.author | Παπαδάκης, Μιχαήλ | |
| dc.date.accessioned | 2020-07-27T10:01:11Z | |
| dc.date.available | 2020-07-27T10:01:11Z | |
| dc.date.issued | 2020 | |
| dc.identifier.uri | https://dione.lib.unipi.gr/xmlui/handle/unipi/12845 | |
| dc.identifier.uri | http://dx.doi.org/10.26267/unipi_dione/268 | |
| dc.description.abstract | Στην παρούσα διπλωματική εξετάζεται η ιδέα και η υλοποίηση μια εφαρμογής για ζωντανές τηλεδιασκέψεις, μέσω του περιηγητή ιστού, με ζωντανό βίντεο και ήχο. Αυτές έγιναν εφικτές μέσω του πρωτοποριακού πρωτοκόλλου, WebRTC, που διεύρυνε τους ορίζοντες των κατασκευαστών περιηγητών ιστού, εφόσον δεν υπήρχε μέχρι πρότινος. Επιπλέον, τα τελευταία χρόνια έχει αυξηθεί το ενδιαφέρον για τις εφαρμογές μηχανικής μάθησης και έχουν γίνει άλματα όσον αφορά την τεχνολογία και τις εφαρμογές της. Με την εξέλιξή τους, νέες ιδέες και υλοποιήσεις προτάσσονται για να βρεθεί τι είναι εφικτό και ποια είναι τα όρια τους. Στην παρούσα διπλωματική εργασία, μελετήθηκε και αναπτύχθηκε η δημιουργία Συνελικτικών Νευρωνικών Δικτύων, η χρησιμοποίηση έτοιμων προ-εκπαιδευμένων μοντέλων και η εφαρμογή τους πάνω στον κεντρικό πυρήνα, τις βιντεοδιασκέψεις. Σκοπός της μηχανικής μάθησης είναι να δείξει στον συμμετέχοντα των βιντεοδιασκέψεων τα συναισθήματα των συμμετεχόντων σε ζωντανό χρόνο. Επειδή η εφαρμογή έχει σχεδιαστεί ώστε να εκτελείται σε περιηγητές ιστού, οι τεχνολογίες και ο τρόπος υλοποίησης αυτών αποτελεί μείζων ζήτημα στην επίτευξη ελκυστικού αποτελέσματος. Για αυτό τον σκοπό μέσα από την έρευνα που έγινε, χρησιμοποιήθηκαν εργαλεία όπως το OpenVidu, για την διαχείριση των χρηστών και των βιντεοδιασκέψεων, OpenCV για την αναγνώριση προσώπων στα βίντεο και TensorFlow, Caffe για την αναγνώριση συναισθημάτων. Η υλοποίηση έγινε κυρίως σε γλώσσα προγραμματισμού Javascript, με την χρήση της βιβλιοθήκης React, την γλώσσα προγραμματισμού Python για την εκπαίδευση των μοντέλων μηχανικής μάθησης και την ανάλυση τους σε ζωντανό χρόνο. Επιπλέον, έγιναν πειράματα σε διαφορετικές συσκευές για την εύρεση της διεκπεραιωτικότητας και τις ανάγκες της εφαρμογής, καθώς και διαφορετικές τοπολογίες και τρόπους λειτουργίας, για την ενσωμάτωσή της σε μελλοντικά σενάρια, όπως σε κατανεμημένα συστήματα και νεφοϋπολογιστική. | el |
| dc.format.extent | 97 | el |
| dc.language.iso | el | el |
| dc.publisher | Πανεπιστήμιο Πειραιώς | el |
| dc.rights | Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | * |
| dc.title | Εφαρμογή τεχνικών μηχανικής μάθησης για την ανάλυση τηλεδιασκέψεων σε πραγματικό χρόνο | el |
| dc.type | Master Thesis | el |
| dc.contributor.department | Σχολή Τεχνολογιών Πληροφορικής και Επικοινωνιών. Τμήμα Ψηφιακών Συστημάτων | el |
| dc.description.abstractEN | The present master thesis examines the idea and implementation of an application for live teleconferencing, through the web browser, with live video and audio. These were made possible through the groundbreaking WebRTC protocol which broadened the horizons of web browsers’ developers, since there was no analogous before. In addition, over the last few years the interest in machine learning applications has increased and leaps ahead have been made in terms of the technology and its applications. As it evolves, new ideas and implementations are proposed, to find out its feasibility and its limits. In the present thesis, were studied and developed, the creation of Convoluted Neural Networks as well as the use of ready, pre-trained models on the video conferencing. The purpose of machine learning is to show the video conference participant, the emotions of the participants in live time. Because the application is designed to run on web browsers, technologies and implementation strategy, were crucial for an attractive result. To this end, from the research done, specific tools were used, such as OpenVidu to manage users and video conferencing, OpenCV to recognize faces in videos, and Tensοrflow, Caffe to recognize emotions. The implementation was done mainly in Javascript programming language, using the React library, Python programming language for the training of machine learning of models and their analysis in real time. In addition, experiments were performed on different devices to find the feasibility and needs of the application, as well as different topologies and infrastructure, to integrate it into future scenarios, such as distributed systems and cloud computing. | el |
| dc.contributor.master | Πληροφοριακά Συστήματα και Υπηρεσίες | el |
| dc.subject.keyword | Ζωντανή βιντεομετάδοση | el |
| dc.subject.keyword | Ανάλυση συναισθημάτων | el |
| dc.subject.keyword | OpenCV | el |
| dc.subject.keyword | TensorFlow | el |
| dc.subject.keyword | Caffe | el |
| dc.subject.keyword | Javascript | el |
| dc.subject.keyword | MQTT | el |
| dc.subject.keyword | Python | el |
| dc.subject.keyword | Μηχανική μάθηση | el |
| dc.date.defense | 2020-06-30 |
Αρχεία σε αυτό το τεκμήριο
Αυτό το τεκμήριο εμφανίζεται στις ακόλουθες συλλογές
-
Τμήμα Ψηφιακών Συστημάτων
Department of Digital Systems
Εκτός από όπου διευκρινίζεται διαφορετικά, το τεκμήριο διανέμεται με την ακόλουθη άδεια:
Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές
Attribution-NonCommercial-NoDerivatives 4.0 Διεθνές