Σχεδιασμός και υλοποίηση πολυτροπικού πληροφοριακού συστήματος για την ανίχνευση γνωστικού φορτίου και ψυχολογικής επιβάρυνσης σε περιβάλλον εργασίας υπολογιστή
Design and implementation of a multimodal information system for cognitive load and psychological stress detection in computer-based work environments
Προβολή/ Άνοιγμα
Λέξεις κλειδιά
Ανίχνευση άγχους ; Πολυτροπική συγχώνευση ; rPPG ; Ανάλυση προσώπου ; Valence-arousal ; Τοπικά γλωσσικά μοντέλα ; Desktop context ; Εξατομικευμένο baseline ; DeepEval ; Privacy-by-design ; Εργαζόμενοι γνώσης ; Stress detection ; Multimodal fusion ; Facial analysis ; Knowledge workersΠερίληψη
Η παρούσα εργασία παρουσιάζει τον σχεδιασμό και την υλοποίηση ενός πολυτροπικού πληροφοριακού συστήματος για την ανίχνευση γνωστικού φορτίου και ψυχολογικής επιβάρυνσης σε περιβάλλον εργασίας υπολογιστή. Το σύστημα συνδυάζει τρεις μη επεμβατικές πηγές δεδομένων: φυσιολογικά σήματα από webcam μέσω φωτοπληθυσμογραφίας απόστασης (rPPG), συνεχή ανάλυση προσώπου για εκτίμηση οπτικής κόπωσης και συναισθηματικής κατάστασης στον χώρο Valence-Arousal, και μεταδεδομένα δραστηριότητας υπολογιστή μέσω εφαρμογής Flutter/Dart με Windows APIs.
Η αρχιτεκτονική βασίζεται στην αρθρωτότητα, με κάθε υποσύστημα να επικοινωνεί με τα υπόλοιπα αποκλειστικά μέσω κοινής βάσης δεδομένων SQLite. Η συγχώνευση των modalities υλοποιείται μέσω late fusion με σταθμισμένα βάρη, παράγοντας έναν ενιαίο δείκτη άγχους (stress_index ∈ [0,1]) ανά παράθυρο πέντε λεπτών. Η βαθμολόγηση βασίζεται σε απόκλιση από το προσωπικό baseline του χρήστη και όχι σε γενικά κατώφλια πληθυσμού, αντιμετωπίζοντας έναν κεντρικό περιορισμό της υπάρχουσας βιβλιογραφίας.
Η αξιολόγηση πραγματοποιήθηκε σε τεχνικό και λειτουργικό επίπεδο μέσω αυτοματοποιημένων δοκιμών και λειτουργικών σεναρίων χρήσης. Επιπλέον, πραγματοποιήθηκε συγκριτική αξιολόγηση δύο τοπικά εκτελούμενων γλωσσικών μοντέλων (Llama 3.1 8B και Qwen3.5:4b) μέσω του DeepEval framework με ανεξάρτητο κριτή (Gemma 4:12b). Η απουσία εκτεταμένης πιλοτικής μελέτης αναγνωρίζεται ως περιορισμός, ιδίως ως προς την αποδοχή των παρεμβάσεων και την αντίληψη ιδιωτικότητας από τελικούς χρήστες. Παρ' όλα αυτά, η υλοποίηση δείχνει ότι η πολυτροπική προσέγγιση με εξατομικευμένο baseline και τοπική επεξεργασία αποτελεί εφαρμόσιμη κατεύθυνση για συστήματα υποστήριξης ευεξίας σε περιβάλλον εργασίας υπολογιστή.


