Μελέτη της συμφωνίας δύο ή περισσοτέρων αξιολογητών

Abstract

Σε πολλές επιστήμες, όπως για παράδειγμα στην ιατρική, στην ψυχολογία και στις κοινωνικές επιστήμες, συναντάται συχνά η διαδικασία ταξινόμησης υποκειμένων από βαθμολογητές (ιατρούς, ψυχολόγους, ερευνητές κλπ,) σε Ι κατηγορίες ταξινόμησης. Έτσι, η μελέτη της συμφωνίας μεταξύ δύο βαθμολογητών συνεπάγεται τη μελέτη ενός δισδιάστατου ΙxI πίνακα συνάφειας. Στην παρούσα εργασία, παρουσιάζονται τα πιο γνωστά μέτρα συμφωνίας μεταξύ δύο βαθμολογητών, όπως το kappa του Cohen, ο εντός των τάξεων συντελεστής συσχέτισης και ο τετραχωρικός συντελεστής συσχέτισης. Αναφέρουμε επίσης κάποιες γενικεύσεις και επεκτάσεις του συντελεστή kappa.Πέρα από τα συνήθη μέτρα, προχωράμε και στη μοντελοποίηση της συμφωνίας μεταξύ δύο βαθμολογητών: περιγράφεται το μοντέλο ανεξαρτησίας και συμμετρίας καθώς επίσης και τα αντίστοιχα quasi-μοντέλα, το μοντέλο συμφωνίας του Agresti, των Tanner and Young, καθώς και ένα νέο λογαριθμογραμμικό μοντέλο. Στη συνέχεια ακολουθούν μέτρα και μοντέλα συμφωνίας για την περίπτωση που στη μελέτη λαμβάνουν μέρος R βαθμολογητές, R>2. Τότε πρόκειται για μελέτη ενός R-διάστατου πίνακα συνάφειας. Η μελέτη της συμφωνίας μεταξύ βαθμολογητών επεξηγείται καλύτερα και πληρέστερα μέσω της μελέτης και προσπάθειας μοντελοποίησης της διαφωνίας μεταξύ των βαθμολογητών. Τέλος, αναφερόμαστε συνοπτικά σε θέματα σχετικά με τη συμφωνία βαθμολογητών που έχουν αποτελέσει αντικείμενο μελέτης των ερευνητών τα τελευταία χρόνια. Ενδεικτικά αναφέρουμε γενικεύσεις μέτρων και επεκτάσεις μοντέλων, επαναλαμβανόμενες μετρήσεις, κλίμακες ταξινόμησης, μέγεθος δείγματος κλπ. Επειδή οι κλίμακες ταξινόμησης ή αξιολόγησης παίζουν σημαντικό ρόλο στη μελέτη της συμφωνίας μεταξύ βαθμολογητών, στο Παράρτημα περιγράφουμε συνοπτικά κάποια χαρακτηριστικά τους και για την πληρέστερη κατανόηση του θέματος παραθέτουμε κάποιες χαρακτηριστικές κλίμακες αξιολόγησης.