Προσαρμογή και αξιολόγηση μοντέλου CLIP σε ιατρικά δεδομένα για δερματολογική διάγνωση

Abstract

Στην παρούσα διπλωματική εργασία εξετάζεται η ανάπτυξη και αξιολόγηση ενός μοντέλου τύπου CLIP (Contrastive Language-Image Pre-training) προσαρμοσμένου σε ιατρικά δεδομένα δερματικής φύσεως, με στόχο τη δυνατότητα αυτόματης κατηγοριοποίησης και διάγνωσης ιατρικών εικόνων βάσει των αντίστοιχων περιγραφών τους. Ο απώτερος στόχος είναι η δημιουργία ενός συστήματος που θα μπορεί να επεξεργάζεται ένα ευρύ φάσμα ιατρικών εικόνων και να συμβάλλει στη διαδικασία διάγνωσης, μέσω της συσχέτισής τους με κατάλληλο ιατρικό κείμενο. Χρησιμοποιήθηκαν δύο σύνολα δεδομένων: το ISIC, στο οποίο το μικρό ποσοστό παθολογικών περιπτώσεων και η χαμηλή ποικιλία περιγραφών οδήγησαν σε δυσκολία εκμάθησης του μοντέλου, και το SkinCAP. Η συμπύκνωση των περιγραφών στο SkinCAP σύνολο δεδομένων πραγματοποιήθηκε με χρήση του μοντέλου T5-small, ενώ δοκιμάστηκαν διάφοροι αλγόριθμοι επεξεργασίας εικόνας και κειμένου. Με ρύθμιση του learning rate στο 10−6 και του temperature στο 0.06, το μοντέλο εμφάνισε βελτιωμένη απόδοση μετά από 25 εποχές εκπαίδευσης, επιτυγχάνοντας ικανοποιητική συσχέτιση εικόνων και σωστών διαγνώσεων, με μικρές αποκλίσεις σε επίπεδο λεπτομερούς περιγραφής. Τα αποτελέσματα δείχνουν πως το CLIP μπορεί να προσαρμοστεί με επιτυχία σε ιατρικά δεδομένα, προσφέροντας μια υποσχόμενη προσέγγιση για την ενίσχυση συστημάτων υποβοηθούμενης ιατρικής διάγνωσης. Η εργασία καταδεικνύει τη σημασία της συνδυαστικής αξιοποίησης εικόνων και φυσικής γλώσσας στον τομέα της ιατρικής πληροφορικής.