Data mining, cleaning, feature extraction, and machine learning approaches for big data in electronic health records : liver cancer risk factor analysis and model explainability

Abstract

Στην ακόλουθη διπλωματική, προτείνουμε μια ολοκληρωμένη μεθοδολογία που χρησιμοποιεί προηγμένα μοντέλα μηχανικής μάθησης και τεχνικές επεξεργασίας μεγάλων δεδομένων για την πρόβλεψη του καρκίνου του ήπατος. Πραγματοποιήσαμε αρχικά καθαρισμό και χαρτογράφηση δεδομένων σε ένα τεράστιο σύνολο δεδομένων, χρησιμοποιώντας εργαλεία όπως το Apache Sedona Spark και το Google Colab για να βελτιστοποιήσουμε τη σύνδεση και την επεξεργασία αυτών των μεγάλων πόρων δεδομένων. Ένα ουσιαστικό μέρος της μεθοδολογίας μας περιελάμβανε τη μετάφραση και τη μετατροπή των τιμών αίματος από μια γλώσσα στα αγγλικά και από χαρακτήρες σε διπλή μορφή. Επιπλέον, υπολογίσαμε τη μέση τιμή των αποτελεσμάτων αίματος κάθε ασθενή. Το σύνολο δεδομένων μας αποτελείται από αρχεία ασθενών με και χωρίς καρκίνο. Εάν το αρχείο ενός ασθενούς υπάρχει στο σύνολο δεδομένων του καρκίνου, εκχωρούμε y = 1, υποδεικνύοντας την παρουσία καρκίνου. Διαφορετικά, y=0, υποδηλώνοντας μη καρκινικό. Τα προγνωστικά μας μοντέλα λαμβάνουν υπόψη διάφορους εξωτερικούς παράγοντες που μπορεί να συμβάλλουν στην ασθένεια και μεταφράζουν τα πρωτόκολλα icd9 και icd10 , όπως επιπλοκές από χρήση ναρκωτικών, χειρουργική επέμβαση, αφαίρεση οργάνων, καθώς και δημογραφικούς παράγοντες όπως η ηλικία και το φύλο και καταστάσεις υγείας όπως η κίρρωση , ηπατίτιδα Β . Αυτοί οι παράγοντες αξιολογήθηκαν χρησιμοποιώντας διάφορα μοντέλα μηχανικής μάθησης, συμπεριλαμβανομένων της μάθησης χωρίς επίβλεψη, της εποπτευόμενης μάθησης, του LightGBM, του XGBoost, του Support Vector Machine και του Gradient Boosting. Τα αποτελέσματα των μοντέλων αξιολογήθηκαν και συγκρίθηκαν, με τα πιο σημαντικά χαρακτηριστικά που βρέθηκαν να περιλαμβάνουν την ηλικία, την οικογενειακή κατάσταση (MER), τον τύπο του φύλου και τις προαναφερθείσες καταστάσεις υγείας. Τέλος, περιλαμβάνουμε μια ισχυρή εφαρμογή Επεξήγησης.