Comparative evaluation of penalized techniques and machine learning techniques for the study of linear model

Abstract

Η πρόβλεψη συνεχών μεταβλητών αποτελεί σημαντικό αντικείμενο της σύγχρονης στατιστικής ανάλυσης και της μηχανικής μάθησης. Πέρα από τα κλασικά γραμμικά μοντέλα, έχουν αναπτυχθεί μέθοδοι ποινικοποιημένης παλινδρόμησης, όπως οι Ridge, Lasso και Elastic Net, οι οποίες επιτρέπουν την αντιμετώπιση προβλημάτων όπως η πολυσυγγραμμικότητας και η μείωση διάστασης . Παράλληλα, οι μέθοδοι δέντρων παλινδρόμησης αποτελούν μια ευέλικτη μη παραμετρική προσέγγιση που μπορεί να μοντελοποιήσει μη γραμμικές σχέσεις μεταξύ των μεταβλητών, ενώ σύγχρονες τεχνικές όπως τα Random Forests συνδυάζουν πολλαπλά δέντρα με σκοπό τη βελτίωση της προβλεπτικής ακρίβειας. Στην παρούσα εργασία μελετάται και συγκρίνεται η προβλεπτική ικανότητα των παραπάνω μεθόδων, καθώς και υβριδικών προσεγγίσεων που συνδυάζουν τον αριθμό των μεταβλητών μέσω elastic net με Regression trees. Επιπλέον, εξετάζονται γενικές συναρτήσεις ποινικοποίησης που χρησιμοποιείται στη διαδικασία κλαδέματος (pruning) δέντρων, με στόχο να διερευνηθεί κατά πόσο οι γενικεύσεις αυτές μπορούν να βελτιώσουν την προβλεπτική ικανότητα του μοντέλου. Η αξιολόγηση των μεθόδων πραγματοποιείται μέσω εφαρμογών σε πραγματικά σύνολα δεδομένων και σύγκρισης κατάλληλων μέτρων αξιολόγησης, με σκοπό την ανάδειξη των πλεονεκτημάτων και των περιορισμών κάθε μεθόδου. Στην εισαγωγική ενότητα συζητούνται τα δύο πραγματικά σύνολα δεδομένων από της R. Η πρόβλεψη συνεχών μεταβλητών αποτελεί σημαντικό αντικείμενο της σύγχρονης στατιστικής ανάλυσης και της μηχανικής μάθησης. Πέρα από τα κλασικά γραμμικά μοντέλα, έχουν αναπτυχθεί μέθοδοι ποινικοποιημένης παλινδρόμησης, όπως οι Ridge, Lasso και Elastic Net, οι οποίες επιτρέπουν την αντιμετώπιση προβλημάτων όπως η πολυσυγγραμμικότητας και η μείωση διάστασης . Παράλληλα, οι μέθοδοι δέντρων παλινδρόμησης αποτελούν μια ευέλικτη μη παραμετρική προσέγγιση που μπορεί να μοντελοποιήσει μη γραμμικές σχέσεις μεταξύ των μεταβλητών, ενώ σύγχρονες τεχνικές όπως τα Random Forests συνδυάζουν πολλαπλά δέντρα με σκοπό τη βελτίωση της προβλεπτικής ακρίβειας. Στην παρούσα εργασία μελετάται και συγκρίνεται η προβλεπτική ικανότητα των παραπάνω μεθόδων, καθώς και υβριδικών προσεγγίσεων που συνδυάζουν τον αριθμό των μεταβλητών μέσω elastic net με Regression trees. Επιπλέον, εξετάζονται γενικές συναρτήσεις ποινικοποίησης που χρησιμοποιείται στη διαδικασία κλαδέματος (pruning) δέντρων, με στόχο να διερευνηθεί κατά πόσο οι γενικεύσεις αυτές μπορούν να βελτιώσουν την προβλεπτική ικανότητα του μοντέλου. Η αξιολόγηση των μεθόδων πραγματοποιείται μέσω εφαρμογών σε πραγματικά σύνολα δεδομένων και σύγκρισης κατάλληλων μέτρων αξιολόγησης, με σκοπό την ανάδειξη των πλεονεκτημάτων και των περιορισμών κάθε μεθόδου. Στην εισαγωγική ενότητα συζητούνται τα δύο πραγματικά σύνολα δεδομένων από της R.