Βαθιά μάθηση για μεγάλα γλωσσικά μοντέλα

Abstract

Η παρούσα πτυχιακή εργασία επικεντρώνεται στη μελέτη της Βαθιάς Μάθησης και των Μεγάλων Γλωσσικών Μοντέλων, παρουσιάζοντας τόσο τις θεωρητικές βάσεις όσο και τις σύγχρονες εφαρμογές τους στον χώρο της τεχνητής νοημοσύνης. Αρχικά αναλύονται βασικές έννοιες της μηχανικής μάθησης, των τεχνητών νευρωνικών δικτύων και της επεξεργασίας φυσικής γλώσσας, ενώ εξετάζονται τεχνικές αναπαράστασης κειμένου και μοντέλα όπως τα RNN, LSTM, GRU και Transformers. Στη συνέχεια παρουσιάζονται οι βασικές οικογένειες Μεγάλων Γλωσσικών Μοντέλων, όπως τα GPT, BERT, PaLM και LLaMA, καθώς και μέθοδοι εκπαίδευσης και προσαρμογής, όπως το Fine-Tuning και το Reinforcement Learning from Human Feedback (RLHF). Γίνεται αναφορά σε εφαρμογές των LLMs σε διάφορους τομείς, όπως τα διαλογικά συστήματα, η αυτόματη μετάφραση, η παραγωγή κώδικα, η περίληψη κειμένου και οι εκπαιδευτικές εφαρμογές. Η εργασία εξετάζει σημαντικούς περιορισμούς και ηθικές προκλήσεις που σχετίζονται με τα Μεγάλα Γλωσσικά Μοντέλα, όπως οι ψευδείς απαντήσεις, οι αλγοριθμικές προκαταλήψεις, η προστασία προσωπικών δεδομένων και το ενεργειακό κόστος των υπολογιστικών υποδομών. Επιπλέον, παρουσιάζονται οι πιο πρόσφατες εξελίξεις στον τομέα, όπως τα πολυτροπικά μοντέλα και οι αποδοτικότερες αρχιτεκτονικές, που διαμορφώνουν το μέλλον της τεχνητής νοημοσύνης και της βαθιάς μάθησης.