Κατανεμημένη ενισχυτική μάθηση για έλεγχο και διαχείριση ενέργειας απομακρυσμένων αυτόνομων φωτοβολταϊκών μικροδικτύων

Abstract

Στην παρούσα διδακτορική διατριβή, προτείνονται τρόποι προσέγγισης για την επίλυση του προβλήματος της διαχείρισης ενέργειας σε αυτόνομα φωτοβολταϊκά μικροδίκτυα. Στην αυτόνομη λειτουργία ενός μικροδικτύου, το κύριο ζήτημα που πρέπει να διασφαλιστεί είναι η παροχή της ηλεκτρικής ενέργειας. Στόχος είναι να διατηρηθεί, αν όχι να αυξηθεί, η αξιοπιστία του μικροδικτύου από τις αβεβαιότητες που εισάγουν οι ανανεώσιμες πηγές ενέργειας και η στοχαστική ζήτηση των καταναλωτών. Στη παρούσα διατριβή, προτείνεται ένας πράκτορας (agent) ενισχυτικής μάθησης για την λύση του προβλήματος της διαχείρισης ενέργειας σε αυτόνομο φωτοβολταϊκό μικροδίκτυο που αποτελείται από φωτοβολταϊκή πηγή, μπαταρία, δυναμικό φορτίο και μονάδα αφαλάτωσης. Ο πράκτορας ενσωματώνει στρατηγικές ενισχυτικής μάθησης και εξασφαλίζει τη δυνατότητα μάθησης αλληλεπιδρώντας με το περιβάλλον. Ο πράκτορας δεν περιορίζεται μόνο στη διαχείριση της μπαταρίας αλλά και στην μονάδα αφαλάτωσης, η οποία ικανοποιεί την ζήτηση των χρηστών σε πόσιμο νερό. Τα αποτελέσματα των προσομοιώσεων έδειξαν καλή διαχείριση ενέργειας παρουσιάζοντας μικρές αδυναμίες. Οι αδυναμίες αυτές εντοπίζονται σε ορισμένες περιπτώσεις όπου η ζητούμενη ενέργεια δεν μπορεί να καλυφθεί ή η μπαταρία υπόκειται σε αρκετές βαθιές εκφορτίσεις. Τα προβλήματα αυτά οφείλονται κυρίως στην γενική διακριτοποίηση του χώρου των καταστάσεων που σε συνδυασμό με τον απλό αλγόριθμο εξερεύνησης/αξιοποίησης του πράκτορα έχει ως αποτέλεσμα την ελλιπή εξερεύνηση του χώρου καταστάσεων-ενεργειών. Ένα ακόμα πρόβλημα αποτελεί η απλή συνάρτηση ανταμοιβής που έχει ως αποτέλεσμα την αργή σύγκλιση του αλγόριθμου και τέλος, ο μεγάλος χρονικός κύκλος λειτουργίας του πράκτορα που δεν αντιλαμβάνεται έγκαιρα μεταβολές στην παραγωγή και στην ζήτηση της ισχύος. Λαμβάνοντας υπόψη τις παραπάνω αδυναμίες, πραγματοποιήθηκαν στον πράκτορα τροποποιήσεις. Οι μεταβλητές κατάστασης του πράκτορα ορίστηκαν καλύτερα και η διακριτοποίηση έγινε πιο λεπτομερής, χρησιμοποιήθηκε ένας πιο σύνθετος αλγόριθμος εξερεύνησης, η ανταμοιβή στηρίχθηκε σε ένα σύστημα ασαφούς λογικής δομημένο με υποκειμενικούς κανόνες και ο χρονικός κύκλος λειτουργίας του πράκτορα μειώθηκε. Τα αποτελέσματα της προσομοίωσης έδειξαν περαιτέρω βελτίωση και στην διαχείριση της μπαταρίας αλλά και στην κάλυψη των ενεργειακών αναγκών. Επίσης, στη παρούσα διδακτορική πραγματοποιείται διαχείριση ενέργειας σε ένα πιο σύνθετο αυτόνομο φωτοβολταϊκό μικροδίκτυο που απαρτίζεται από πολλές μονάδες (φωτοβολταϊκή μονάδα, μονάδα αφαλάτωσης, ηλεκτρολυτική μονάδα, κυψέλη καυσίμου, ντιζελογεννήτρια, μπαταρία και δυναμικό φορτίο). Για τη λύση του προβλήματος της διαχείρισης ενέργειας σε αυτό το μικροδίκτυο, προτείνεται ένα πολυπρακτορικό (multiagent) σύστημα βασισμένο σε μια τροποποιημένη προσέγγιση της ανεξάρτητης μάθησης. Με αυτό τον τρόπο, το πρόβλημα αντιμετωπίζεται σε ένα πλήρως αποκεντρωμένο πλαίσιο, χωρίς την χρήση κάποιου πράκτορα συντονιστή. Οι πράκτορες δεν έχουν ενσωματωμένη γνώση και μαθαίνουν μέσω της αλληλεπίδρασης με το περιβάλλον. Αυτό επιτρέπει την αναπροσαρμογή της στρατηγικής τους σε πιθανές αλλαγές που μπορεί να υποστεί το μικροδίκτυο. Η τροποποιημένη προσέγγιση της ανεξάρτητης μάθησης έγκειται στο γεγονός ότι εκμεταλλεύεται μόνο τις τοπικές ανταμοιβές και τις πληροφορίες κατάστασης που σχετίζονται με τον κάθε πράκτορα. Αυτό έχει σαν επακόλουθο, τη μείωση του χώρου των καταστάσεων και την ενίσχυση του μηχανισμού μάθησης. Προκειμένου να αντιμετωπιστεί ο συνεχής χώρος καταστάσεων-ενεργειών αντί για απλή διακριτοποίηση, εισήχθη η ασαφής Q-μάθηση σε κάθε πράκτορα. Με αυτό τον τρόπο, επιτρέπεται ο διαμοιρασμός της ισχύος ανάμεσα στις μονάδες αφού μπορούν να λειτουργήσουν και υπό μερικό φορτίο. Παράλληλα, προς την λύση του προβλήματος της διαχείρισης ενέργειας, χρειάστηκαν να αναπτυχθούν μεθοδολογίες και να επιλυθούν και άλλα προβλήματα άμεσα συσχετιζόμενα με το κεντρικό πρόβλημα. Συγκεκριμένα, για να χρησιμοποιηθεί η μονάδα της αφαλάτωσης στις προσομοιώσεις χρειάστηκε να αναπτυχθεί ένα μοντέλο της διεργασίας, το οποίο έχει ως είσοδο την καταναλισκόμενη ισχύ και ως έξοδο τον ρυθμό παραγωγής του νερού και την ποιότητα του νερού (ηλεκτρική αγωγιμότητα). Για την ανάπτυξη του μοντέλου, χρησιμοποιήθηκαν πραγματικές μετρήσεις από την μονάδα αφαλάτωσης αντίστροφης ώσμωσης, η οποία είναι εγκατεστημένη στο Γεωπονικό Πανεπιστήμιο Αθηνών. Για την ανάπτυξη του μοντέλου χρησιμοποιήθηκε το ANFIS (Adaptive Neuro-Fuzzy Inference System) ως εργαλείο μοντελοποίησης και δεν χρειάστηκε μαθηματική μοντελοποίηση. Επιπλέον, ήταν απαραίτητο να λυθεί το πρόβλημα της ανίχνευσης του μέγιστου σημείου ισχύος (Maximum Power Point Tracking – MPPT) των φωτοβολταϊκών πηγών. Το μικροδίκτυο που μελετάται ως προς την διαχείριση της ενέργειας είναι ένα αυτόνομο φωτοβολταϊκό μικροδίκτυο. Αυτό σημαίνει ότι δεν υπάρχει διασύνδεση με το δημόσιο ηλεκτρικό δίκτυο και από τις μονάδες παραγωγής ανανεώσιμης ενέργειας υπάρχει μόνο η φωτοβολταϊκή πηγή. Αυτό κάνει επιτακτική την ανάγκη εκμετάλλευσης όσο το δυνατόν μεγαλύτερης ποσότητας ενέργειας προερχόμενη από την φωτοβολταϊκή πηγή. Το σημείο μέγιστης λειτουργίας (Maximum Power Point - MPP) είναι ένα μοναδικό σημείο τάσεως και ρεύματος, όπου η ισχύς που παράγεται από την φωτοβολταϊκή πηγή μεγιστοποιείται. To σημείο λειτουργίας μιας φωτοβολταϊκής πηγής επηρεάζεται από τις περιβαλλοντικές συνθήκες (θερμοκρασία και ηλιακή ακτινοβολία) και από το φορτίο που είναι συνδεδεμένη. Σκοπός είναι το σημείο λειτουργίας της φωτοβολταϊκής πηγής να συμπίπτει συνεχώς με το MPP. Επιπροσθέτως, ένα σημαντικό πρόβλημα που χρήζει επίλυσης στις φωτοβολταϊκές πηγές είναι οι συνθήκες μερικής σκίασής τους. Σε αυτές τις συνθήκες, η χαρακτηριστική καμπύλη ρεύματος-τάσης έχει πολλαπλά τοπικά μέγιστα που δυσκολεύουν την ανίχνευση του καθολικού μέγιστου. Στην παρούσα διδακτορική διατριβή, προτείνονται δύο λύσεις για το πρόβλημα ελέγχου του MPPT. Συγκεκριμένα, προτείνεται μεθοδολογία που χρησιμοποιεί έναν και μόνο νευρώνα για την επίτευξη MPPT. Ο ελεγχόμενος νευρώνας συνδυάζει online μάθηση βασισμένη στην μέθοδο της κατάβασης δυναμικού και offline μάθηση βασισμένη στον μεθευρετικό αλγόριθμο “Big Bang Big Crunch” (BB-BC). Οι παράμετροι που χρήζουν βελτιστοποίησης είναι μόνο τέσσερις, οι αρχικές τιμές των τριών βαρών του νευρώνα και η κλίση της σιγμοειδούς συνάρτησης ενεργοποίησης. Ακόμα, για τα προβλήματα που εισάγουν οι συνθήκες μερικής σκίασης, προτείνεται η χρησιμοποίηση του νευρώνα με τη κλιμακωτή τοπολογία μετατροπέων όπου για κάθε φωτοβολταϊκό πλαίσιο της πηγής χρησιμοποιείται ένας μετατροπέας και ένας νευρώνας. Η μέγιστη ισχύς εξάγεται από το κάθε φωτοβολταϊκό πλαίσιο ξεχωριστά και εφαρμόζεται μέσω τον μετατροπέων συνολικά στο φορτίο. Επίσης, προτείνεται φωτοβολταϊκός καθολικός ανιχνευτής μέγιστης ισχύος, ο οποίος βασίζεται στην ενισχυτική μάθηση και είναι αναγκαίο να ρυθμιστούν από την αρχή μόνο δύο παράμετροι, το ρεύμα βραχυκυκλώσεως και η τάση ανοιχτοκυκλώσεως της πηγής στις πρότυπες συνθήκες δοκιμής (Standard Test Conditions-STC:25OC & 1000W/m2). Ο πράκτορας αλληλεπιδρά με το περιβάλλον και μαθαίνει να ενεργεί κατάλληλα σε διαφορετικές περιβαλλοντικές συνθήκες αλλά και σε μεταβλητά ηλεκτρικά φορτία με πολύ μικρά σφάλματα και καθόλου ταλαντώσεις γύρω από το MPP.