Αυτόματη άντληση, μετασχηματισμός και απεικόνιση επιχειρηματικών δεδομένων με τεχνολογίες επιχειρηματικής ευφυΐας (business intelligence)

Abstract

Στην παρούσα εργασία παρουσιάζεται η σχεδίαση και υλοποίηση ενός αυτοματοποιημένου συστήματος άντλησης, μετασχηματισμού και οπτικοποίησης επιχειρηματικών δεδομένων, με χρήση τεχνολογιών Επιχειρηματικής Ευφυΐας (Business Intelligence). Η κύρια πηγή δεδομένων είναι το δημόσιο αποθετήριο SEC EDGAR, ενώ η ροή δεδομένων υλοποιείται με την χρήση του εργαλείου ανοιχτού κώδικα Airbyte (μεταφορά δεδομένων), PostgreSQL (αποθήκευση δεδομένων), dbt (μετασχηματισμός-επεξεργασία δεδομένων) και Power BI (αναφορές και διαδραστικά dashboards). Εφαρμόζεται η μεθοδολογία «Quarter Bucket» για δίκαιες και σταθερές συγκρίσεις ανά ημερολογιακό τρίμηνο, αντιμετωπίζοντας τυχόν κενά και ασυγχρονίες δημοσιεύσεων. Τα αποτελέσματα δείχνουν σταθερότητα ταυτοτήτων (IDs), βελτίωση απόδοσης με incremental/merge, και αναφορές που ακολουθούν IBCS λογική ουδετερότητας για πολύ μικρές μεταβολές.