Μοντέλα πιθανοτήτων για περιγραφή δεδομένων μεγάλου όγκου

Abstract

Tα τελευταία χρόνια πολλοί ερευνητές επικεντρώθηκαν στην στοχαστική μοντελοποίηση σε φυσικών και κοινωνικών φαινομένων και έφτασαν στο συμπέρασμα ότι τα περισσότερα από αυτά ακολουθούν την Κατανομή Νόμου Δύναμης (Power Law Distribution. PLD). Στη παρούσα εργασία δίνουμε αρχικά τον ορισμό της συνεχούς PLD και τις ιδιότητές της. Στην συνέχεια παραθέτουμε διάφορες στατιστικές μεθόδους εκτίμησης των παραμέτρων της μαζί με τον έλεγχο καλής προσαρμογής Kolmogorov-Smirnov. Ακολούθως, προχωρούμε στην παρουσία τεχνικών σύγκρισης της PLD έναντι άλλων κατανομών βαριάς ουράς μέσω του ελέγχου του λόγου πιθανοφανειών και αναλύουμε κάποιες από αυτές. Επιπρόσθετα, χρησιμοποιώντας προσομοιωμένα δεδομένα από την PLD εξετάζουμε ποια από τις μεθόδους εκτίμησης δίνει αξιόπιστα αποτελέσματα και επιπλέον ποια εναλλακτική κατανομή προσαρμόζεται καλύτερα σε δεδομένα τα οποία προέρχονται από την PLD. Τέλος, δίνουμε κάποιες εφαρμογές της PLD και παρουσιάζουμε πως μπορούμε να εφαρμόσουμε τις τεχνικές εκτίμησης των παραμέτρων της μέσα από διάφορες γλώσσες προγραμματισμού.