Μη παραμετρική Μπεϋζιανή συμπερασματολογία σε στοχαστικά δυναμικά συστήματα

Abstract

Στην παρούσα εργασία παρουσιάζεται μία υπολογιστική μέθοδος της μη παραμετρικής Μπεϋζιανής στατιστικής που στοχεύει τόσο στην εκτίμηση των διάφορων παραμέτρων, όσο και στην εκτίμηση πυκνότητας του θορύβου ενός στοχαστικού δυναμικού συστήματος. Η μέθοδος αυτή βασίζεται στα μοντέλα μίξης της διαδικασίας Dirichlet.

Στο Κεφάλαιο 1, δίνονται κάποιες εισαγωγικές πληροφορίες για τη Μπεϋζιανή στατιστική, όπου και αναφέρονται οι βασικές διαφορές μεταξύ Κλασικής και Μπεϋζιανής στατιστικής. Στη συνέχεια, αναφέρεται ο ορισμός του στατιστικού μοντέλου, που αποτελεί θεμέλιο της στατιστικής συμπερασματολογίας, ενώ παράλληλα αναφέρεται και η έννοια της αβεβαιότητας και πως αυτή εκφράζεται με όρους πιθανοτήτων στη Μπεϋζιανή στατιστική. Μία ακόμα έννοια που έχει πρωταρχικό ρόλο στη χρήση της Μπεϋζιανής στατιστικής είναι αυτή της ανταλλαξιμότητας. Για το λόγο αυτό παρουσιάζονται ο ορισμός της, το διάσημο θεώρημα αναπαράστασης του de Finetti, καθώς και ένα παράδειγμα για την καλύτερη κατανόηση της.

Στο Κεφάλαιο 2, γίνεται αναφορά στις δύο κατηγορίες υπολογιστικών μεθόδων που χρησιμοποιούνται στην Μπεϋζιανή συμπερασματολογία, δηλαδή στις μεθόδους που βασίζονται στη μεταβολική συμπερασματολογία (Variational Inference) και στις μεθόδους Markov Chain Monte Carlo (MCMC). Λόγω του ότι η εργασία βασίζεται στην δεύτερη κατηγορία μεθόδων, δίνονται αναλυτικά οι αλγόριθμοι Metropolis-Hastings, Gibbs και Slice. Επιπλέον, γίνεται μια εισαγωγή στα πεπερασμένα Μπεϋζιανά μοντέλα μίξης, όπου με τη βοήθεια του αλγορίθμου Gibbs, πραγματοποιείται η εκτίμηση των παραμέτρων ενός πεπερασμένου μοντέλου μίξης κανονικών κατανομών. Ένα πρόβλημα που δημιουργείται κατά την εφαρμογή του αλγορίθμου είναι το Πρόβλημα Εναλλαγής Ετικέτας (Label Switching Problem), στο οποίο γίνεται αναφορά στο τέλος του κεφαλαίου.

Στο Κεφάλαιο 3, δίνεται ο ορισμός της διαδικασίας Dirichlet, καθώς και κάποιοι κατασκευαστικοί ορισμοί που προτάθηκαν για την αναπαράστασή της, όπως το Γενικευμένο Pólya urn, η διαδικασία Κινέζικου Εστιατορίου (Chinese Restaurant Process) και η αναπαράσταση Stick-Breaking. Έπειτα, γίνεται αναφορά τόσο στις περιθώριες, όσο και στις υπό συνθήκη υπολογιστικές μεθόδους συμπερασματολογίας, ενώ παράλληλα ακολουθεί μία εισαγωγή στα μη πεπερασμένα Μπεϋζιανά μοντέλα μίξης. Η παρούσα εργασία εστιάζει στα μη πεπερασμένα μοντέλα μίξης της διαδικασίας Dirichlet τα οποία χρησιμοποιούνται για την εκτίμηση παραμέτρων και την εκτίμηση πυκνότητας. Ο Walker (2007) πρότεινε έναν αλγόριθμό για τη δειγματοληψία από αυτά τα μοντέλα, ο οποίος παρουσιάζεται στο κεφάλαιο αυτό και βασίζεται σε μία υποκατηγορία των υπό συνθήκη μεθόδων. Στη συνέχεια, γίνεται χρήση του αλγορίθμου και τα αποτελέσματα παρουσιάζονται στο τέλος του κεφαλαίου.

Το Κεφάλαιο 4 αφορά την εφαρμογή του αλγορίθμου, που παρουσιάστηκε στο Κεφάλαιο 3, σε στοχαστικά δυναμικά συστήματα. Συγκεκριμένα, για τον ορισμό των στοχαστικών δυναμικών συστημάτων γίνεται μία εισαγωγή στα ντετερμινιστικά δυναμικά συστήματα και παρουσιάζονται οι κατηγορίες τυχαίων θορύβων. Επιπλέον, αναφέρεται η χαοτική συμπεριφορά που παρατηρείται στα δυναμικά συστήματα και ακολουθεί ο ορισμός ενός στοχαστικού δυναμικού συστήματος. Στη συνέχεια, δίνεται ο αλγόριθμος ανακατασκευής της διαδικασίας Dirichlet, όπου χρησιμοποιείται για την εκτίμηση των παραμέτρων ενός στοχαστικού δυναμικού συστήματος, καθώς και για την εκτίμηση πυκνότητας του τυχαίου θορύβου που το διαταράσσει. Το κεφάλαιο κλείνει με την παρουσίαση των αποτελεσμάτων που προέκυψαν κατά την εφαρμογή του αλγορίθμου.

Στο Κεφάλαιο 5, γίνεται μία σύντομη επισκόπηση της εργασίας, παρουσιάζονται τα συμπεράσματα που προέκυψαν καθ’ όλη τη διάρκειά της και προτείνεται μία πιθανή μελλοντική έρευνα με αφορμή το θέμα της παρούσας εργασίας.

Τέλος, παρατίθενται η Βιβλιογραφία και ένα Παράρτημα με τους κώδικες που χρησιμοποιήθηκαν στην εργασία.