Στατιστική κατά Bayes και μέθοδοι Markov Chain Monte Carlo

Abstract

Σκοπός αυτής της πτυχιακής εργασίας είναι η παρουσίαση της στατιστικής κατά Bayes και μεθόδων δειγματοληψίας από μια κατανομή. Στο πρώτο κεφάλαιο θα ασχοληθούμε με εισαγωγικές έννοιες της στατιστικής κατά Bayes, την διαφορά της από την κλασική στατιστική, θα ορίσουμε την ανταλλαξιμότητα και θα γίνει αναφορά στον εκ των υστέρων κίνδυνο, τη διαδοχική ανάλυση, τη διαδικασία πρόβλεψης και τον τρόπο επιλογής μιας εκ των προτέρων κατανομής.

Στο δεύτερο κεφάλαιο ασχολούμαστε με μονοπαραμετρικά μοντέλα. Πιο συγκεκριμένα γίνεται ανάλυση της Διωνυμικής κατανομής, της Κανονικής (με μια άγνωστη παράμετρο), της Poisson και της Εκθετικής. Στο κάθε μοντέλο αναλύεται η μορφή της εκ των προτέρων κατανομής, όταν γίνεται χρήση της συζυγής prior, και η εκ των υστέρων κατανομή σε κάθε περίπτωση. Επίσης δίνεται ο τρόπος εύρεσης μη πληροφοριακής εκ των προτέρων κατανομής για διωνυμικό και κανονικό μοντέλο δειγματοληψίας. Με την βοήθεια δύο παραδειγμάτων γίνεται αναφορά στην ευρωστία της στατιστικής κατά Bayes και αναλύεται ένα πρόβλημα δίκαιου νομίσματος με Bayesian μέθοδο και συγκρίνεται με την κλασική μέθοδο.

Στο τρίτο κεφάλαιο θα ασχοληθούμε με παρατηρήσεις που προέρχονται από κανονική κατανομή (με άγνωστη μέση τιμή και διασπορά), με πολυδιάστατες κανονικές παρατηρήσεις με άγνωστο διάνυσμα μέσων και γνωστό πίνακα συνδιασποράς και τέλος με πολυωνυμικές παρατηρήσεις με άγνωστη κατανομή πιθανότητας. Στην συνέχεια παρουσιάζεται ένα παράδειγμα για την περίπτωση κανονικής κατανομής με άγνωστες παραμέτρους και τρόπος εκτίμησης αυτών των παραμέτρων.

Στο τέταρτο κεφάλαιο γίνεται αναφορά στον τρόπο δειγματοληψίας από μια κατανομή-στόχο (όπου συνήθως είναι η εκ των υστέρων κατανομή). Παρουσιάζεται το ολοκλήρωμα Monte Carlo και κάποιες βασικές έννοιες των μαρκοβιανών αλυσίδων. Στην συνέχεια παρατίθεται η βασική θεωρία της Markov chain Monte Carlo μέθοδο και αναλύονται δύο μέθοδοι: o Metropolis-Hastings και ο Gibbs. Παρουσιάζονται δύο παραδείγματα προσομοίωσης με τον Metropolis-Hastings αλγόριθμο. Στο πρώτο γίνεται προσομοίωση από μίξη μονοδιάστατης κανονικής κατανομής και στο δεύτερο γίνεται προσομοίωση από μια μίξη δυσδιάστατης κανονικής κατανομής. Τέλος, ασχολούμαστε με ένα παράδειγμα δειγματοληψίας με τον αλγόριθμο του Gibbs, όπου προσομοιώνουμε μια πολυδιάστατη κανονική κατανομή.