Υπολογιστική στατιστική κατά Bayes

Abstract

Το θέμα της πτυχιακής εργασίας είναι η επεξήγηση τον Μεθόδων δειγματοληψίας Metropolis-Hastings και του Gibbs sampling οπού εξηγούμε της δυο μεθόδους αναλυτικά και δίνουμε κάποια παραδείγματα εφαρμογής τους σε γνωστές κατανομές όπως την Cauchy και την Normal-Gamma αλλά και κάποιες άλλες εφαρμογές τους σε άλλες επιστήμες. Ο λόγος που με οδήγησε σε αυτό το θέμα είναι η ενδιαφέρουσες εφαρμογές αυτόν των μεθόδων και ο τρόπος που μπορούν να χρησιμοποιηθούν ευρέως σε πολλές επιστήμες. Οι στόχοι ήταν να μάθω για αυτές της μεθόδους το θεωρητικό τους υπόβαθρο και να προσπαθήσω να της εφαρμόσω σε άλλες κατανομές με χρήση της γλώσσας προγραμματισμού R και να ανακαλύψω κάποιες εφαρμογές τους σε άλλες επιστήμες. Τα τελευταία χρόνια οι στατιστικοί έχουν όλο και περισσότερο έρθει σε επαφή με τις μεθόδους MarkovchainMonteCarlo(MCMC) για να προσομοιώσουν σύνθετες, άτυπες (non-standard) πολυπαραγοντικές κατανομές. Ο αλγόριθμος του δειγματολήπτη Gibbsείναι μία από τις πιο γνωστές μεθόδους και η επίδρασή της στη Στατιστική κατά Bayesείναι πολύ μεγάλη . Αυτό περιγράφεται στα άρθρα των Tannerκαι Wong(1987), των Gelfandκαι Smith(1990), του Smithκαι Roberts(1993), του Tanner(1993) και των Chibκαι Greenberg(1993). Ένα σημαντικό εργαλείο της υπολογιστικής στατιστικής κατά Bayesείναι ο αλγόριθμος Metropolis–Hastings(MH). Ο αλγόριθμος MHαναπτύχθηκε από τους Metropolis, Rosenbluth, Rosenbluth, Tellerκαι Teller(1953) και στη συνέχεια γενικεύθηκε από τον Hastings(1970).ΟαλγόριθμοςMHείναι εύκολοςστην χρήσητου και έχει σαν ειδική περίπτωση τον δειγματολήπτη Gibbs, όπως επισημαίνεται από τον Gelman(1992).Ο αλγόριθμος MHέχει χρησιμοποιηθεί εκτεταμένα στη φυσική και παρά την εργασία του Hastings, δεν ήταν αρκετά γνωστός στους στατιστικούς μέχρι πρόσφατα. Οι εργασίες των Muller(1993) και Tierney(1994) συνέβαλλαν ουσιαστικά στην αποκάλυψη της αξίας του αλγορίθμου.Στην παρούσα εργασία , παρουσιάζεται η βασική θεωρία στην οποία βασίζεται ο αλγόριθμος MH. Επίσης παρουσιάζουμε κάποιες εφαρμογές της δειγματοληψίας MH.Η υπόλοιπη πτυχιακή εργασία άρθρο είναι οργανωμένηως εξής. Στοκεφάλαιο 2 κάνουμε μια εισαγωγή στης μαρκοβιανές αλυσίδες σε διακριτό και συνεχήχρόνο . Στο κεφάλαιο 3 βλέπουμε αναλυτικά τον αλγόριθμο Metropolis-Hastingκαι κάνουμε χρήση εννοιών όπως η εξίσωσή λεπτομερειακής ισορροπίας και αντιστρεψιμότητας Μαρκοβιανής αλυσίδας, επίσης δίνουμε κάποια παραδείγματα και εφαρμογές του αλγορίθμου. Πιο συγκεκριμένα,δίνουμε παράδειγμα δειγματοληψίας από την κατανομή Cauchyμε χρήση R.Παραθέτουμετην εφαρμογή της Metropolis-Hastingστην διαδικασία γεννήσεων και θανάτων , και την χρήση της Metropolis-Hastingστην βιολογική απαίτηση οξυγόνου .Στο κεφάλαιο 4βλέπουμε το τρόπο δειγματοληψίας από τον δειγματολήπτη Gibbs.Επίσης εφαρμόζουμε τον δειγματολήπτη Gibbsσε εκτίμηση ιεραρχικών .Η εργασία τελειώνει με την παράθεση εφαρμογήςτης MCMCσε φίλτρα ανεπιθύμητης αλληλογραφίας.