Gibbs sampling and Reversible jump Markov Chain Monte Carlo with applications

Abstract

Οι μέθοδοι Markov Chain Monte Carlo (MCMC) χρησιμοποιούνται ευρέως στην Bayesian στατιστική, στην υπολογιστική φυσική, στα οικονομικά, καθώς και στην υπολογιστική βιολογία και υπολογιστική γλωσσολογία για την επίλυση αριθμητικών προβλημάτων. Αυτές οι μέθοδοι περιλαμβάνουν τη διεξαγωγή πειραμάτων σε έναν υπολογιστή ως μέσο τυχαίας δειγματοληψίας. Η εξέλιξη των τεχνικών MCMC είναι γρήγορη και υπάρχει ένα αυξανόμενο ενδιαφέρον για τη μελέτη και κατανόηση αυτών των τεχνικών, καθώς η ανάπτυξη νέων μεθόδων, εννοιών και αλγορίθμων είναι σταθερή και διαρκώς εξελισσόμενη. Εστιάζουμε το ενδιαφέρον μας σε μερικούς γνωστούς δειγματολήπτες MCMC: τον Metropolis-Hastings, τον δειγματολήπτη Gibbs και τον αλγόριθμο αναστρέψιμου άλματος MCMC. Προσπαθούμε να κάνουμε εκτιμήσεις όσο το δυνατόν πιο ακριβείς μέσω της εφαρμογής αυτών των δειγματοληπτών. Σκοπός αυτής της μεταπτυχιακής εργασίας είναι να παρουσιάσει τη Bayesian θεωρία ως πλαίσιο για την εφαρμογή των μεθόδων Monte Chain Monte Carlo. Εξετάζουμε θεωρητικά τις μεθόδους Markov Chain Monte Carlo (MCMC) και εκτελούμε προσομοιώσεις διαφόρων μοντέλων με τη χρήση δειγματοληπτών MCMC. Όλες οι εφαρμογές υλοποιούνται σε γλώσσα R και με τη χρήση του πακέτου coda.

Markov Chain Monte Carlo (MCMC) methods are widely used in Bayesian statistics, computational physics, economics, and computational biology and computational linguistics to solve numerical problems. These methods include conducting experiments on a computer as random sampling means. The evolution of MCMC techniques is quick and there is a growing interest in studying and understanding these techniques, as the development of new methods, concepts and algorithms is steady and constantly evolving. We focus on some well-known MCMC samplers: Metropolis-Hastings, Gibbs sampler and MCMC reversible jump algorithm. We strive to make estimates as accurate as possible through the implementation of these samplers. The purpose of this thesis is to present the Bayesian theory as a framework for the implementation of the Markov Chain Monte Carlo methods. We investigate the Markov Chain Monte Carlo (MCMC) theoretically and perform various model simulations using MCMC sampling. All applications are implemented in R language using the coda package.