Bayesian nonparametrics and applications

Abstract

Στην παρούσα Διδακτορική Διατριβή προτείνονται μέθοδοι μή παραμετρικής Μπεϋζιανής στατιστικής για την εκτίμηση παραμέτρων στοχαστικών δυναμικών συστημάτων διακριτού χρόνου κάνοντας χρήση τυχαίων μέτρων πιθανότητας με γεωμετρικά βάρη--Geometric stick breaking process (GSB).

Στο Κεφάλαιο 1, γίνεται μια εισαγωγή στις βασικές έννοιες της μή παραμετρικής Bayesian στατιστικής και τις βασικές έννοιες των Στοχαστικών Δυναμικών Συστημάτων. Επιπλέον, γίνεται ανασκόπηση της βιβλιογραφίας που είναι σχετική με το πρόβλημα της ανακατασκευής δυναμικών εξισώσεων.

Στο Κεφάλαιο 2, παρουσιάζονται αναλυτικά οι πιο δημοφιλείς a-priori κατανομές της μή παραμετρικής στατιστικής κατά Bayes. Συγκεκριμένα, παρουσιάζεται το τυχαίο μέτρο Dirichlet και οι ιδιότητες του (posterior κατανομή, posterior κατανομή πρόβλεψης). Έπειτα, γίνεται ανασκόπηση των δημοφιλέστερων τρόπων αναπαράστασης του τυχαίου μέτρου Dirichlet. Συγκεκριμένα, παρουσιάζονται οι αναπαραστάσεις stick--breaking, generalized Polya urn καθώς και η αναπαράστασή του ως, κανονικοποιημένου, εντελώς τυχαίου μέτρου πιθανότητας. Στη συνέχεια, παρουσιάζεται το τυχαίο μέτρο GSB και αποδεικνύονται βασικές ιδιότητες του. Λόγω της διακριτής φύσης των παραπάνω μέτρων, για την μοντελοποίηση απολύτως συνεχών κατανομών, εισάγονται οι μίξεις τυχαίων μέτρων ως μίξεις πυρήνων παραμετρικής οικογένειας κατανομών χρησιμοποιώντας ως μέτρα μίξης διακριτά τυχαία μέτρα Dirichlet ή GSB. Έπειτα, παρουσιάζονται τα εξαρτημένα τυχαία μέτρα πιθανότητας για την μοντελοποίηση δεδομένων τα οποία παραβιάζουν τη συνθήκη της ανταλλαξιμότητας. Στο κεφάλαιο αυτό, παρουσιάζονται και τα βασικά στοιχεία της μεθοδολογίας Markov Chain Monte Carlo (MCMC), απαραίτητης για posterior συμπερασματολογία με τα μοντέλα αυτά. Συγκεκριμένα παρατίθονται οι μεθοδολογίες δειγματοληψίας κατά Gibbs και η δειγματοληψία με χρήση βοηθητικών μεταβλητών (slice sampling). Με βάση αυτές τις δύο μεθόδους, παρουσιάζονται οι MCMC αλγόριθμοι για το πρόβλημα εκτίμησης πυκνότητας χρησιμοποιώντας τυχαία μέτρα Dirichlet και τυχαία μέτρα GSB.

Στο Κεφάλαιο 3, αρχικά γίνεται ανασκόπηση ενός μή παραμετρικού Bayesian μοντέλου για την ανακατασκευή δυναμικών εξισώσεων που βασίζεται στο τυχαίο μέτρο Dirichlet. Έπειτα εισάγεται ένα μοντέλο ανακατασκευής δυναμικών εξισώσεων, από παρατηρηθείσες χαοτικές χρονοσειρές, που βασίζεται στο τυχαίο μέτρο GSB και αναπτύσσεται ένας MCMC αλγόριθμος για \textlatin{posterior} συμπερασματολογία. Η προτεινόμενη μεθοδολογία Geometric stick breaking reconstruction-GSBR επιτυγχάνει σωστή εκτίμηση των παραμέτρων των δυναμικών εξισώσεων ακόμη και από μικρό αριθμό παρατηρήσεων, ακόμη και σε περιπτώσεις που η κατανομή του θορύβου αποκλίνει από την Κανονική. Η μέθοδος μοντελοποιεί την κατανομή του θορύβου ως μια απειροδιάστατη μίξη κανονικών πυρήνων, όπου εκ των προτέρων, ο αριθμός των συνιστωσών καθώς και οι διακυμάνσεις των πυρήνων είναι άγνωστα. Η συμπερασματολογία γίνεται με μεθόδους MCMC όπου εκτιμάται ο αριθμός των συνιστωσών και οι αντίστοιχες διακυμάνσεις τους; δηλαδή εκτιμάται η πυκνότητα της διαδικασίας του θορύβου από τα διαθέσιμα δεδομένα. Η μεθοδολογία συγκρίνεται με τη μεθοδολογία που βασίζεται στο τυχαίο μέτρο DIrichlet χρησιμοποιώντας χαοτικές χρονοσειρές που έχουν παραχθεί από πολυωνυμικά δυναμικά συστήματα. Τέλος, προκύπτει οτι με την προτεινόμενη μεθοδολογία, το ημι-αναλλοίωτο μέτρο του Στοχαστικού Δυναμικού Συστήματος προκύπτει ως μια a-posteriori περιθώρια κατανομή πρόβλεψης, δημιουργώντας φράγμα στον ορίζοντα πρόβλεψης.

Στο Κεφάλαιο 4, παρουσιάζεται μια νέα μέθοδος για την από κοινού εκτίμηση πυκνότητας μερικώς ανταλλάξιμων παρατηρήσεων, εισάγωντας εξάρτηση μεταξύ $m$ τυχαίων πυκνοτήτων κατά ζεύγη, που μοντελοποιούνται σαν μίξεις από τυχαία μέτρα GSB. Οι πυκνότητες θεωρείται ότι έχουν κοινά χαρακτηριστικά και ο σκοπός είναι να επιτευχθεί σωστή εκτίμηση ακόμη και για τις πυκνότητες που υπάρχει μικρός αριθμός διαθέσιμων παρατηρήσεων. Η ιδέα αυτή βασίζεται στην πλήρως στοχαστικοποιημένη γενίκευση του μοντέλου Pairwise Dependent Dirichlet Prior mixture model (PDDP). Η βασική ιδέα είναι η εξάρτηση αυτή να εισαχθεί μέσω τυχαίων μέτρων, τα βάρη των οποίων είναι αναμενώμενες τιμές των βαρών των τυχαίων μέτρων Dirichlet. Η προτεινόμενη μέθοδος, Pairwise Dependent Geometric Stick Breaking Prior mixture model (PDGSBP) συγκρίνεται με την στοχαστικοποιημένη έκδοση της PDDP μεθόδου τόσο σε προσομοιωμένα όσο και σε πραγματικά δεδομένα. Συγκεκριμένα γίνεται σύγκριση των μεθόδων σε δεδομένα που έχουν παραχθεί από μίξεις κανονικών κατανομών καθώς και από μίξεις Γάμμα κατανομών. Η εγκυρότητα των εκτιμήσεων μετράται με την Hellinger μετρική. Η μέθοδος επίσης εφαρμόζεται σε πραγματικά δεδομένα που αφορούν την εκτίμηση πυκνότητας της κατανομής των μετρήσεων του ενζύμου SGOT από τρεις ομάδες ασθενών στις οποίες ο ασθενής είτε ζεί χωρίς μεταμόσχευση, είτε έκανε μεταμόσχευση είτε απεβίωσε χωρίς μεταμόσχευση. Τα αποτελέσματα στα πειράματα αυτά δείχνουν ότι η μοντελοποίηση με PDGSBP priors είναι επαρκής για εκτίμηση πυκνότητας και πρόβλεψη. Ο προτεινόμενος αλγόριθμος MCMC για posterior συμπερασματολογία με PDGSBP priors είναι ευκολότερος στην υλοποίηση και ταχύτερος στην εκτέλεση από τον αντίστοιχο MCMC αλγόριθμο για το PDDP μοντέλο.

Στο Κεφάλαιο 5, αναπτύσσεται αλγόριθμος MCMC βασισμένος στα a-priori πολυδιάστατα μέτρα PDGSBP για το πρόβλημα της από κοινού αναδόμησης των δυναμικών εξισώσεων από παρατηρηθείσες χρονοσειρές οι οποίες περιέχουν δυναμικό θόρυβο, οι οποίες παράγονται από μη--γραμμικές εξισώσεις διαφορών πρώτης τάξης. Ιδιαίτερη έμφαση δίνεται στην περίπτωση στην οποία υπάρχει μια χρονοσειρά μικρού μεγέθους όπου είναι αδύνατη η επιτυχής αναδόμηση της δυναμικής της εξίσωσης, ενώ υπάρχει τουλάχιστον μία χρονοσειρά επαρκούς μεγέθους της οποίας η αναδόμηση της δυναμικής της εξίσωσης είναι εφικτή. Η προτεινόμενη μεθοδολογία εφαρμόζεται σε προσομοιωμένες χαοτικές χρονοσειρές που παράγονται από πολυωνυμικές απεικονίσεις που περιέχουν μη--Κανονικό θόρυβο. Υπό την υπόθεση ότι οι κατανομές των διαταραχών έχουν κοινά χαρακτηριστικά, χρησιμοποιώντας πληροφοριακές εκ των προτέρων κατανομές, είναι εφικτή η αναδόμηση των δυναμικών εξισώσεων που είναι υπεύθυνες για την παραγωγή των δειγμάτων μικρού μεγέθους με ποσοστιαία σχετικά σφάλματα μικρότερα του 1%.

Τέλος, στο Κεφάλαιο 6, γίνεται σύντομη επισκόπηση της διδακτορικής διατριβής, παρουσιάζονται τα συμπεράσματα και προτείνονται θέματα για μελλοντική έρευνα. Συγκεκριμένα, στο πεδίο έρευνας των στοχαστικών δυναμικών συστημάτων, προτείνεται η κατασκευή ενός μοντέλου για την ανακατασκευή ενός στοχαστικού δυναμικού συστήματος χωρίς να υπάρχει κάποια υπόθεση για τη συναρτησιακή μορφή, θέτοντας ως prior στη συναρτησιακή μορφή μια Gaussian διαδικασία επεκτείνοντας έτσι το GSBR μοντέλο σε ένα πλήρως μη παραμετρικό Bayesian μοντέλο. Επιπλέον προτείνεται να μελετηθεί η μοντελοποίηση των κατανομών των θορύβων σε ένα state--space μοντέλο με GSB priors. Στην περιοχή της μή παραμετρικής Μπεϋζιανής στατιστικής προτείνεται η γενίκευση του PDGSBP μοντέλουν να συμπεριλαμβάνει όλες τις δυνατές αλληλεπιδράσεις μεταξύ των τυχαίων πυκνοτήτων. Τέλος προτείνεται η κατασκευή ενός μη παραμετρικού prior με σκοπό την επίλυση του προβλήματος ταυτοποίησης κατανομών ώστε να επιτυγχάνεται ταυτοποίηση των κοινών χαρακτηριστικών από μία συλλογή τυχαίων πυκνοτήτων.

Ακολούθως παρατίθενται η βιβλιογραφία και τρία παραρτήματα. Το Παράρτημα Α παρέχει πληροφορίες για την δειγματοληψία από τις άγνωστες κατανομές που προκύπτουν στους MCMC αλγορίθμους που παρουσιάζονται στα Κεφάλαια 3 και 5. Στο Παράρτημα Β αναλύεται η δυναμική συμπεριφορά των πολυωνυμικών απεικονίσεων που χρησιμοποιούνται στα Κεφάλαια 3 και 5. Τέλος, το Παράρτημα C παρέχει πληροφορίες για την υλοποίηση των αλγορίθμων στη γλώσσα προγραμματισμού Julia καθώς και ένα σύνδεσμο (URL) για τη μεταφόρτωση των προγραμμάτων.