Εισαγωγή στις αλυσίδες Markov σε διακριτό χρόνο: Θεωρία Δυναμικού και Martingales

Abstract

Αρχικά, γίνεται μία εισαγωγή/ υπενθύμιση σε κάποιες βασικές έννοιες των στοχαστικών διαδικασιών σε διακριτό χρόνο, ώστε να είναι πιο εύκολη η εισαγωγή στις αλυσίδες Markov. Οι αλυσίδες Markov είναι στοχαστικά συστήματα που έχουν μία συγκεκριμένη ιδιότητα και γι αυτό διαφέρουν από τα απλά. Έτσι, μέσα από τους ορισμούς, τα θεωρήματα και τα παραδείγματα γίνεται κατανοητή τόσο η διαφορά όσο και η χρησιμότητά τους. Στη συνέχεια, θα αναφερθούμε στη θεωρία δυναμικού, με βασικό της στοιχείο να είναι οι πιθανότητες απορρόφησης οι οποίες μας βοηθούν να κατανοήσουμε τη συνάρτηση δυναμικού η οποία είναι το κύριο εργαλείο στη θεωρία δυναμικού. Έπειτα, θα ασχοληθούμε με τις διαδικασίες Martingales. Οι Martingales αποτελούν μία πολύ σημαντική κατηγορία στοχαστικών διαδικασιών, αφενός διότι έχουν θεωρητικό ενδιαφέρον και αφετέρου επειδή εμφανίζονται σε πολλά πεδία εφαρμογών. Αναπτύσσοντας τη θεωρία τους και ταυτόχρονα παρουσιάζοντας κάποιες επιλογές από τις εφαρμογές τους γίνεται αντιληπτή η σπουδαιότητά τους. Τέλος, γίνεται μια εισαγωγή στις αναλλοίωτες κατανομές οι οποίες κατά κάποιον τρόπο μπορούμε να πούμε ότι είναι οι φυσικές καταστάσεις μίας μαρκοβιανής αλυσίδας.