Βέλτιστες μονότονες πολιτικές σε προβλήματα ελέγχου στοχαστικών διαδικασιών

Abstract

Στην παρούσα διατριβή μελετώνται διάφορα προβλήματα βέλτιστου ελέγχου στοχαστικών διαδικασιών τα οποία μπορούν να περιγραφούν με κατάλληλα Μαρκοβιανά ή ημι-Μαρκοβιανά μοντέλα αποφάσεων. Τα προβλήματα σχετίζονται με το βέλτιστο έλεγχο μιας διδιάστατης επιδημικής διαδικασίας, με τη βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής, με τη βέλτιστη επισκευή ή αντικατάσταση ενός μηχανήματος και με το βέλτιστο έλεγχο ενός πληθυσμού παρασίτων. Ο κύριος στόχος είναι η εύρεση της πολιτικής η οποία, για κάθε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί τη μέση τιμή μιας προκαθορισμένης συνάρτησης του μελλοντικού κόστους.

Στην παρούσα διατριβή μελετώνται διάφορα προβλήματα βέλτιστου ελέγχου στοχαστικών διαδικασιών τα οποία μπορούν να περιγραφούν με κατάλληλα Μαρκοβιανά ή ημι-Μαρκοβιανά μοντέλα αποφάσεων. Τα προβλήματα σχετίζονται με το βέλτιστο έλεγχο μιας διδιάστατης επιδημικής διαδικασίας, με τη βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής, με τη βέλτιστ η επισκευή ή αντικατάσταση ενός μηχανήματος και με το βέλτιστο έλεγχο ενός πληθυσμού παρασίτων. Ο κύριος στόχος είναι η εύρεση της πολιτικής η οποία, για κάθε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί τη μέση τιμή μιας προκαθορισμένης συνάρτησης του μελλοντικού κόστους. Σε μερικά προβλήματα αποδεικνύουμε ότι η βέλτιστη πολιτική είναι μονότονη, δηλαδή θέτει σε λειτουργία το μηχανισμό ελέγχου της διαδικασίας αν και μόνο αν η κατάσταση της διαδικασίας (π.χ. αριθμός φορέων μιας ασθένειας, βαθμός επιδείνωσης ή ηλικία ενός μηχανήματος, πληθυσμιακό μέγεθος παρασίτων) είναι ίση ή υπερβαίνει μία κρίσιμη τιμή. Σε κάποιες περιπτώσεις είναι δυνατόν να βρεθεί η βέλτιστη κρίσιμη τιμή. Σε άλλα προβλήματα κατασκευάζουμε κατάλληλους αλγορίθμους οι οποίοι αποσκοπούν στην εύρεση της βέλτιστης πολιτικής. Σε ορισμένες περιπτώσεις αποδεικνύουμε ότι ο αλγόριθμος συγκλίνει στη βέλτιστη πολιτική ενώ σε άλλες περιπτώσεις υπάρχουν ισχυρές αριθμητικές ενδείξεις ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι βέλτιστη .