Predicting optimal insulin dose for diabetes inpatients by using reinforcement learning

Abstract

Η διατριβή ασχολείται με το κρίσιμο πρόβλημα της πρόβλεψης μελλοντικών δοσολογιών ινσουλίνης τόσο για διαβητικούς όσο και για μη διαβητικούς ασθενείς στις Μονάδες Εντατικής Θεραπείας (ΜΕΘ), ένα περιβάλλον στο οποίο ο ακριβής γλυκαιμικός έλεγχος είναι κρίσιμος. Η εργασία προτείνει μια καινοτόμα μεθοδολογία που αποφεύγει τις περίπλοκες συνέπειες που σχετίζονται με τα παραδοσιακά μοντέλα αλληλεπίδρασης γλυκόζης-ινσουλίνης, παρακάμπτει το πρόβλημα της έλλειψης ιστορικών δεδομένων του υπό εξέταση ασθενούς και ελαχιστοποιεί τον θόρυβο που εισάγεται με τη χρήση συνόλων δεδομένων από πολλαπλούς ασθενείς. Επιπλέον, παρουσιάζουμε μια απλοποιημένη έκδοση του Μοντέλου Αλληλεπίδρασης Ινσουλίνης-Γλυκόζης του Bergman και δημιουργούμε ένα εκτεταμένο σύνολο δεδομένων βασισμένο στη βάση δεδομένων MIMIC III, το οποίο περιλαμβάνει 870 προβλεπτικές μεταβλητές που καλύπτουν δημογραφικά δεδομένα, προηγούμενες δοσοληψίες ινσουλίνης και μέσες τιμές γλυκόζης. Τέλος, παρουσιάζουμε μια προσέγγιση Ενισχυτικής Μάθησης, με βάση το Deep Q-Learning, για τον υπολογισμό εξατομικευμένης βέλτιστης δοσολογίας.

Μεταξύ των συμπερασμάτων βρήκαμε ότι τα Σύνθετα Πολυγραμμικά Μοντέλα της μεθοδολογίας μας υπερτερούν των Μοντέλων Πολυγραμμικής Παλινδρόμησης σε ορούς Mean Absolute Error (ΜΑΕ) για διάφορες δημογραφικές ομάδες, συμπεριλαμβανομένων των μη διαβητικών και των ασθενών με Τύπο II διαβήτη. Ειδικότερα, οι τιμές MAE για τις ομάδες των μη διαβητικών και των ασθενών με Τύπο II διαβήτη ήταν 2,33 και 3,68 αντίστοιχα, σημαντικά καλύτερες από τα Μοντέλα Πολυγραμμικής Παλινδρόμησης μεμονωμένων ασθενών. Η εργασία συμβάλλει σε μια νέα προσέγγιση στην πρόβλεψη της δόσης ινσουλίνης, προσφέροντας μια πολλά υποσχόμενη οδό για πιο αποτελεσματική διαχείριση της γλυκόζης.

This thesis addresses the critical challenge of predicting future insulin dosages for both diabetic and non-diabetic patients in Intensive Care Units (ICUs), a setting where precise glycemic control is crucial. The work proposes a unique methodology that sidesteps the complications associated with traditional glucose-insulin interaction models, circumvents the issue of scarce historical patient data, and minimizes the noise introduced by using datasets aggregated from multiple patients. We introduce a simplified version of Bergman’s Insulin-Glucose Interaction Model and construct an expansive dataset based on the MIMIC III database. This dataset includes 870 predictive features encompassing demographic data, prior insulin administrations, and average glucose levels. The thesis also introduces a Reinforcement Learning approach, utilizing Deep Q-Learning, to optimize both the instance and the training population selection for individualized predictions. We found that our Composite Multilinear Regression Models outperformed Single-Patient Regression Models in terms of Mean Absolute Error (MAE) for different demographic groups, including NonDiabetic and Type II Diabetic patients. Specifically, the MAE values for the Non-Diabetic and Type II Diabetic groups were 2.33 and 3.68, respectively, significantly better than the Single-Patient Models. The work contributes a novel approach to insulin dose prediction, offering a promising pathway for more effective glucose management in ICU settings.