Επιλογή μεταβλητών στη γραμμική παλινδρόμηση και προσομοίωση

Abstract

Ένα από τα σημαντικότερα προβλήματα που καλείται να αντιμετωπίσει ένας ερευνητής σε ένα πρόβλημα γραμμικής παλινδρόμησης είναι η επιλογή ενός υποσυνόλου από τις διαθέσιμες ανεξάρτητες μεταβλητές του εκάστοτε προβλήματος, έτσι ώστε αφενός να ελαχιστοποιήσει όσο το δυνατόν το κόστος πρόβλεψης της εξαρτημένης μεταβλητής και αφετέρου δε να μη προκύπτει απώλεια στην αποτελεσματικότητα του μοντέλου πρόβλεψης. Στη παρούσα διπλωματική εργασία παρουσιάζονται οι κυριότερες τεχνικές που έχουν προταθεί στη βιβλιογραφία οι οποίες οδηγούν στην επιλογή του βέλτιστου συνόλου ανεξάρτητων μεταβλητών για την πρόβλεψη μιας εξαρτημένης μεταβλητής μέσω ενός γραμμικού μοντέλου. Αρχικά παρουσιάζονται κριτήρια για την εύρεση του βέλτιστου γραμμικού μοντέλου, δηλαδή του μοντέλου με τον βέλτιστο συνδυασμό ανεξάρτητων μεταβλητών, έπειτα αναλύονται οι λεγόμενες επαναληπτικές μέθοδοι επιλογής μεταβλητών, οι οποίες δημιουργούν μια αλληλουχία γραμμικών μοντέλων εισάγοντας η διαγράφοντας κάθε φορά βάση κριτηρίου μια ανεξάρτητη μεταβλητή έως ότου φτάσουν σε κάποιο σημείο που ικανοποιείται ένα κριτήριο επιλογής. Στη συνέχεια παρουσιάζεται το Μπευζιανό κανονικό μοντέλο γραμμικής παλινδρόμησης, καθώς και μέθοδοι επιλογής μεταβλητών βασισμένες στην Μπευζιανή στατιστική, ενώ παρουσιάζεται αναλυτικά η μέθοδος SSVS (Stochastic Search Variable Selection) των George & McCuloch στην οποία εκφράζεται η σχέση μεταξύ της μεταβλητής απόκρισης με τους υποψήφιους προγνωστικούς παράγοντες σε ένα πλαίσιο ενός ιεραρχικού μεικτού κανονικού μοντέλου, όπου ρυθμιστικές παράμετροι χρησιμοποιούνται για να εντοπίσουν τις επιλογές υποσυνόλων. Στο τελευταίο μέρος γίνεται εφαρμογή, μεθόδων για την επιλογή του βέλτιστου γραμμικού μοντέλου παλινδρόμησης.

One of the major problems facing a researcher in a linear regression problem is the selection of a subset of independent variables that are available, so that on the one hand to minimize as much as possible the prediction cost of the dependent variable and on the other hand the efficiency loss experienced in the prediction model is as small as possible. In this dissertation we present the main techniques that have been proposed in the literature leading to the selection of the optimal set of independent variables to predict a dependent variable through a linear model. Firstly we present criteria for choosing the best linear model, i.e. the model with the optimal combination of independent variables, next we present the so-called iterative variable selection methods. Through these a sequence of linear models is created by introducing or deleting at each step an independent variable until a stopping criterion is met. Next, we present the Bayesian normal linear regression model and variable selection methods based on Bayesian statistics, describing in detail SSVS method (Stochastic Search Variable Selection) of George & McCuloch in which expressed the relationship between the response variable with potential prognostic factors in a context of a hierarchical normal mixed model, where latent variables used to identify subsets selection. In the last section we apply methods for selecting the optimal linear regression model.