Tαυτόχρονη αναγνώριση τάξης και παραμέτρων μοντέλων χρονοσειρών με χρήση πολυμοντελικού διαμελισμού

Abstract

Η διατριβή αυτή αποτελείται από 6 κεφάλαια. Στο πρώτο κεφάλαιο παρουσιά-ζεται η μέθοδος για ταυτόχρονη αναγνώριση των παραμέτρων και της τάξης χρο-νικά αμετάβλητων πολύ-μεταβλητών (MutliVariate - MV) ακολουθιακών (Auto-Regressive - AR) μοντέλων υπό την παρουσία θορύβου, ως επέκταση της επιτυ-χημένης εφαρμογής του αλγόριθμου πολύ-μοντελικού διαμελισμού για τη βαθμω-τή περίπτωση. Επίσης μέσω εξομοιώσεων αποδεικνύεται ότι η μέθοδος είναι επι-τυχής και για χρονικά μεταβαλλόμενα MV AR μοντέλα. Η απόδοση του προτεινό-μενου αλγόριθμου συγκρίνεται με αυτήν άλλων καταξιωμένων μεθόδων.Στο δεύτερο κεφάλαιο εφαρμόζεται η μέθοδος πολυμοντελικού διαμελισμού με στόχο την αναγνώριση ενός μοντέλου που θα περιγράφει την κίνηση ενός δικτύου υπολογιστών και θα είναι σε θέση να εντοπίζει πιθανές ανωμαλίες. Τα δεδομένα που χρησιμοποιούνται είναι πραγματικά, προέρχονται από το δίκτυο του ΤΕΙ Α-θήνας, είναι εύκολα προσβάσιμα και αφορούν την εκμετάλλευση του εύρους ζώ-νης (bandwidth utilization) του δικτύου. Προηγείται επεξεργασία των δεδομένων αυτών με στόχο την εξαγωγή πληροφοριών που αφορούν την κανονική συμπερι-φορά ενός δικτύου και την τελική μοντελοποίησή της μέσω Περιοδικών Μοντέ-λων Μεικτών Διεργασιών (Auto Regressive Integrated Moving Average) SARIMA.To τρίτο κεφάλαιο είναι προέκταση της έρευνας του πρώτου κεφαλαίου και πραγματεύεται την εφαρμογή του αλγόριθμου πολυ-μοντελικού διαμελισμού για την ταυτόχρονη αναγνώριση της τάξης και των παραμέτρων πολύ-μεταβλητών μοντέλων μεικτών διεργασιών (MV AutoreRegressive Moving Average - ARMA) υπό την παρουσία θορύβου. Συμπληρωματικά μέσω εξομοιώσεων αποδεικνύεται πως ο προτεινόμενος αλγόριθμος μπορεί να εντοπίσει τυχόν αλλαγές της τάξης του μοντέλου σε πραγματικό χρόνο ακόμα και όταν η πολυπλοκότητα των μοντέ-λων αυξάνεται. Όπως και στο πρώτο κεφάλαιο η απόδοση του προτεινόμενου αλγόριθμου συγκρίνεται με αυτήν άλλων καταξιωμένων μεθόδων.Στο τέταρτο κεφάλαιο διερευνάται το πρόβλημα της αποτελεσματικής παραμε-τροποίησης, μοντελοποίησης και εκτίμησης της ζήτησης του ηλεκτρικού φορτίου χρησιμοποιώντας μοντέλα ARMA με τη χρήση πραγματικών δεδομένων. Στο πρώτο μέρος του κεφαλαίου αποδεικνύεται η δυνατότητα εφαρμογής ενός μοντέ-λου ARMA έπειτα από ειδική επεξεργασία, off line, των δεδομένων η οποία τους αφαιρεί την περιοδικότητα. Ακολούθως στα δεδομένα προστίθεται θόρυβος και πραγματοποιείται σύγκριση της προτεινόμενης μεθόδου -φίλτρο Λαϊνιώτη (Multi Model Partition Filter MMPF)- με άλλα καταξιωμένα κριτήρια με στόχο την επι-τυχή αναγνώριση της τάξης και των συντελεστών του υπάρχοντος μοντέλου ΑRΜΑ, όπως και στο προηγούμενο κεφάλαιο. Στη συνέχεια διερευνάται ποιες από τις μεθόδους που χρησιμοποιήθηκαν μπορούν να εκτιμήσουν τη διακύμανση του ηλεκτρικού φορτίου για μια εβδομάδα χωρίς να υπερβούν ένα συγκεκριμένο όριο λάθους, (2.5%). Στα συγκρινόμενα κριτήρια αυτή τη φορά προστίθενται και τα Τεχνητά Νευρωνικά Δίκτυα (Artificial Neural Networks-ANN). Επιπρόσθετα πραγματοποιείται η εκτίμηση της ημερήσιας μέγιστης ζήτησης φορτίου (daily peak forecast).Στο τελευταίο μέρος πραγματοποιείται η μοντελοποίηση της ζήτησης του ηλε-κτρικού φορτίου μέσω ενός μοντέλου SARIMA. Η μέθοδος πολυμοντελικού δια-μελισμού εφαρμόζεται και πάλι με στόχο την αναγνώριση ενός μοντέλου που θα περιγράφει τη διακύμανση του φορτίου και θα είναι ικανό να εντοπίζει πιθανές μη περιοδικές ανωμαλίες όπως υψηλή ζήτηση (peak load) ή σφάλμα στη γραμμή (blackout).Στο πέμπτο κεφάλαιο εφαρμόζονται μοντέλα ARMA με στόχο την αποτελεσμα-τική παραμετροποίηση και μοντελοποίηση της μεταβολής της αντίστασης του εδάφους. Τα δεδομένα που χρησιμοποιήθηκαν είναι πραγματικά και το μοντέλο ARMA προέκυψε έπειτα από την off line επεξεργασία τους. Στη συνέχεια προ-στίθεται θόρυβος στα δεδομένα και πραγματοποιείται σύγκριση της προτεινόμε-νης μεθόδου -φίλτρο Λαϊνιώτη (Multi Model Partition Filter MMPF)- με άλλα καταξιωμένα κριτήρια με στόχο την επιτυχή αναγνώριση της τάξης και των συ-ντελεστών του υπάρχοντος μοντέλου ΑRΜΑ, όπως και στο προηγούμενο κεφά-λαιο. Ο σκοπός της σύγκρισης είναι να διαπιστωθεί το κατά πόσο χρήσιμο μπορεί να είναι το μοντέλο αυτό όταν τα δεδομένα περιέχουν υψηλό θόρυβο ή όταν χρει-άζεται οn line μοντελοποίηση.Τέλος στο έκτο κεφάλαιο συνοψίζονται τα βασικότερα συμπεράσματα αυτής της διατριβής καθώς και προτάσεις για παραπέρα έρευνα.

This thesis deals with the extension of the multi-model partitioning theory to multivariate models and its application to real cases such as computer networks, electric load demand forecasting and the variation of the grounding resistance during the year.In the first chapter the multi-model partitioning theory is used for simultaneous order and parameter estimation of multivariate autoregressive models as an exten-sion to the one proposed for the scalar case in [30]. Simulation experiments show that the proposed method successfully selects the correct model order and esti-mates the parameters accurately, in very few steps, even with a small sample size. They also show that the proposed method performs equally well when the com-plexity of the model is increased. The results are compared to those obtained us-ing well-established order selection criteria namely (AIC [8], AICC [25-27], BIC [19], H & Q [23], DC and MDC [27, 32]). Finally, it is shown that the method is also successful in tracking model order changes, in real time [57].The second chapter deals with adaptive network anomaly detection using bandwidth utilization data. The proposed method has two advantages: it is based on a powerful multi model partitioning filter, (MMPF) proposed by Lainiotis [33-35], known for its stability and well established in identification and modeling; secondly, it uses easy to find and collect datasets. Bandwidth use is the most common set of data and almost all network administrators monitor the bandwidth utilization for their servers, LAN/VLAN users, and network connections. The proposed method uses past traffic data to learn and model the normal periodic behavior of a network connection. Either SARIMA (Seasonal Arima) or State-Space models can be used for the traffic pattern modeling. Several traffic anoma-lies are also modeled from the past experience. If the traffic pattern does not match the normal behavior of the network connection an anomaly is detected, and furthermore, when the pattern matches a known case, the type of anomaly is iden-tified. Real traffic data were used and real world cases were tested from the TEI of Athens campus network. The applied adaptive multi-model partitioning filter identified successfully the unusual activities. The method can perform equally well in real-time using the sampling interval required by the network monitoring programs.Chapter three applies the multi-model partitioning filter in order to perform si-multaneous order and parameter estimation of Multivariate (MV) ARMA (Auto-Regressive Moving Average) models under the presence of noise. The aim of this chapter is not to add yet another ARMA model selection criterion to the rich lit-erature in this area. Rather we focus on an extension to the model order selection criterion proposed for MV AR models by Pappas, Leros and Katsikas [57]. The proposed method successfully selects the correct model order in very few steps and identifies very accurately the ARMA parameters. Comparison with other es-tablished order selection criteria (AIC [8] and BIC [19]) shows that the method needs the shortest data set for successful order identification and accurate parame-ter estimation for all the simulated models, whereas the other criteria require longer data sets as the model order increases. The method performs equally well when the complexity of the MV ARMA model is increased. Finally, the method is capable of tracking, in real time, any model order changes.Chapter 4 deals with efficient modeling and forecasting of the electricity de-mand load using real data. Firstly an appropriate deseasonalization [106-107] of the provided electricity demand load data covering the period from January 1st 2004 to December 31st 2005 is conducted. Then an AutoRegressive Moving Av-erage (ARMA) model is fitted (off-line) on this data using the Corrected Akaike Information Criterion (AICC) [115]. The developed model is shown to fit the data in a successful manner.The next step is to add noise to the real data provided. Four different estimation methods, namely the multi-model partitioning theory (MMPF), Corrected Akaike Information Criterion (AICC) [25-27], Akaikes Information Criterion (AIC) [8] and Schwarzs Bayesian Information Criterion (BIC) [19], use the new noisy data set in order to perform simultaneous order and parameter estimation of Multivari-ate (MV) ARMA (AutoRegressive Moving Average) models under the presence of noise. Furthermore, we investigated which of the above mentioned methods are able to effectively perform weekly load demand forecasting without exceeding the current industrial standard average mean error of 2.5%. An Artificial Neural Net-work, whose architecture is described in Appendix A, is also added to the com-pared criteria. . Moreover a next day peak load demand forecasting is also per-formed.The second part of chapter four proposes an adaptive method based on the multi model partitioning filter, (MMPF) for short term electric load forecasting using real data. Grid utilization is initially modeled using a multiplicative seasonal ARIMA (p, d, q) x (P, D, Q) (SARIMA) model. The proposed method uses past data to learn and model the normal periodic behavior of the electric grid. Either ARMA or State-Space models can be used for the load pattern modeling. Load anomalies such as unexpected peaks that may appear during the summer or unex-pected faults (blackouts) are also modeled. If the load pattern does not match the normal behavior of the load, an anomaly is detected furthermore, when the pattern matches a known case of anomaly, the type of anomaly is identified. The applied adaptive multi-model partitioning filter identified successfully both normal peri-odic behavior and any unusual activity of the electric grid. The performance of the proposed method is compared to that of the produced SARIMA model. This work can be useful in the studies that concern electricity consumption and electricity prices forecasts giving the possibility to the electricity providers, retailers and regulatory authorities to supply uninterrupted energy at a low cost.Chapter 5 addresses the problem of modeling the variation of the grounding re-sistance during the year. An AutoRegressive Moving Average (ARMA) model is fitted (off-line) on the provided actual data using the Corrected Akaike Informa-tion Criterion (AICC) [125-129]. Difficulties occur when the provided data in-clude noise or errors and also when on line/adaptive modeling is required. For this reason noise is added to the real data and the multi-model partitioning filter is used for the solution of the aforementioned problem. The simulations show that the proposed method succeeds in selecting the correct ARMA model order and estimates the parameters accurately in very few steps, even with a small sample size. For validation purposes the prposed method was compared with three other established order selection criteria (AICC [25-27], AIC [8], BIC [19]) and pre-sented very good results. The proposed method can be extremely useful in the design of electrical installations, since the variation of the grounding resistance during the year affects significantly power systems performance and must be definitely considered.