Ανάπτυξη πολυωνυμικών νευρωνικών δικτύων με χρήση ορθογωνίων πολυωνύμων

Abstract

Στην παρούσα διδακτορική διατριβή παρουσιάζεται η ερευνητική προσπάθεια της δημιουργίας, εκπαίδευσης και χρήσης Πολυωνυμικών Τεχνητών Νευρωνικών Δικτύων (ΠΤΝΔ) με χρήση ορθογωνίων πολυωνύμων. Η έρευνα αυτή εστιάζει στην επίδραση που έχουν τα πολυώνυμα αυτά μέσα στη δομή των Τεχνητών Νευρωνικών Δικτύων (ΤΝΔ).

Αναπτύχθηκαν τρείς διαφορετικές καινοτόμες δομές Πολυωνυμικών Τεχνητών Νευρωνικών Δικτύων (ΠΤΝΔ) οι οποίες έχουν δημοσιευθεί σε έγκυρα διεθνή περιοδικά καθώς και σε πρακτικά επιστημονικών συνεδρίων. Σκοπός και των τριών μεθόδων είναι η χρήση τους σε ισχυρά μη-γραμμικά σύνολα δεδομένων με σκοπό την αύξηση της ακριβείας των αποτελεσμάτων τους. Τα σύνολα δεδομένων αφορούν: (α) πραγματικά πειραματικά δεδομένα που συλλέχθηκαν κατά την διάρκεια της παρούσης διδακτορικής διατριβής στο πλαίσιο των ερευνητικών προγραμμάτων "ΘΑΛΗΣ (ISLA) Physical and Economic Impacts of Sea Level Changes on the beaches of the Aegean Archipelago" και " Beachtour: Συνέργεια για την αειφόρο ανάπτυξη και ασφαλή χρήση των Ελληνικών παραλιών" (βλ. Παράρτημα Β), και (β) δεδομένα που επιλέχθηκαν από την βάση δεδομένων UCI Repository.

Στο πρώτο προτεινόμενο δίκτυο που παρουσιάζεται στο κεφάλαιο 2 έγινε χρήση των ορθογωνίων πολυωνύμων Chebychev μέσα στη δομή ενός ΤΝΔ συναρτήσεων ακτινικής βάσης. Το δίκτυο αποτελείται από τα εξής τρία τμήματα: (i) Από ένα πολυωνυμικό νευρωνικό δίκτυο το οποίο χρησιμοποιεί τα πολυώνυμα Chebychev ως συναρτήσεις ενεργοποίησης, (ii) Από ένα ΤΝΔ το οποίο χρησιμοποιεί συναρτήσεις ακτινικής βάσης και μια πρωτότυπη συσταδοποίηση δεδομένων εισόδου-εξόδου. Αυτή συσταδοποιεί τα δεδομένα εισόδου λαμβάνοντας υπόψη της την κατανομή των δεδομένων εξόδου και με αυτόν τον τρόπο δίνει καλύτερες προσεγγιστικές δυνατότητες στο ΤΝΔ. (iii) Από το τμήμα συμπεράσματος το οποίο συνδυάζει τα δύο προηγούμενα τμήματα για να υπολογίσει την έξοδο του δικτύου. Το δίκτυο εκπαιδεύτηκε χρησιμοποιώντας τη μέθοδο Gradient Descent με χρήση του κανόνα του Armijo ώστε να ελαχιστοποιηθεί το τετραγωνικό σφάλμα του δικτύου. Τα πειράματα (αριθμητικές προσομοιώσεις) του ΤΝΔ αυτού πραγματοποιήθηκαν σε σύνολα δεδομένων του UCI Repository καθώς και σε ένα ισχυρά μη-γραμμικό σύνολο δεδομένων το οποίο καθορίζει την εξαγωγή της θέσης μίας ακτογραμμής από εξειδικευμένου τύπου εικόνες τύπου οι οποίες δείχνουν την τυπική απόκλιση ενός συνόλου διαδοχικών εικόνων.

Η δεύτερη μέθοδος (κεφάλαιο 3) αφορά την ανάπτυξή ενός νευροασαφούς δικτύου το οποίο αποτελείται από (i) ένα ασαφές σύστημα (ii) ένα πολυωνυμικό ΤΝΔ το οποίο χρησιμοποιεί τα ορθογώνια πολυώνυμα Hermite και (iii) την διαδικασία εξαγωγής συμπεράσματος, η οποία χρησιμοποιεί τα προηγούμενα δύο μέρη του για να εξάγει το επιθυμητό αποτέλεσμα. Το δίκτυο εκπαιδεύτηκε χρησιμοποιώντας τη μέθοδο Gradient Descent με χρήση του κανόνα του Armijo ώστε να ελαχιστοποιηθεί το ολικό τετραγωνικό σφάλμα του δικτύου. Το δίκτυο αυτό δοκιμάστηκε σε σύνολα δεδομένων του UCI Repository καθώς και σε ένα μη-γραμμικό σύνολο δεδομένων το οποίο προβλέπει την διάβρωση/μετατόπιση μίας ακτογραμμής μέσα από δεδομένα που έχουν προκύψει από χωρικές και μετεωρολογικές μετρήσεις.

Η τρίτη μέθοδος (κεφάλαιο 4) αποτελείται από ένα πολυωνυμικό ΤΝΔ που κάνει χρήση πολυωνύμων Legendre. Στο ΤΝΔ αυτό για να λειτουργεί η ορθογωνιότητα των πολυωνύμων που χρησιμοποιούνται, ήταν απαραίτητη η αλλαγή διαστήματος των δεδομένων (scaling), ώστε τα δεδομένα που διέρχονται μέσα από τους πολυωνυμικούς κόμβους του δικτύου να ανήκουν στο διάστημα. To προτεινόμενο ΤΝΔ εκπαιδεύτηκε με χρήση αλγορίθμων νοημοσύνης σμήνους, συγκεκριμένα με τον αλγόριθμο GABC η οποία αποτελεί παραμετροποίηση του αλγορίθμου Artificial Bee Colony (ABC) με την καθοδήγηση της θέσης G-best της μεθόδου Particle Swarm Optimization (PSO). Τέλος το δίκτυο αυτό δοκιμάστηκε σε σύνολα δεδομένων του UCI Repository καθώς και σε ένα σύνολο δεδομένων το οποίο προσπαθεί να προβλέψει την περιστροφή του μετώπου μιας παραλίας .

Σε όλες τις παραπάνω μεθόδους τα αποτελέσματα έδειξαν ότι η αναπαράσταση των συναρτήσεων ενεργοποίησης των κόμβων ενός νευρωνικού δικτύου με την χρήση ορθογώνιων πολυωνύμων είναι ικανή να βελτιώσει τόσο την συμπεριφορά όσο και την απόδοση του δικτύου σε προβλήματα παλινδρόμησης. .