Applications of convolutional neural networks in image and natural language processing

Abstract

Σε αυτή την διπλωματική εξετάζουμε πειραματικά το ενδεχόμενο της αποτελεσματικής μεταφοράς ιδιοτήτων ενός Συνελικτικού Νευρωνικού Δικτύου (ΣΝΔ) σε ένα άλλο ΣΝΔ, όπου το τελευταίο επιλύει ένα πρόβλημα το οποίο διαφέρει από το πρόβλημα που επιλύει το πρώτο ΣΝΔ. Για την κατηγοριοποίηση εικόνας ή κειμένου, η προσαρμογή των υπερπαραμέτρων μίας αρχιτεκτονικής ενός βα- θιού ΣΝΔ είναι συνήθως μία κουραστική και δύσκολη διαδικασία. Οπότε, εάν υπάρχει τρόπος μέσω του οποίου η υπόθεσή μας είναι έγκυρη, τότε υπάρχει η δυνατότητα για την διευκόλυνση αυτής της διαδικασίας. Εξετάζουμε αν ένα ΣΝΔ το οποίο είναι αποδοτικό σε ένα από τα δύο αυτά πεδία, είναι εξίσου αποδοτικό στο άλλο πεδίο. Ελέγχουμε τις αποδόσεις στα αντίστοιχα προβλήματα και συζητάμε για την αποτελεσματικότητα αυτών των μεταφορών. Δύο αρχιτεκτονικές ΣΝΔ επιλέχθηκαν, όπου η μία είναι προσαρμοσμένη σε ένα συγκεκριμένο σύνολο δεδομένων με εικόνες και σε ένα με κείμενα αντίστοιχα. Αρχικά, για κάθε περίπτωση, έχουμε μεταφέρει μόνο τις ιδιότητες της αρχιτεκτονικής χωρίς να λάβουμε υπόψη μας τις εκπαιδεύσιμες παραμέτρους. Συγκεκριμένα έχουμε μεταθέσει τα προβλήματα που αντιστοιχίζονται στις δύο αρχιτεκτονικές, με τέτοιο τρόπο ώστε εάν η Αρχιτεκτονική Α αντιστοιχίζεται στο πρόβλημα κατηγοριοποίησης εικόνας και η Αρχιτεκτονική Β αντιστοιχίζεται στο πρόβλημα κατηγοριοποίησης κειμένου, μέσω αυτής της μετάθεσης καταλήγουμε να χρησιμοποιούμε την Αρχιτεκτονική Α για το πρόβλημα κατηγοριοποίησης κειμένου και την Αρχιτεκτονική Β για το πρόβλημα κατηγοριοποίησης εικόνας. Κατά την μετάθεση αυτή, αντικαθιστούμε τις στοιβάδες τύπου 1Δ (π.χ. 1Δ συνελικτική στοιβάδα) με τις αντίστοιχες στοιβάδες τύπου 2Δ για την εκπαίδευση του κατηγοριοποιητή εικόνας κα- θώς επίσης κάνουμε και το αντίστροφο για την εκπαίδευση του κατηγοριοποιητήκειμένου. Τα αποτελέσματα των εκπαιδεύσεων των μοντέλων που βασίστηκαν σε αυτές τις τροποποιημένες αρχιτεκτονικές δείχνουν πως είναι υψηλής αποδοτικότητας όπως παρουσιάζουμε εκτενώς στα πειράματα. Επιπρόσθετα, υπήρξε και μία δεύτερη προσέγγιση σε αυτό το πρόβλημα της μεταφοράς ιδιοτήτων από το ένα ΣΝΔ στο άλλο, ωστόσο αυτή την φορά επικαλεστήκαμε τεχνικές του transfer learning χρησιμοποιώντας εκπαιδευμένα ΣΝΔ τα οποία βασίστηκαν στις ίδιες προσαρμοσμένες (tuned) αρχιτεκτονικές. Τα πειράματά μας, δείχνουν πως τα ΣΝΔ στόχοι (target CNNs) αποδίδουν όπως οι τυχαίοι κατηγοριοποιητές, οπότε η χρήση του transfer learning για αυτόν το σκοπό έχει αποτύχει. Φαίνεται πως εν μέρει η κακή απόδοση σε περιπτώσεις τέτοιων μεταφορών, οφείλεται στις παραμέτρους που εκπαιδεύτηκαν στο σύνολο δεδομένων πηγή (source dataset) οι οποίες παράμετροι είναι αισθητά ακατάλληλες για την εκπαίδευση του ΣΝΔ στόχος (target CNN) στο σύνολο δεδομένων στόχο (target dataset). Τέλος, η χρήση στοιβάδας 2Δ με μικρό scanning shape (π.χ. μικρό shape φίλτρου στη περίπτωση της 2Δ συνελικτικής στοιβάδας) σε δεδομένα κειμένου, πρέπει να συμβάλλει σε αυτή την προβληματική συμπεριφορά διότι κάθε embedded διάνυσμα εκπροσωπεί ένα token ενός κειμένου και παράγοντας feature maps βασισμένα σε μικρά μέρη τέτοιων διανυσμάτων δεν έχει πολύ νόημα.

In this thesis we experimentally investigate the possibility of effectively transferring properties of a Convolutional Neural Network (CNN) to another one, where the latter one is associated with a different type of problem from the problem which the former one solves. Tuning a deep CNN architecture for either image or text classification can become a tedious and time consuming task. So if there is a way in which our hypothesis is valid, then this might be a promising way to facilitate that task. We propose an approach to the CNN training for image and text classification, with the aim to examine that for a given CNN which performs well in one of these two areas, it can perform well in the other area too. We test the performances on their respective tasks accordingly and discuss the effectiveness of such transferences. Two CNN architectures were selected, where each is tuned for a specific image and a text dataset respectively. Initially, in each case, we have transferred only each architecture’s properties without taking into account the trainable parameters. We have swapped the tasks for each of these architectures by also changing 1D layers (e.g. 1D convolutional layer) to 2D for the training of the image classifier and the converse for the text classifier. The results of training such modified architectures exhibit the high performance of these models as we demonstrate by extensive experiments. Additionally, there was a second approach to this problem, only this time we have invoked transfer learning techniques using trained CNNs based on the same tuned architectures. Our experiments have showed that the target CNNs perform as random classifiers, thus our attempt to utilize transfer learning for this purpose has failed. It seems that part of the reason for the poor performance for such transferences, is that the parameters which were trained on the source dataset might not support the training on the target dataset. Furthermore, using 2D layer with small scanning shape (e.g. small filter shape in the case of 2D convolutional layer) on text data, must be contributing to this issue because each embedded vector represents a document’s token and producing feature maps based on small parts of such vectors makes little sense.