Adversarial machine learning: evaluation of attack models & defense mechanisms

Abstract

In recent years, there has been a sharp increase in the use of mobile platforms and particularly devices based on the Android operating system. This rapid use of mobile devices has fueled cybercriminals’ interest in developing and sharing malicious software. Machine learning algorithms can be used to detect malware with extremely high performance. However, many of these algorithms, and mainly neural network models, are vulnerable to changes in the input data, known as adversarial examples, capable of leading a model to produce misclassifications. This weakness is one of the major problems that the research community is called upon to solve. This thesis presents the evolution of malicious software for Android-based devices over time and refers to the extraction of an application’s features to detect malicious activity. In addition, ways of detecting malware through machine learning models are being developed, as well as ways in which an attacker can deceive these models. This work focuses on the experimental demonstration of the efficiency of machine learning models for malware detection and the weakness of these models against small changes in the input data. Finally, methods for defending models are being evaluated and special features of adversarial examples are being discussed.

Τα τελευταία χρόνια παρατηρείται ραγδαία αύξηση στην χρήση κινητών πλατφορμών και ιδιαίτερα σε συσκευές που βασίζονται στο λογισμικό σύστημα Android. Η ραγδαία αυτή χρήση των κινητών συσκευών έχει κεντρίσει το ενδιαφέρον κυβερνοεγκληματιών για την ανάπτυξη και διαμοιρασμό κακόβουλου λογισμικού. Οι αλγόριθμοι μηχανικής μάθησης μπορούν να χρησιμοποιηθούν για τον εντοπισμό κακόβουλου λογισμικού, έχοντας εξαιρετικά υψηλές αποδόσεις. Ωστόσο, πολλοί από αυτούς τους αλγορίθμους και ειδικά τα μοντέλα νευρωνικών δικτύων είναι ευάλωτα σε αλλαγές στα δεδομένα εισόδου, γνωστά ως κακόβουλα παραδείγματα, ικανές να οδηγήσουν ένα μοντέλο στην παραγωγή εσφαλμένων ταξινομήσεων. Η αδυναμία αυτή αποτελεί ένα από τα σημαντικότερα προβλήματα που καλείται η ερευνητική κοινότητα να επιλύσει. Η παρούσα διπλωματική εργασία παρουσιάζει την εξέλιξη του κακόβουλου λογισμικού για κινητές συσκευές βασισμένες στο λογισμικό Android με το πέρασμα του χρόνου και γίνεται αναφορά στους τρόπους εξαγωγής χαρακτηριστικών των εφαρμογών με σκοπό την ανίχνευση κακόβουλης δραστηριότητας. Επιπλέον, αναπτύσσονται οι τρόποι ανίχνευσης κακόβουλου λογισμικού μέσω μοντέλων μηχανικής μάθησης, καθώς και οι τρόποι με τους οποίους ένας επιτιθέμενος μπορεί να εξαπατήσει τα μοντέλα αυτά. Η εργασία επικεντρώνεται στην πειραματική απόδειξη της ακρίβειας των μοντέλων μηχανικής μάθησης για τον εντοπισμό κακόβουλου λογισμικού και την αδυναμία των αλγορίθμων έναντι μικρών αλλαγών στα δεδομένα εισόδου. Τέλος, αξιολογούνται μέθοδοι προστασίας των μοντέλων, καθώς και συζητούνται ενδιαφέρουσες ιδιότητες των κακόβουλων παραδειγμάτων.