Sparse multi-label classification of medical images using deep convolutional neural networks

Abstract

The recent advancements in imaging technologies have improved clinician's ability to detect, diagnose, and treat diseases. As an example, radiologists routinely interpret medical images and summarize their findings in the form of radiology reports. The mapping of visual information present in medical images to the condensed textual description is a tedious, time-consuming, expensive, and error-prone task. The development of methods that can automatically detect the presence and location of medical concepts in medical images can improve radiologists' efficiency, reduce the burden of manual interpretation, and help reduce diagnostic errors.

In this master thesis, we deal with the challenging task of medical image tagging (or labeling), which aims to identify medical terms (or concepts) in medical images, and with the ultimate goal of helping physicians to generate medical reports from medical images. In particular, we propose a variation of convolutional neural networks for sparse multi-label classification to predict relevant concepts present in images, and we test it against all recent datasets from the ImageCLEFmed Caption task (i.e., 2017, 2018, 2019, and 2020). The proposed system outperformed all winning teams in terms of F1 score between system predicted and ground truth concepts. We present our work with data analysis, experimental results, comparisons between the different hyper-parameters and network architectures, and last but not least, with a short discussion on future steps.

Οι πρόσφατες εξελίξεις στις τεχνολογίες απεικόνισης έχουν βελτιώσει την ικανότητα των ιατρών να εντοπίζουν, διαγιγνώσκουν, και θεραπεύουν ασθένειες. Για παράδειγμα, οι ακτινολόγοι καλούνται καθημερινά να εξετάσουν ιατρικές εικόνες και να συνοψίσουν τα ευρήματά τους υπό την μορφή ακτινολογικών αναφορών. Η χαρτογράφηση της οπτικής πληροφορίας που εντοπίζεται στις ιατρικές εικόνες σε συμπυκνωμένες ιατρικές αναφορές είναι μια επίπονη, χρονοβόρα, δαπανηρή, και επιρρεπής σε λάθη διαδικασία. Η ανάπτυξη μεθόδων που μπορούν να ανιχνεύσουν αυτόματα την παρουσία και τη θέση διαφόρων ιατρικών εννοιών στις ιατρικές εικόνες μπορεί να βελτιώσει την αποτελεσματικότητα των ιατρών, να μειώσει το φορτίο της χειροκίνητης ερμηνείας, και να βοηθήσει στην μείωση των διαγνωστικών λαθών.

Στην παρούσα μεταπτυχιακή εργασία, ασχολούμαστε με το απαιτητικό πρόβλημα της σήμανσης ιατρικών εικόνων, η οποία στοχεύει στον εντοπισμό ιατρικών εννοιών σε ιατρικές εικόνες, και έχει ως απώτερο στόχο την υποστήριξη των ιατρών στην δημιουργία ιατρικών αναφορών από ιατρικές εικόνες. Πιο συγκεκριμένα, προτείνουμε μια παραλλαγή των συνελικτικών νευρωνικών δικτύων για ταξινόμηση πολλαπλών ετικετών αραιών διανυσμάτων με στόχο την πρόβλεψη συναφών εννοιών που εντοπίζονται σε εικόνες, και τη δοκιμάζουμε σε όλα τα πρόσφατα σύνολα δεδομένων του ImageCLEFmed Caption διαγωνισμού (δηλ., 2017, 2018, 2019, και 2020). Η προτεινόμενη μέθοδος ξεπέρασε τους νικητές όλων των παλαιότερων διαγωνισμών βάση της F1 μετρικής, μεταξύ των προβλέψεων του συστήματος και των δεδομένων αλήθειας. Παρουσιάζουμε τη δουλειά μας με ανάλυση δεδομένων, πειραματικά αποτελέσματα, συγκρίσεις μεταξύ των διαφόρων υπερ-παραμέτρων και αρχιτεκτονικών δικτύων, καθώς τέλος, με μια σύντομη αναφορικά σε μελλοντικές κατευθύνσεις.