Απάντηση μαθηματικών ερωτήσεων με χρήση παραγωγικών γλωσσικών μοντέλων

Abstract

Αυτή η εργασία εξετάζει την αποτελεσματικότητα της χρήσης διάφορων παραγωγικών γλωσσικών μοντέλων για την δημιουργία απαντήσεων για ερωτήσεις μαθηματικού περιεχομένου. Τα τελευταία χρόνια υπάρχει αυξημένο ενδιαφέρον για ανάκτηση πληροφοριών μαθηματικού περιεχομένου στον κλάδο ανάκτησης πληροφοριών, και η χρήση αναδυόμενων τεχνολογιών, όπως τα παραγωγικά γλωσσικά μοντέλα, θα μπορούσε να βοηθήσει σημαντικά, δημιουργώντας εξατομικευμένες απαντήσεις σε περίπλοκα μαθηματικά ερωτήματα, έχοντας ως βάση μόνο την εκπαίδευση του μοντέλου. Για την εκπόνηση της εργασίας έγινε χρήση και εμπορικών αλλά και open source μοντέλων, και σε κάθε μοντέλο εφαρμόσθηκαν διάφορες κοινές προσεγγίσεις. Οι απαντήσεις που παρήχθησαν συγκρίθηκαν με τις απαντήσεις από τον διαγωνισμό ARQMath-3 που είχε ένα παρόμοιο θέμα, το οποίο αποτέλεσε και την έμπνευση για την εργασία αυτή. Επιπροσθέτως, έγιναν και προσπάθειες βελτίωσης των τρόπων αξιολόγησης των αποτελεσμάτων. Βρέθηκε ότι τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο κοινό επιτυγχάνουν παρόμοια αποτελέσματα, σύμφωνα με τις μετρικές που χρησιμοποιήθηκαν, με πιο εξειδικευμένες προσεγγίσεις, όπως αυτές που έγιναν για το ARQMath-3. Φάνηκε ότι η αποτελεσματικότητα επηρεάζεται τόσο από τον αριθμό των παραμέτρων και των άλλων τεχνικών χαρακτηριστικών των μοντέλων, όσο και από τον τρόπο που τίθενται τα ερωτήματα, τον τρόπο παραμετροποίησης και τον τρόπο προεκπαίδευσης του μοντέλου. Ταυτόχρονα υπήρξαν ενδείξεις ότι οι τωρινοί τρόποι αξιολόγησης δεν επαρκούν για την αξιολόγηση αποτελεσμάτων από παραγωγικά γλωσσικά μοντέλα, ότι υπάρχουν περιθώρια βελτίωσης τους, αλλά και ανάγκη εύρεσης επιπλέον τρόπων αξιολόγησης που θα ανταποκρίνονται στις ανάγκες της συγκεκριμένης προσέγγισης.

This thesis examines the effectiveness of using various language models for generating answers to mathematics-related questions. In recent years, there has been increased interest in information retrieval of mathematical content in the field of information retrieval, and the use of emerging technologies, such as language models, could greatly assist in creating personalized answers to complex mathematical questions based solely on the model's training. Both commercial and open-source models were used in this study, and different approaches were used for each model. The generated answers were compared with the answers from the ARQMath-3 competition, which had a similar theme and served as inspiration for this work. Additionally, efforts were made to improve the evaluation methods that were used for ARQMath-3. The results showed that publicly available pretrained models achieve similar results, according to the metrics used, with more specialized approaches like those used in ARQMath-3. The effectiveness was found to be influenced by both the number of parameters and other technical characteristics of the models, as well as the way questions are presented, and the parameterization and pretraining method of the model. At the same time, there were indications that the current evaluation methods are not sufficient for evaluating results from language models, that there is room for improvement, and a need for creating additional evaluation methods that meet the specific requirements of this approach.