Συγκριτική ανάλυση λύσεων ευφυών πρακτόρων κειμένου & φωνής (chatbots) στην Ελλάδα

Abstract

Τα τελευταία χρόνια, ο τομέας της Τεχνητής Νοημοσύνης έχει σημειώσει σημαντικές προόδους, ειδικά στην ανάπτυξη των chatbots μέσω της τεχνολογίας επεξεργασίας φυσικής γλώσσας (NLP). Προσφάτως όμως παρακολουθούμε μία πραγματική κούρσα σε αυτό τον τομέα με τις μεγάλες εταιρείες τεχνολογίας να παρουσιάζουν συνέχεια νέες βελτιωμένες λύσεις. Όμως η Ελληνική πραγματικότητα παρουσιάζει αρκετές ιδιαιτερότητες και δυσκολίες στην υιοθέτηση σύγχρονων λύσεων τόσο λόγω της ιδιομορφίας και σπανιότητας της γλώσσας όσο και λόγω των περιορισμένων δυνατοτήτων χρηματοδότησης που έχει η Ελληνική οικονομία. Σκοπός της έρευνας είναι να αξιολογηθεί η απόδοση των chatbots, στην ποιότητα των απαντήσεων τους όσον αφορά τη συνάφεια, τη φυσικότητα, τη συνεκτικότητα τους, την ακρίβεια τους, το λεξιλόγιο τους, καθώς και για την αξιολόγηση της εμπειρίας του χρήστη και της ικανοποίησης από τη συνολική λειτουργία τους. Στόχος επίσης είναι να αποκτηθεί και μία συνολική συγκριτική εικόνα για την λειτουργία των chatbots στην Ελλάδα τόσο ανά ερώτηση όσο και συγκριτικά μεταξύ συναφών ερωτήσεων. Ως μέθοδος αξιολόγησης επιλέχθηκε η καθοδηγούμενη συνέντευξη με κλειστού τύπου ερωτήσεις. Ο στόχος είναι κατά το δυνατόν να υπάρξουν δομημένα και ποσοτικοποιημένα δεδομένα σε ένα τομέα που ο μέσος χρήστης του διαδικτύου δεν είναι απόλυτα εξοικειωμένος και ούτε έχει προηγούμενη σχετική εμπειρία αξιολόγησης. Τα αποτελέσματα παρουσιάζονται ανά λύση και βαθμολογία που εισέπραξαν από την πλειοψηφία των αξιολογητών ανά ερώτηση. Η εξαγωγή συμπερασμάτων έγινε κατά ερώτηση προκειμένου να αξιολογηθεί το επίπεδο των λύσεων εστιασμένα και συγκριτικά για να διαπιστωθούν πιθανές τάσεις αλλά και για να επιβεβαιωθεί η συνέπεια των απαντήσεων.

In recent years, the field of Artificial Intelligence has seen significant progress, particularly in the development of chatbots via Natural Language Processing (NLP) technology. Recently, however, there has been a real race in this sector with major technology companies constantly presenting new improved solutions. However, the Greek reality presents several peculiarities and difficulties in adopting modern solutions, both due to the idiosyncrasies and rarity of the language and the limited funding capabilities of the Greek economy. The purpose of this research is to evaluate the performance of chatbots in terms of the quality of their responses regarding relevance, naturalness, cohesion, accuracy, vocabulary, as well as to assess the user experience and satisfaction from their overall operation. Another goal is to gain a comprehensive comparative picture of chatbot operation in Greece, both per question and in comparison, between relevant questions. A guided interview with closed-type questions was chosen as the method of evaluation. The aim is to obtain structured and quantified data in an area where the average internet user is not fully familiarized and does not have previous relevant evaluation experience. The results are presented per solution and the rating they received from the majority of the evaluators per question. Conclusions were drawn per question in order to evaluate the level of solutions in a focused and comparative way to identify possible trends and to confirm the consistency of the responses.