An intelligent distributed system for automatic sentiment analysisfrom topic-specific web sources: confidence model and sentiment analysis

Abstract

Το κείμενο που ακολουθεί ερευνά το σχεδιασμό και την ανάλυση ενός έξυπνου συστήματος το οποίο κάνει χρήση κατανεμημένης δομής για να πετύχει αυτοματοποιημένη εξόρυξη συναισθήματος απο δεδομένα που υπάρχουν στο διαδίκτυο και που σχετίζονται με ένα ορισμένο θέμα. Ξεκινώντας απο ένα μικρό σύνολο παραμέτρων ορισμένων απο το χρήστη (συμπεριλαμβανομένου και του θέματος), δεδομένα τα οποία είναι σχετικά με το θέμα ανακαλύπτονται απο πράκτορες Focused Crawlers οι οποίοι χρησιμοποιούν τις πιο σύγχρονες τεχνικές focused crawling. Οι Focused Crawler πράκτορες σε συνεργασία με τους Miners πράκτορες αποκαλύπτουν τα κομμάτια δεδομένων που είναι πιο σημαντικά για τον χρήστη. Έπειτα εφαρμόζοντας ένα μοντέλο ανάλυσης εμπιστοσύνης αποφασίζεται απο το σύστημα η πιθανότητα τα κομμάτια να εκφέρουν κάποια άποψη για το θέμα που έχει ορίσει ο χρήστης. Κατόπιν για αυτά τα κομμάτια εφαρμόζονται τεχνικές εξόρυξης γνώσης (subjectivity και polarity classification). Για την επιτυχημένη εφαρμογή του συστήματος σε ένα ευρύ πεδίο θεμάτων, χρησιμοποιούνται τόσο supervised αλλά και unsupervised μεθοδολογίες. Τα περιεχόμενα αυτής της διπλωματικής ερευνούν το δεύτερο κομμάτι του συστήματος, δηλαδή το μοντέλο ανάλυσης εμπιστοσύνης και τις μεθοδολογίες εξόρυξης γνώσης.

The present document deals with the design and analysis of an intelligent system that uses distributed structure to achieve automatic sentimentanalysis on opinions extracted from sources related to a specific topic from the World Wide Web (WWW). Starting from a set of simple user-definedparameters including topic; relevant documents are discovered by FocusedCrawler Agents who use state-of-the-art focused crawling methods. In co-operation with Miner Agents the retrieval of the segments (useful regions)of those documents is accomplished. Next, a confidence is calculated for extracting segmented regions with high probability of containing opinions and a complete sentiment analysis is made to these regions, which includes subjectivity and polarity classification methods bootstrapped for optimized precision. In order to be applied to a variety of topics, the system follows unsupervised and supervised learning methods derived from the Machine Learning (ML) domain. The contents of this document address the second part of the above procedure which includes the analysis of confidence model and sentiment analysis.