Σχεδιασμός παράλληλων και κατανεμημένων αλγορίθμων για επεξεργασία μεγάλων δεδομένων: αρχές και κριτήρια σχεδίασης

Abstract

O σχεδιασμός και η χρήση των πρώτων κατανεμημένων πληροφοριακών συστημάτων, κατά τη δεκαετία του ’80, υπήρξε μία από τις σπουδαιότερες καινοτομίες στην επιστήμη της πληροφορικής. Μόνο τότε κατέστη πραγματικά εφικτή η αποτελεσματική διαχείριση και εκμετάλλευση μεγάλου όγκου δεδομένων, καθώς η ανακάλυψη όλο και πιο σύγχρονων αυτόνομων πληροφοριακών συστημάτων δεν φαινόταν ικανή να καλύψει τις ανάγκες αποτελεσματικής διαχείρισής τους. Σήμερα, τα κατανεμημένα πληροφοριακά συστήματα χρησιμοποιούνται παντού, σε επιχειρήσεις, οργανισμούς, στο διαδίκτυο, στις τηλεπικοινωνίες, σε εφαρμογές διαχείρισης δεδομένων σε πραγματικό χρόνο, γενικά σε όλες τις περιπτώσεις όπου κεντρικά υπολογιστικά συστήματα είναι αδύνατον να ανταπεξέλθουν στις απαιτήσεις διαχείρισης μεγάλου όγκου δεδομένων. Ο σχεδιασμός και η υλοποίηση της διαχείρισης των κατανεμημένων δεδομένων θεωρείται ένα δύσκολο εγχείρημα, ακόμα και σήμερα, καθώς περιλαμβάνει την παραμετροποίηση πολλών επιμέρους στοιχείων, τα οποία δρουν καταληκτικά στην αποτελεσματική και αποδοτική λειτουργία ενός κατανεμημένου πληροφοριακού συστήματος. Στην παρούσα διπλωματική εργασία καταγράφονται οι βασικές αρχές σχεδιασμού, καθώς και τα κριτήρια που ορίζουν την αποδοτικότητα της εφαρμογής της παράλληλης και κατανεμημένης επεξεργασίας δεδομένων σε ένα πληροφοριακό σύστημα. Ακολούθως, πραγματοποιείται η υλοποίηση βασικών αλγορίθμων σε περιβάλλον προσομοίωσης, με σκοπό την αναλυτική παρουσίαση του τρόπου λειτουργίας ενός εικονικού παράλληλου και κατανεμημένου συστήματος διαχείρισης δεδομένων, καθώς και του τρόπου με τον οποίο διαμορφώνεται σε κάθε φάση το κόστος επεξεργασίας των δεδομένων του. Τέλος, σύμφωνα με τις διαπιστώσεις που προκύπτουν από την υλοποίηση των αλγορίθμων στο περιβάλλον προσομοίωσης, κατηγοριοποιούνται οι σύγχρονες εφαρμογές χρήσης παράλληλων και κατανεμημένων συστημάτων διαχείρισης δεδομένων, βάσει των κριτηρίων αποδοτικότητας που θα πρέπει να πληρούν σε κάθε φάση επεξεργασίας των δεδομένων τους.