Autonomous vehicles: basic concepts in motion control and visual perception

Abstract

This thesis focuses on two important aspects of autonomous vehicles: Control of the vehicle’s longitudinal and lateral motion, and recognition of the objects in the vehicle’s drivable space. In terms of vehicle control, we first drilled down to the existing kinematic and dynamical models used to describe the motion of the vehicle. Subsequently, we developed appropriate lateral and longitudinal controllers to be used in the CARLA vehicle simulator. For longitudinal control we developed a PID controller, while for lateral control we developed a Stanley controller, and we implemented both in the Python language. The controllers generated brake, throttle and accelerator commands to drive the vehicle dynamical model in the CARLA environment. For longitudinal control, we tuned the gains of the PID controller to achieve satisfactory performance. Τhe results indicated that a PD controller appropriately tuned resulted in good performance. In terms of visual perception, we drilled down on aspects of existing related methods and techniques and outlined how they can be used to achieve this very complex task. Subsequently, we developed Python routines to process the semantic segmentation output of a deep neural network and perform relatively simple tasks, such as ground plane estimation, lane marking identification, object recognition within predefined bounding boxes and distance estimation between the recognized objects and the vehicle. Possibly the most significant contribution of this thesis is the systematic presentation of existing fundamental knowledge in the above two areas in a way that one can build upon to develop new, improved concepts for vehicle control and visual perception.

Η παρούσα διπλωματική εργασία εστιάζεται σε δύο σημαντικές πτυχές των αυτόνομων οχημάτων: α) Στον έλεγχο του οχήματος σε διαμήκη και πλευρική κίνηση και β) στην αναγνώριση του πεδίου οδήγησης του οχήματος. Όσον αφορά στον έλεγχο του οχήματος, αρχικά εξετάσαμε τα υπάρχοντα κινητικά και δυναμικά μοντέλα που χρησιμοποιήθηκαν για να περιγραφεί η κίνηση του οχήματος. Στη συνέχεια, αναπτύξαμε κατάλληλους πλευρικούς και διαμήκεις κατευθυντές που χρησιμοποιήθηκαν στον προσομοιωτή οχημάτων CARLA. Για το διαμήκη έλεγχο αναπτύξαμε κατευθυντή PID, ενώ για τον πλευρικό έλεγχο αναπτύξαμε κατευθυντή Stanley και υλοποιήσαμε και τους δύο κατευθυντές σε γλώσσα Python. Οι τελευταίοι υπολογίζουν τις εντολές επιτάχυνσης και επιβράδυνσης (θέση των πεντάλ γκάζι και φρένου) καθώς και κατεύθυνσης (γωνία τιμονιού) που δίδονται στο δυναμικό μοντέλο του οχήματος στο περιβάλλον του CARLA. Για τον διαμήκη κατευθυντή, επιλέξαμε τις παραμέτρους PID για να επιτευχθεί ικανοποιητική απόδοση. Σύμφωνα με τα αποτελέσματα, ο κατευθυντής PD με κατάλληλες παραμέτρους οδηγεί σε καλή απόδοση. Όσον αφορά στην οπτική αναγνώριση του πεδίου οδήγησης, εξετάσαμε τις πτυχές βασικών υπαρχόντων σχετικών μεθόδων και τεχνικών και σκιαγραφήσαμε πώς μπορούν να χρησιμοποιηθούν για την επίτευξη αυτού του πολύπλοκου στόχου. Στη συνέχεια, αναπτύξαμε συναρτήσεις Python για την επεξεργασία της εξόδου από υφιστάμενο νευρωνικό δίκτυο εννοιολογικής κατηγοριοποίησης (semantic segmentation) και για να υλοποιήσουμε σχετικά απλές δράσεις, όπως η εκτίμηση του επιπέδου του εδάφους, η αναγνώριση σήμανσης της λωρίδας, η αναγνώριση αντικειμένων εντός προδιαγεγραμμένων πλαισίων οριοθέτησης και η εκτίμηση της απόστασης μεταξύ των αντικειμένων αυτών και του οχήματος. Πιθανόν η πιο σημαντική συνεισφορά της διπλωματικής αυτής εργασίας είναι η συστηματοποίηση του υφιστάμενου γνωστικού υπόβαθρου στους παραπάνω δύο τομείς ώστε να χρησιμοποιείται στην ανάπτυξη νέων βελτιωμένων προσεγγίσεων για τον έλεγχο του οχήματος και την οπτική αναγνώριση πεδίου.