UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Yasser HAMIDULLAH Contribution au développement d’une intelligence de conduite pour le train autonome Đóng góp phát triển thông minh nhân tạo cho lái tàu tự động MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOÏ - 2019 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Yasser HAMIDULLAH Contribution au développement d’une intelligence de conduite pour le train autonome Đóng góp phát triển thông minh nhân tạo cho lái tàu tự động Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : M. Sébastien LEFEBVRE ( Chef de projet - IRT Railenium) HANOÏ - 2019 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant Yasser HAMIDULLAH LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements La réalisation de ce mémoire a été possible grâce au concours de plusieurs personnes à qui je voudrais témoigner toute ma gratitude. J’aimerais tout d’abord remercier mon encadreur pédagogique de stage Dr Damien Trenteseaux du Laboratoire d’Automatique, de Mécanique et d’Informatique Industrielles et Humaines(LAMIH) à l’Université Polytechnique Hauts-de-France.
La porte du bureau du professeur Trenteseaux était toujours ouverte chaque fois que je rencontrais un pro- blème ou si j’avais une question sur mes recherches. Il a toujours permis que ce document soit mon propre travail, mais il m’a guidé dans la bonne direction chaque fois qu’il pen- sait que j’en avais besoin. Je tiens également à remercier M. Sebastien LEFEBVRE et toute l’équipe de l’IRT Rai- lenium qui ont participé à la réalisation et validation de ce projet.
Ce travail n’aurait pu être accompli sans leur effort et leur contribution passionnées. Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International, Université National de Vietnam à Hanoi. Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à ma famille et à Mme Võ Thu Trang pour m’avoir apporté un soutien indéfectible et des encouragements constants tout au long de mes années de Master.
Sans oublier mes amis qui ont toujours été là pour moi. Votre soutien inconditionnel et vos encouragements ont été d’une grande aide. Je vous remercie. Yasser HAMIDULLAH LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé Ce projet en collaboration avec l’IRT Railenium & LAMIH vise principalement à résoudre le problème de conduite autonome dont la première tentative de résolution était à base des données.
En effet, ces données ne sont pas encore disponibles, alors les tâches préliminaires à faire étaient la récolte et génération des données nécessaires dont le formattage de ces dernières fait parti des objectifs secondaires de ce projet. Malgré ça, nous avons proposé et implémenté une approche utilisant une structure perceptron multi-couche avec cross-entropy (MLP-CE) entrainée avec des données de conduite du simulateur qui n’a pas abouti à un bon résultat. Ceci nous a mené à traiter d’abord ce problème d’un autre point de vue, de la décision et contrôle en faisant appel aux approches du domaine différents "théorie de contrôle" qui cherche généralement le contrôle optimal d’un système ; et de "l’apprentissage par renforcement" qui est basé sur la théorie d’optimalité de Bellman. D’une part le PID avec lequel on a eu un résultat plus stable cependant sa versatilité n’est pas très assurée et d’autre part le RL Qlearning avec une discrétisation de l’espace d’état qui a montré sa capabilité de s’adapter et le comportement préventif ; malgré cela cette technique souffre d’un sérieux problème au niveau de stockage qui pourra ralentir l’algorithme.
Face à ce problème nous avons proposé une solution typique avec un réseau de neurone de type Deep Q-Network qui échappera le problème de stockage mais qui peut être inutile si l’espace est continu. Notre contribution principale dans ce projet est la modélisation de ce problème en processus de décision markovien qui nous a permis d’utiliser les techniques dérivées telles que le Qlearning, et le Deep Q-learning. La contribution technique est carac- térisée par l’utilisation du MLP-CE et l’adaptation du contrôleur PID aux contraintes spécifiques de notre simulateur. Les prochaines étapes dans ce projet seront la validation de nos résultats avec des données réelles ou des simulateurs à haute fidélité ou encore avec des simulateurs à niveau d’abstraction moyenne qui est adéquat pour le système de transport.
Enfin, des scènes et cas plus complexes seront aux limites des modèles mathématiques, phy- siques et dynamiques nécessiteront une recherche parallèle dans l’éthique. En faisant correspondre le comportement du nouveau système à l’éthique, nous faciliterons son acceptation auprès de la société. Mots clés : Train autonome, système autonome, intelligence artificielle, théorie de contrôle, apprentissage automatique, apprentissage par renforcement, processus de décision markovien. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract This project in collaboration with the IRT Railenium LAMIH is mainly aimed at sol- ving the problem of autonomous driving whose first attempt at resolution was based on the data.
In fact, these data are not yet available, so the preliminary tasks to be done were the collection and generation of the necessary data, the formatting of which is part of the secondary objectives of this project. In spite of that, we proposed and im- plemented an approach using a multi-layer perceptron with cross-entropy (MLP-CE) trained with generated data from simulator that did not lead to a good result. This has led us to deal with this problem from another point of view, from decision and control, using the different approaches from "control theory" which generally seeks the optimal control of a system ; and "reinforcement learning" which is based on Bellman’s theory of optimality. On the one hand the PID controller, with which we had a more stable result whose versatility is not very assured.
On the other hand RL Qlearning with a discretization of the state space of the MDP problem that showed its ability to adapt and gives a preven- tative behavior ; despite this, this technique suffers from a serious storage problem that may slow down the algorithm. Faced with this problem we have proposed a solution with neural network (DQN) that will escape the storage problem but may be useless if the space is continuous. Our main contribution in this project is the modeling of this problem as Markov decision process problem which allowed us to use derived techniques such as Qlear- ning, and Deep Q-learning. The technical contribution is characterized by the use of the MLP-CE and the adaptation of the PID controller to the specific constraints of our simulator.
The next steps in this project will be the validation of our results with real data or high-fidelity simulators or with a medium-level abstraction simulator that is adequate for the transport system. Finally, more complex scenes and cases will be at the limits of mathematical, physical and dynamic models will require a parallel search in ethics. By matching the behavior of the new system to ethics, we will make it easier for society to accept it. Keywords : Autonomous train, machine learning, reinforcement learning, autono- mous system, artificial intelligence, control theory, Markov decision process.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Liste des tableaux iv Table des figures v 1 Introduction générale 1 1.1 Présentation de l’établissement d’accueil .2 Contexte et problématique .1 Le projet Train Autonome. 5 2 Etat de l’art 8 2.2 Optimisation de trajectoire .3 Contrôle de vitesse de train .2 Méthodes de contrôle intelligents .3 Méthodes de contrôle adaptatives. 13 3 Solutions proposées et contributions 14 3.1 Architecture générale des solutions .1 Les concepts utilisés .1 Processus de décision markovien (MDP) .2 Processus de récompense markovien (MRP). 17 i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TABLE DES MATIÈRES 3.3 MDP en espace continu normalisée (discrétisation) .4 Qlearning, Deep Qlearning, Q-Networks Deep Q-Networks 18 3.1 Les concepts utilisés .4 Les méthodes de réglage de PID.
21 B La descente du gradient stochastique avec back- propagation .4 Approche 3 : Percéptron multicouche avec Cross-Entropy .1 Les concepts utilisés .1 Perceptron, Perceptron multicouches .3 La structure du MLP .1 La méthode d’entraînement. 25 4 Résultats et analyses 26 Résultats et analyses 26 4.1 La phase d’entraînement .1 Le suivi du profil .2 Le suivi du retard en temps .3 Le suivi de la récompense (pour DQN/Qlearning) .3 MLP avec cross-entropy. 32 5 Conclusion et Perspectives 35 5. 36 ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TABLE DES MATIÈRES A Algorithmes 40 A.1 Implémentation du Qlearning .2 Implémentation de la structure du DQN .4 MLP iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des figures 1.3 L’entrée et sortie prévues .4 la génération du plan de vitesse .1 Architecture de la solution .2 La règle basique .3 Etape de discrétisation .4 Algorithme proposé avec qlearning .5 Conduite à base de réseau de neurones du modèle DQN .6 Conduite avec le régulateur PID .1 Vitesse durant la phase d’apprentissage dans le simulateur .2 La variation de la récompense durant l’apprentissage .3 Le suivi du temps de retard dans le simulateur .6 MLP avec Cross-Entropy.
31 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des tableaux 4.2 Paramètres MLP-CE. 34 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des sigles et acronymes DQN Deep Q-Network IRT Institut de Recherche Technologique MDP Markov Decision Process PID Proportional Derivate Integral LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chapitre 1 Introduction générale L’automatisation est certes l’une des plus grands challenges du domaine des trans- ports et de la mobilité actuelle. Les nouveaux robots de transport deviennent de plus en plus intelligents voire autonomes. Par rapport à l’automatisation des véhicules, celle des trains prend beaucoup de temps par rapport aux voitures et aux avions.
Avec diffé- rents acteurs de la concurrence et tous visant le même objectif, il semble que le secteur des trains va se développer à un rythme effréné. Nous pouvons avoir un sentiment d’excitation brute quant à la façon dont le marché des trains autonomes va se déve- lopper, étant donné que l’industrie automobile autonome devrait atteindre 7 000 mil- liards de dollars d’ici 2050 1. La troisième révolution du transport ferroviaire est sur les rails. Après l’électrification des voies et la grande vitesse, voici venir les trains digita- lisés à conduite autonome.
Autrement dit, des trains où l’intelligence artificielle (IA) fera office de copilote. A la SNCF, on estime que les premiers trains autonomes fret et voyageurs circuleront sur les lignes dès 2023 2. L’automatisation des trains se traduit par des bénéfices concrets pour les voyageurs et les clients du fret dont : une plus grande capacité (faire rouler plus de trains, c’est pouvoir transporter plus de personnes et de marchandises), plus de fluidité et de ré- gularité (grâce à une circulation harmonisée et à une vitesse optimisée, permettant de mieux faire face aux imprévus) et une ambition écologique (grâce à une diminution de la consommation d’énergie). Après le premier déploiement réussi de l’Australie en 2018, on se rend compte qu’il n’y avaient pas qu’eux seuls avait ce projet en projection.