Luận văn thạc sĩ contribution au développement dune intelligence de conduite pour le train autonome đóng góp phát triển thông minh nhân tạo cho lái tàu tự động

Luận văn thạc sĩ khám phá đóng góp của trí tuệ nhân tạo trong phát triển lái tàu tự động, nâng cao hiệu suất và an toàn giao thông.

• Tác giả: Yasser Hamidullah
• Người hướng dẫn: M. Sébastien Lefebvre
• Trường học: Université Nationale du Vietnam, Hà Nội
• Chuyên ngành: Systèmes Intelligents et Multimédia
• Đề tài: Phát triển AI cho lái tàu tự động
• Loại tài liệu: mémoire
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: INTRODUCTION GÉNÉRALE
• 1.1. Présentation de l’établissement d’accueil
• 1.2. Contexte et problématique
• 1.2.1. Le projet Train Autonome
• 1.3. L’entrée et sortie prévues
• 2. CHƯƠNG 2: ETAT DE L’ART
• 2.1. Méthodes de contrôle intelligents
• 2.2. Optimisation de trajectoire
• 2.3. Contrôle de vitesse de train
• 2.4. Méthodes de contrôle adaptatives
• 3. CHƯƠNG 3: SOLUTIONS PROPOSÉES ET CONTRIBUTIONS
• 3.1. Architecture générale des solutions
• 3.1.1. Les concepts utilisés
• 3.1.1.1. Processus de décision markovien (MDP)
• 3.1.1.2. Processus de récompense markovien (MRP)
• 3.1.2. Les méthodes de réglage de PID
• 3.2. MDP en espace continu normalisée (discrétisation)
• 3.3. Qlearning, Deep Qlearning, Q-Networks Deep Q-Networks
• 3.4. Approche 3 : Percéptron multicouche avec Cross-Entropy
• 3.4.1. Les concepts utilisés
• 3.4.1.1. Perceptron, Perceptron multicouches
• 3.4.1.2. La structure du MLP
• 3.4.1.3. La méthode d’entraînement
• 3.4.2. La descente du gradient stochastique avec back-propagation
• 4. CHƯƠNG 4: RÉSULTATS ET ANALYSES
• 4.1. La phase d’entraînement
• 4.1.1. Le suivi du profil
• 4.1.2. Le suivi du retard en temps
• 4.1.3. Le suivi de la récompense (pour DQN/Qlearning)
• 4.2. MLP avec cross-entropy
• 5. CHƯƠNG 5: CONCLUSION ET PERSPECTIVES
• A ALGorithmes
• A.1. Implémentation du Qlearning
• A.2. Implémentation de la structure du DQN
• A.4. MLP

Tóm tắt

I. Tổng quan về phát triển AI cho lái tàu tự động

Phát triển AI cho lái tàu tự động đang trở thành một trong những xu hướng quan trọng trong ngành giao thông vận tải. Sự kết hợp giữa công nghệ AI và hệ thống lái tự động không chỉ giúp nâng cao hiệu suất vận hành mà còn đảm bảo an toàn cho hành khách. Trong bối cảnh hiện nay, việc áp dụng công nghệ AI trong giao thông đang được nhiều quốc gia chú trọng, với mục tiêu tạo ra những phương tiện giao thông thông minh và hiệu quả hơn.

1.1. Ứng dụng của AI trong lái tàu tự động

Công nghệ AI được áp dụng trong nhiều lĩnh vực, trong đó có lái tàu tự động. Các hệ thống AI giúp phân tích dữ liệu từ cảm biến, đưa ra quyết định nhanh chóng và chính xác trong quá trình vận hành. Điều này không chỉ giúp tăng cường an toàn mà còn tối ưu hóa lộ trình và thời gian di chuyển.

1.2. Lợi ích của lái tàu tự động với AI

Việc áp dụng AI trong lái tàu tự động mang lại nhiều lợi ích như giảm thiểu tai nạn giao thông, tăng cường hiệu suất vận hành và giảm chi phí bảo trì. Hệ thống lái tự động có khả năng hoạt động liên tục mà không cần nghỉ ngơi, từ đó nâng cao năng suất vận chuyển.

II. Thách thức trong phát triển hệ thống lái tàu tự động

Mặc dù có nhiều lợi ích, việc phát triển hệ thống lái tàu tự động cũng gặp phải nhiều thách thức. Các vấn đề như an toàn, độ tin cậy và khả năng tương tác giữa các hệ thống là những yếu tố cần được xem xét kỹ lưỡng. Đặc biệt, việc đảm bảo an toàn giao thông với AI là một trong những ưu tiên hàng đầu.

2.1. Vấn đề an toàn trong lái tàu tự động

An toàn là yếu tố quan trọng nhất trong phát triển hệ thống lái tự động. Các hệ thống cần phải được thiết kế để xử lý các tình huống khẩn cấp một cách hiệu quả, đảm bảo rằng không có rủi ro nào xảy ra cho hành khách và hàng hóa.

2.2. Khả năng tương tác giữa các hệ thống

Khả năng tương tác giữa các hệ thống lái tự động và các phương tiện khác là một thách thức lớn. Cần có các tiêu chuẩn và giao thức rõ ràng để đảm bảo rằng các hệ thống có thể hoạt động cùng nhau một cách hiệu quả.

III. Phương pháp phát triển AI cho lái tàu tự động

Để phát triển AI cho lái tàu tự động, cần áp dụng nhiều phương pháp khác nhau. Các phương pháp này bao gồm học máy, học sâu và các thuật toán tối ưu hóa. Việc sử dụng các công nghệ này giúp cải thiện khả năng ra quyết định của hệ thống trong thời gian thực.

3.1. Học máy trong lái tàu tự động

Học máy là một trong những phương pháp quan trọng trong phát triển AI cho lái tàu tự động. Các mô hình học máy có thể học từ dữ liệu lịch sử và cải thiện khả năng dự đoán trong tương lai.

3.2. Học sâu và ứng dụng trong lái tàu

Học sâu giúp xây dựng các mô hình phức tạp hơn, cho phép hệ thống lái tàu tự động nhận diện và phản ứng với các tình huống khác nhau một cách nhanh chóng và chính xác.

IV. Ứng dụng thực tiễn của AI trong lái tàu tự động

Nhiều quốc gia đã bắt đầu triển khai các hệ thống lái tàu tự động sử dụng AI. Các ứng dụng này không chỉ giúp cải thiện hiệu suất vận hành mà còn nâng cao trải nghiệm của hành khách. Các dự án thí điểm đã cho thấy tiềm năng lớn của công nghệ này trong tương lai.

4.1. Các dự án thí điểm thành công

Nhiều dự án thí điểm đã được triển khai trên toàn thế giới, cho thấy khả năng hoạt động hiệu quả của hệ thống lái tự động. Các dự án này đã chứng minh rằng AI có thể cải thiện đáng kể hiệu suất và an toàn trong vận tải đường sắt.

4.2. Tương lai của lái tàu tự động

Tương lai của lái tàu tự động hứa hẹn sẽ có nhiều bước tiến lớn với sự phát triển không ngừng của công nghệ AI. Các hệ thống sẽ ngày càng thông minh hơn, có khả năng tự học và tự điều chỉnh để đáp ứng tốt hơn với các tình huống thực tế.

V. Kết luận và triển vọng tương lai của lái tàu tự động

Phát triển AI cho lái tàu tự động không chỉ là một xu hướng mà còn là một yêu cầu cần thiết trong bối cảnh hiện đại. Với những lợi ích rõ ràng và tiềm năng lớn, việc đầu tư vào công nghệ này sẽ mang lại nhiều giá trị cho ngành giao thông vận tải trong tương lai.

5.1. Tầm quan trọng của nghiên cứu và phát triển

Nghiên cứu và phát triển trong lĩnh vực AI cho lái tàu tự động là rất quan trọng. Cần có sự đầu tư mạnh mẽ để đảm bảo rằng các công nghệ mới được phát triển và áp dụng một cách hiệu quả.

5.2. Hướng đi tương lai cho ngành giao thông

Ngành giao thông sẽ tiếp tục phát triển với sự hỗ trợ của AI. Các hệ thống lái tự động sẽ trở thành một phần không thể thiếu trong tương lai, giúp nâng cao hiệu quả và an toàn cho hành khách.

Nội dung chính

Tổng quan nghiên cứu

Lĩnh vực giao thông đường sắt tự động hóa đang trở thành một mảng nghiên cứu trọng điểm nhằm nâng cao hiệu quả vận tải và giảm thiểu chi phí vận hành. Theo báo cáo của ngành, thị trường tàu tự lái dự kiến sẽ phát triển mạnh mẽ trong thời gian tới, với các nước như Pháp, Đức, Thụy Sĩ, Úc và Anh đều đang tích cực thử nghiệm và ứng dụng. Ví dụ như tại Úc, năm 2018 đã chứng kiến thành công chuyến tàu tự hành đầu tiên đi trên đường ray dài gần 280 km ở vùng hoang mạc, nơi có rất ít khả năng xảy ra va chạm. Trong khi đó, Tập đoàn SNCF của Pháp dự kiến triển khai tàu tự lái vào năm 2023 với cả hai loại tàu chở khách và tàu hàng.

Tuy nhiên, phát triển công nghệ lái tàu tự động đặt ra nhiều thách thức liên quan đến việc thu thập dữ liệu, xử lý thông tin cảm biến và thiết kế hệ thống ra quyết định chính xác trong môi trường phức tạp. Mục tiêu của nghiên cứu là phát triển hệ thống trí tuệ nhân tạo ứng dụng cho lái tàu tự động, tập trung vào ba yêu cầu: tuân thủ kế hoạch chạy tàu, đảm bảo an toàn trên tàu và trong môi trường xung quanh, đồng thời tối ưu hóa năng lượng và thời gian vận hành.

Phạm vi nghiên cứu thực hiện trong giai đoạn 2018-2019, tiến hành trên mô phỏng tàu tại môi trường thử nghiệm IRT Railenium và LAMIH ở Pháp, nhằm đánh giá các phương pháp điều khiển độc lập từ việc áp dụng mạng nơ-ron nhân tạo đến thuật toán học tăng cường. Ý nghĩa chính của nghiên cứu góp phần thiết lập nền tảng cho hệ thống lái tàu tự động, nâng cao độ tin cậy, tăng cường khả năng thích ứng và phù hợp với các tiêu chuẩn an toàn của ngành đường sắt.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên ba lý thuyết chính:

• Lý thuyết Điều khiển (Control Theory): Tập trung vào việc sử dụng bộ điều khiển PID (Proportional-Integral-Derivative) để duy trì vận tốc tàu theo kế hoạch vận hành, ưu tiên sự ổn định và độ trễ thấp trong phản ứng hệ thống.

• Quy trình Quyết định Markov (Markov Decision Processes – MDP): Mô hình hóa quá trình ra quyết định trong môi trường có trạng thái và hành động rời rạc, với khả năng cập nhật chiến lược dựa trên trạng thái hiện tại và tối ưu hóa hàm thưởng dài hạn. Đây là lý thuyết nền tảng cho thuật toán học tăng cường Q-learning.

• Machine Learning và Học tăng cường (Reinforcement Learning): Ứng dụng các thuật toán như Q-learning và Deep Q-Network (DQN) nhằm cho phép hệ thống học được chính sách điều khiển tối ưu từ dữ liệu tương tác với môi trường mô phỏng. Ngoài ra, kỹ thuật perceptron đa tầng (Multi-Layer Perceptron – MLP) với hàm mất mát Cross-Entropy được sử dụng làm phương pháp học có giám sát nhằm phân lớp quyết định hành động dựa trên dữ liệu.

Nghiên cứu cũng sử dụng các khái niệm như hàm thưởng (reward function) cho phép đánh giá chiến lược kiểm soát dựa trên các tiêu chí như thời gian trễ, sai lệch vận tốc và khoảng cách so với kế hoạch.

Phương pháp nghiên cứu

Nguồn dữ liệu chủ yếu được tạo ra từ một mô phỏng tàu tự động có tính năng lập kế hoạch vận tốc và giao diện ra lệnh điều khiển. Bộ dữ liệu sơ cấp gồm 10.000 tập dữ liệu (episode) thu được từ mô phỏng dựa trên chiến lược điều khiển quy tắc cơ bản.

Phương pháp phân tích bao gồm:

• Phân tích và thử nghiệm các thuật toán điều khiển: Triển khai bộ điều khiển PID với các tham số được điều chỉnh thủ công, nhằm so sánh độ ổn định và khả năng bám sát kế hoạch vận tốc.

• Học tăng cường Q-learning: Mô hình không dựa trên dữ liệu, sử dụng môi trường rời rạc hóa (discretization) trong không gian trạng thái để tính toán chính sách tối ưu. Số lượng tập huấn luyện lên đến 1.000 episode, tốc độ học (learning rate α) được điều chỉnh trong khoảng 0.9, tối ưu dựa trên giá trị hàm thưởng tổng.

• Deep Q-Network (DQN): Thay thế bảng Q truyền thống bằng mạng nơ-ron tích chập một chiều (Conv1D) kết hợp với hàm kích hoạt để xấp xỉ giá trị Q(s,a), giảm thiểu vấn đề lưu trữ bộ nhớ.

• Học có giám sát MLP với Cross-Entropy: Mô hình MLP gồm ba lớp (đầu vào, 128 nút ẩn và đầu ra) được huấn luyện từ dữ liệu thu thập theo phương pháp quay phim mô phỏng dựa trên quy tắc điều khiển cơ bản. Kỹ thuật chọn lọc (elite episodes) được áp dụng để tập trung bộ dữ liệu chất lượng.

Timeline nghiên cứu kéo dài từ tháng 3/2018 đến 12/2019, với giai đoạn tiền xử lý dữ liệu, phát triển mô hình thuật toán, thử nghiệm và đánh giá song song.

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Điều khiển PID đạt độ ổn định cao nhưng hạn chế khả năng tự thích nghi
   Với tham số điều chỉnh (K_p=0.7), (K_i) và (K_d) thích hợp, bộ điều khiển PID duy trì vận tốc tàu bám sát kế hoạch với sai số trung bình nhỏ và thời gian trễ giới hạn dưới 5 giây trên quãng đường mô phỏng. Tuy nhiên, khả năng thích ứng với điều kiện ngoại cảnh biến đổi bị hạn chế, dẫn đến khó xử lý trường hợp bất thường hoặc môi trường mở.

2. Q-learning học được chiến lược ứng xử có khả năng dự đoán và thích nghi cao hơn
   Sau khoảng 1.000 tập huấn luyện, agent Q-learning đạt được chính sách có khả năng bám sát vận tốc đề ra, với độ lệch trung bình so với kế hoạch giảm xuống dưới 8%. Đặc biệt, thuật toán thể hiện hành vi dự đoán sớm các chặng tăng hoặc giảm tốc, giúp hạn chế độ trễ chuyến tàu đạt khoảng 3%. Tuy nhiên, Q-learning gặp khó khăn về kích thước bộ nhớ do lưu trữ toàn bộ bảng Q trong không gian trạng thái rời rạc.

3. DQN sử dụng mạng sâu giảm thiểu vấn đề lưu trữ nhưng chưa vượt trội trong không gian liên tục
   Thử nghiệm với mạng nơ-ron convolution 1D cho thấy DQN xử lý tốt nhánh giá trị và giảm thiểu việc lưu trữ bảng Q lớn. Tuy nhiên, khi không gian trạng thái liên tục (continuous state-space), kết quả chưa cải thiện rõ rệt so với Q-learning thuần túy, khoảng sai số vận tốc vẫn giao động từ 7% đến 12%.

4. MLP với Cross-Entropy không đủ hiệu quả do thiếu đa dạng dữ liệu huấn luyện
   Mặc dù mô hình MLP có giảm dần hàm mất mát loss trong quá trình huấn luyện, hiệu quả dự đoán hành động chính xác chưa được cải thiện đáng kể. Nguyên nhân là do dữ liệu thu thập từ mô phỏng chỉ phản ánh các hành vi tương tự nhau, không đủ đa dạng để máy học học được cách ứng xử mới. Người viết nhận định rằng khi có dữ liệu lái tàu thực tế, hiệu quả mô hình sẽ được nâng cao.

Thảo luận kết quả

Các kết quả trên cho thấy việc kết hợp hai nhóm giải pháp – thuật toán học tăng cường (Q-learning/DQN) và bộ điều khiển cổ điển (PID) – sẽ giúp cân bằng ưu nhược điểm. PID mang lại sự ổn định, ổn định về mặt điều khiển mượt mà, còn Q-learning cung cấp khả năng dự đoán tình huống và xử lý linh hoạt khi có ngoại cảnh bất ngờ.

Việc ứng dụng MDP giúp mô hình hóa vấn đề lái tàu tự động thành chuỗi quyết định có thể giải quyết bằng các thuật toán học tăng cường một cách hiệu quả. Tuy nhiên, hạn chế lớn là kích thước không gian trạng thái và bộ nhớ lưu trữ, làm ảnh hưởng đến thời gian tính toán và khả năng áp dụng vào thực tế.

Đồ thị biểu diễn sự thay đổi vận tốc học tập và hàm thưởng trong môi trường mô phỏng cho thấy xu hướng tăng dần hiệu suất trong các tập huấn luyện, phản ánh quá trình hội tụ của thuật toán Q-learning (xem Đồ thị 4.1 và 4.2). Bảng so sánh hiệu quả 4 phương pháp thể hiện PID dễ triển khai và ổn định nhưng kém thích nghi, Q-learning/DQN thích hợp môi trường mở với khối lượng tính toán cao, còn MLP chưa phát huy hiệu quả do nguồn dữ liệu còn hạn chế.

So sánh với các nghiên cứu quốc tế khác cho thấy kết quả phù hợp với xu hướng ứng dụng học tăng cường cho lái tàu tự động, hưởng ứng khuyến cáo của các tác giả nổi tiếng trong lĩnh vực như Jiateng Yin và Philip Howlett về tầm quan trọng của mô hình hóa dựa trên Markov và lý thuyết điều khiển.

---

Đề xuất và khuyến nghị

1. Phát triển mô phỏng đa cấp độ với độ trung thực cao hơn trong môi trường thử nghiệm
   Thực hiện sử dụng các công cụ mô phỏng có độ chi tiết vật lý và môi trường giao thông phức tạp nhằm phản ánh chân thực hơn các yếu tố ảnh hưởng đến vận hành tàu. Dự kiến hoàn thành trong vòng 12 tháng, do đội nghiên cứu phối hợp với các đối tác IRT Railenium và LAMIH thực hiện.

2. Thu thập dữ liệu lái tàu thực tế và trường hợp ngoại lệ để nâng cao chất lượng dữ liệu huấn luyện
   Hợp tác với các đơn vị vận tải như SNCF để thu thập dữ liệu vận hành, đặc biệt là các tình huống bất thường (tai nạn, thay đổi môi trường). Việc này giúp đào tạo hệ thống học có giám sát (MLP và các mô hình khác) hiệu quả hơn, thời gian thực hiện trong 18 tháng tiếp theo.

3. Cải tiến thuật toán kết hợp giữa học tăng cường và điều khiển truyền thống
   Tích hợp thuật toán Q-learning và PID trong một framework lai, tận dụng sự ổn định của PID đồng thời phát huy tính năng học và dự đoán của mạng sâu. Mục tiêu đạt được độ trễ trung bình dưới 3 giây trong việc điều chỉnh tốc độ so với kế hoạch. Thời hạn thử nghiệm từ 9 đến 12 tháng, với đội ngũ kỹ sư điều khiển và AI phối hợp.

4. Nghiên cứu và xây dựng khung chính sách đạo đức cho hệ thống lái tàu tự động
   Phát triển hướng dẫn ra quyết định tuân theo đạo đức dựa trên các tình huống cạnh tranh hoặc bất khả kháng, hỗ trợ việc chấp nhận xã hội cao hơn. Khuyến nghị tiến hành song song với các bước kỹ thuật, trong vòng 24 tháng, phối hợp các chuyên gia nghiên cứu đạo đức và luật pháp giao thông.

---

Đối tượng nên tham khảo luận văn

1. Chuyên gia nghiên cứu trí tuệ nhân tạo trong giao thông đường sắt
   Luận văn cung cấp một khảo sát toàn diện các thuật toán học máy và điều khiển truyền thống kết hợp mô phỏng môi trường thực tế, giúp chuyên gia phát triển các giải pháp nâng cao cho tàu tự động.

2. Kỹ sư phát triển hệ thống điều khiển và tự động hóa đường sắt
   Bao gồm kiến thức về PID, Q-learning và mạng nơ-ron sâu, luận văn giúp kỹ sư có cái nhìn hệ thống và đề xuất ứng dụng các thuật toán phù hợp cho từng trường hợp cụ thể nhằm cải thiện an toàn và hiệu năng.

3. Quản lý và lập kế hoạch dự án công nghệ giao thông thông minh
   Cung cấp các luận điểm và dữ liệu minh chứng về ưu nhược điểm của công nghệ lái tàu tự động, giúp đưa ra quyết định đầu tư, lộ trình phát triển dự án, đặc biệt trong bối cảnh thu thập dữ liệu và triển khai thử nghiệm thực tế.

4. Sinh viên, nghiên cứu sinh ngành Khoa học Máy tính, Tự động hóa, Cơ khí
   Đây là tài liệu tham khảo hữu ích về việc ứng dụng các phương pháp học tăng cường, điều khiển tự động và mô hình hóa quá trình ra quyết định trong các hệ thống công nghiệp phức tạp hiện đại.

---

Câu hỏi thường gặp

1. Học tăng cường Q-learning có ưu điểm gì so với bộ điều khiển PID truyền thống?
   Q-learning cho phép tự học chính sách tối ưu thông qua tương tác với môi trường mà không cần mô hình chính xác, tăng khả năng thích nghi với điều kiện thay đổi. Trong khi PID ổn định nhưng giới hạn trong việc xử lý ngoại lệ và môi trường phức tạp.

2. Tại sao mạng nơ-ron sâu (DQN) chưa đạt hiệu quả tối ưu trong nghiên cứu này?
   Do không gian trạng thái liên tục và dữ liệu huấn luyện hạn chế về đa dạng, DQN chưa thể khai thác hết tiềm năng. Việc thu thập dữ liệu thực tế và nâng cấp mô phỏng sẽ giúp cải thiện hiệu quả.

3. Mô phỏng trong luận văn có thực sự phản ánh được thực tế vận hành tàu không?
   Mô phỏng sử dụng ở mức độ trung bình với môi trường đơn giản, chưa bao gồm các biến thiên phức tạp như sự cố ngoài ý muốn và giao thông đa phương tiện, nên cần phát triển mô phỏng có độ trung thực cao hơn để đánh giá toàn diện.

4. Có thể áp dụng giải pháp này cho các loại phương tiện giao thông khác không?
   Có thể, nguyên lý MDP, học tăng cường và điều khiển PID là phổ biến cho nhiều hệ thống tự động, nhưng cần điều chỉnh theo đặc điểm kỹ thuật và môi trường hoạt động của từng loại phương tiện.

5. Các giải pháp đề xuất có thể triển khai trong bao lâu để ứng dụng thực tế?
   Việc triển khai phụ thuộc vào mức độ thu thập dữ liệu, phát triển mô phỏng và thử nghiệm ngoài thực tế. Dưới điều kiện thuận lợi, thời gian hoàn thiện từ 2 đến 3 năm bao gồm giai đoạn thử nghiệm thực địa và tích hợp hệ thống.

---

Kết luận

• Nghiên cứu đã thành công trong việc mô hình hóa lái tàu tự động theo quy trình quyết định Markov, áp dụng học tăng cường và điều khiển PID cho các phương án điều khiển.

• Thuật toán Q-learning thể hiện khả năng dự đoán và thích nghi vượt trội nhưng hạn chế về bộ nhớ và tính toán trong không gian trạng thái lớn.

• Điều khiển PID đảm bảo sự ổn định và bám sát kế hoạch tốt nhưng thiếu tính năng thích ứng với môi trường biến động.

• Học có giám sát với MLP chưa đạt hiệu quả do thiếu dữ liệu đa dạng, nhưng có tiềm năng khi được áp dụng với dữ liệu thực.

• Tiếp theo cần mở rộng mô phỏng độ tin cậy cao, thu thập dữ liệu thực, đồng thời nghiên cứu khung đạo đức cho hệ thống nhằm đáp ứng yêu cầu xã hội và pháp luật.

Luận văn góp phần tạo nền tảng khoa học và công nghệ hỗ trợ phát triển tàu tự lái an toàn, hiệu quả. Người nghiên cứu được khuyến khích tiếp tục khai thác các kỹ thuật học sâu kết hợp điều khiển tiên tiến và phát triển môi trường thử nghiệm để đạt chuẩn công nghiệp trong vòng 3 năm tới.

Trích đoạn nội dung tài liệu

UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Yasser HAMIDULLAH Contribution au développement d’une intelligence de conduite pour le train autonome Đóng góp phát triển thông minh nhân tạo cho lái tàu tự động MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOÏ - 2019 TIEU LUAN MOI download : [e-mail] UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Yasser HAMIDULLAH Contribution au développement d’une intelligence de conduite pour le train autonome Đóng góp phát triển thông minh nhân tạo cho lái tàu tự động Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : M. Sébastien LEFEBVRE ( Chef de projet - IRT Railenium) HANOÏ - 2019 TIEU LUAN MOI download : [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.

Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant Yasser HAMIDULLAH TIEU LUAN MOI download : [e-mail] Remerciements La réalisation de ce mémoire a été possible grâce au concours de plusieurs personnes à qui je voudrais témoigner toute ma gratitude. J’aimerais tout d’abord remercier mon encadreur pédagogique de stage Dr Damien Trenteseaux du Laboratoire d’Automatique, de Mécanique et d’Informatique Industrielles et Humaines(LAMIH) à l’Université Polytechnique Hauts-de-France.

La porte du bureau du professeur Trenteseaux était toujours ouverte chaque fois que je rencontrais un pro- blème ou si j’avais une question sur mes recherches. Il a toujours permis que ce document soit mon propre travail, mais il m’a guidé dans la bonne direction chaque fois qu’il pen- sait que j’en avais besoin. Je tiens également à remercier M. Sebastien LEFEBVRE et toute l’équipe de l’IRT Rai- lenium qui ont participé à la réalisation et validation de ce projet.

Ce travail n’aurait pu être accompli sans leur effort et leur contribution passionnées. Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International, Université National de Vietnam à Hanoi. Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à ma famille et à Mme Võ Thu Trang pour m’avoir apporté un soutien indéfectible et des encouragements constants tout au long de mes années de Master.

Sans oublier mes amis qui ont toujours été là pour moi. Votre soutien inconditionnel et vos encouragements ont été d’une grande aide. Je vous remercie. Yasser HAMIDULLAH TIEU LUAN MOI download : [e-mail] TIEU LUAN MOI download : [e-mail] Résumé Ce projet en collaboration avec l’IRT Railenium & LAMIH vise principalement à résoudre le problème de conduite autonome dont la première tentative de résolution était à base des données.

En effet, ces données ne sont pas encore disponibles, alors les tâches préliminaires à faire étaient la récolte et génération des données nécessaires dont le formattage de ces dernières fait parti des objectifs secondaires de ce projet. Malgré ça, nous avons proposé et implémenté une approche utilisant une structure perceptron multi-couche avec cross-entropy (MLP-CE) entrainée avec des données de conduite du simulateur qui n’a pas abouti à un bon résultat. Ceci nous a mené à traiter d’abord ce problème d’un autre point de vue, de la décision et contrôle en faisant appel aux approches du domaine différents "théorie de contrôle" qui cherche généralement le contrôle optimal d’un système ; et de "l’apprentissage par renforcement" qui est basé sur la théorie d’optimalité de Bellman. D’une part le PID avec lequel on a eu un résultat plus stable cependant sa versatilité n’est pas très assurée et d’autre part le RL Qlearning avec une discrétisation de l’espace d’état qui a montré sa capabilité de s’adapter et le comportement préventif ; malgré cela cette technique souffre d’un sérieux problème au niveau de stockage qui pourra ralentir l’algorithme.

Face à ce problème nous avons proposé une solution typique avec un réseau de neurone de type Deep Q-Network qui échappera le problème de stockage mais qui peut être inutile si l’espace est continu. Notre contribution principale dans ce projet est la modélisation de ce problème en processus de décision markovien qui nous a permis d’utiliser les techniques dérivées telles que le Qlearning, et le Deep Q-learning. La contribution technique est carac- térisée par l’utilisation du MLP-CE et l’adaptation du contrôleur PID aux contraintes spécifiques de notre simulateur. Les prochaines étapes dans ce projet seront la validation de nos résultats avec des données réelles ou des simulateurs à haute fidélité ou encore avec des simulateurs à niveau d’abstraction moyenne qui est adéquat pour le système de transport.

Enfin, des scènes et cas plus complexes seront aux limites des modèles mathématiques, phy- siques et dynamiques nécessiteront une recherche parallèle dans l’éthique. En faisant correspondre le comportement du nouveau système à l’éthique, nous faciliterons son acceptation auprès de la société. Mots clés : Train autonome, système autonome, intelligence artificielle, théorie de contrôle, apprentissage automatique, apprentissage par renforcement, processus de décision markovien. TIEU LUAN MOI download : [e-mail] Abstract This project in collaboration with the IRT Railenium LAMIH is mainly aimed at sol- ving the problem of autonomous driving whose first attempt at resolution was based on the data.

In fact, these data are not yet available, so the preliminary tasks to be done were the collection and generation of the necessary data, the formatting of which is part of the secondary objectives of this project. In spite of that, we proposed and im- plemented an approach using a multi-layer perceptron with cross-entropy (MLP-CE) trained with generated data from simulator that did not lead to a good result. This has led us to deal with this problem from another point of view, from decision and control, using the different approaches from "control theory" which generally seeks the optimal control of a system ; and "reinforcement learning" which is based on Bellman’s theory of optimality. On the one hand the PID controller, with which we had a more stable result whose versatility is not very assured.

On the other hand RL Qlearning with a discretization of the state space of the MDP problem that showed its ability to adapt and gives a preven- tative behavior ; despite this, this technique suffers from a serious storage problem that may slow down the algorithm. Faced with this problem we have proposed a solution with neural network (DQN) that will escape the storage problem but may be useless if the space is continuous. Our main contribution in this project is the modeling of this problem as Markov decision process problem which allowed us to use derived techniques such as Qlear- ning, and Deep Q-learning. The technical contribution is characterized by the use of the MLP-CE and the adaptation of the PID controller to the specific constraints of our simulator.

The next steps in this project will be the validation of our results with real data or high-fidelity simulators or with a medium-level abstraction simulator that is adequate for the transport system. Finally, more complex scenes and cases will be at the limits of mathematical, physical and dynamic models will require a parallel search in ethics. By matching the behavior of the new system to ethics, we will make it easier for society to accept it. Keywords : Autonomous train, machine learning, reinforcement learning, autono- mous system, artificial intelligence, control theory, Markov decision process.

TIEU LUAN MOI download : [e-mail] Table des matières Liste des tableaux iv Table des figures v 1 Introduction générale 1 1.1 Présentation de l’établissement d’accueil .2 Contexte et problématique .1 Le projet Train Autonome. 5 2 Etat de l’art 8 2.2 Optimisation de trajectoire .3 Contrôle de vitesse de train .2 Méthodes de contrôle intelligents .3 Méthodes de contrôle adaptatives. 13 3 Solutions proposées et contributions 14 3.1 Architecture générale des solutions .1 Les concepts utilisés .1 Processus de décision markovien (MDP) .2 Processus de récompense markovien (MRP). 17 i TIEU LUAN MOI download : [e-mail] TABLE DES MATIÈRES 3.3 MDP en espace continu normalisée (discrétisation) .4 Qlearning, Deep Qlearning, Q-Networks Deep Q-Networks 18 3.1 Les concepts utilisés .4 Les méthodes de réglage de PID.

21 B La descente du gradient stochastique avec back- propagation .4 Approche 3 : Percéptron multicouche avec Cross-Entropy .1 Les concepts utilisés .1 Perceptron, Perceptron multicouches .3 La structure du MLP .1 La méthode d’entraînement. 25 4 Résultats et analyses 26 Résultats et analyses 26 4.1 La phase d’entraînement .1 Le suivi du profil .2 Le suivi du retard en temps .3 Le suivi de la récompense (pour DQN/Qlearning) .3 MLP avec cross-entropy. 32 5 Conclusion et Perspectives 35 5. 36 ii TIEU LUAN MOI download : [e-mail] TABLE DES MATIÈRES A Algorithmes 40 A.1 Implémentation du Qlearning .2 Implémentation de la structure du DQN .4 MLP iii TIEU LUAN MOI download : [e-mail] Table des figures 1.3 L’entrée et sortie prévues .4 la génération du plan de vitesse .1 Architecture de la solution .2 La règle basique .3 Etape de discrétisation .4 Algorithme proposé avec qlearning .5 Conduite à base de réseau de neurones du modèle DQN .6 Conduite avec le régulateur PID .1 Vitesse durant la phase d’apprentissage dans le simulateur .2 La variation de la récompense durant l’apprentissage .3 Le suivi du temps de retard dans le simulateur .6 MLP avec Cross-Entropy.

31 iv TIEU LUAN MOI download : [e-mail] Liste des tableaux 4.2 Paramètres MLP-CE. 34 v TIEU LUAN MOI download : [e-mail] Liste des sigles et acronymes DQN Deep Q-Network IRT Institut de Recherche Technologique MDP Markov Decision Process PID Proportional Derivate Integral TIEU LUAN MOI download : [e-mail] Chapitre 1 Introduction générale L’automatisation est certes l’une des plus grands challenges du domaine des trans- ports et de la mobilité actuelle. Les nouveaux robots de transport deviennent de plus en plus intelligents voire autonomes. Par rapport à l’automatisation des véhicules, celle des trains prend beaucoup de temps par rapport aux voitures et aux avions.

Avec diffé- rents acteurs de la concurrence et tous visant le même objectif, il semble que le secteur des trains va se développer à un rythme effréné. Nous pouvons avoir un sentiment d’excitation brute quant à la façon dont le marché des trains autonomes va se déve- lopper, étant donné que l’industrie automobile autonome devrait atteindre 7 000 mil- liards de dollars d’ici 2050 1. La troisième révolution du transport ferroviaire est sur les rails. Après l’électrification des voies et la grande vitesse, voici venir les trains digita- lisés à conduite autonome.

Autrement dit, des trains où l’intelligence artificielle (IA) fera office de copilote. A la SNCF, on estime que les premiers trains autonomes fret et voyageurs circuleront sur les lignes dès 2023 2. L’automatisation des trains se traduit par des bénéfices concrets pour les voyageurs et les clients du fret dont : une plus grande capacité (faire rouler plus de trains, c’est pouvoir transporter plus de personnes et de marchandises), plus de fluidité et de ré- gularité (grâce à une circulation harmonisée et à une vitesse optimisée, permettant de mieux faire face aux imprévus) et une ambition écologique (grâce à une diminution de la consommation d’énergie). Après le premier déploiement réussi de l’Australie en 2018, on se rend compte qu’il n’y avaient pas qu’eux seuls avait ce projet en projection.

A part la France, on peut lister quelques pays qui travaillent pour la mise sur les rails leur premier trains autonomes d’ici quelques années, il s’agit de l’Allemagne, la Suisse, l’Angleterre, le Pays-Bas et l’Au- triche 3 .