Nghiên cứu, thiết kế và xây dựng xe golf tự hành dựa trên mô hình đa nhiệm và định vị GPS

Nghiên cứu thiết kế và xây dựng xe golf tự động dựa trên mô hình đa nhiệm và định vị GPS, mang lại trải nghiệm chơi golf tiện lợi.

• Tác giả: Ta Tran Nhat Minh
• Người hướng dẫn: Assoc. Le My Ha
• Trường học: HCMC University of Technology and Education
• Chuyên ngành: Automation and Control Engineering Technology
• Đề tài: Research, Design and Construct an Autonomous Golf-Cart Based on Multi-Task Model and GPS Navigation
• Loại tài liệu: Graduation Thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: OVERVIEW
• 1.1. Introduction
• 1.2. International research
• 1.3. Domestic research
• 1.4. Objectives
• 1.5. Limitations
• 2. CHƯƠNG 2: LITERATURE REVIEW
• 2.1. Self-driving car technologies
• 2.2. Overview about Artificial Intelligence
• 2.3. Convolutional Neural Network
• 2.4. Image Segmentation Techniques
• 2.5. Extend Kalman Filter
• 2.6. Random Sample Consensus
• 3. CHƯƠNG 3: ASSEMBLE THE HARDWARE
• 3.1. Ezgo Golf Cart
• 3.2. Transmitter Devo 7 and Receiver RX-601
• 3.3. Controller circuit board
• 3.4. External GPS module
• 4. CHƯƠNG 4: DESIGN AND CALCULATION
• 4.1. Multi-task road lane detection
• 4.2. Lane detection head
• 4.3. Scene parsing head
• 4.4. Total loss function
• 4.5. Enhance Scene parsing head
• 4.6. Steering wheel strategy
• 4.7. Multitask Lateral Controller
• 4.8. Building Campus Street map
• 4.9. Refined data map
• 4.10. Extend Kalman filter
• 4.11. Circular position checking
• 4.12. Fusion Strategy between Multitask model and GPS data
• 5. CHƯƠNG 5: EXPERIMENTS AND RESULTS
• 5.1. Results and comparisons
• 5.2. Evaluation supportive module
• 5.3. Steering wheel strategy performance
• 6. CHƯƠNG 6: CONCLUSION AND FUTURE WORK
• PHỤ LỤC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Dự Án Xe Golf Tự Hành Nghiên Cứu và Thiết Kế

Trong 50 năm qua, ý tưởng về xe golf tự hành đã xuất hiện, nhưng chỉ dừng lại ở phim ảnh. Phải đến những đột phá về bộ xử lý vào những năm 1980, ý tưởng này mới trở nên khả thi. Hiện nay, xe tự hành đang phát triển nhanh chóng, hứa hẹn mang lại nhiều lợi ích như tăng an toàn giao thông, giảm tai nạn và nâng cao sự thoải mái cho hành khách. Nhiều quốc gia giàu có đã đầu tư đáng kể vào nghiên cứu và phát triển autonomous vehicle. Tesla là một ví dụ điển hình. Nhờ sự phát triển của thuật toán điều khiển, kỹ thuật đa cảm biến, và đặc biệt là deep learning, xe tự hành có nhiều cơ hội cải thiện khả năng lái, như xác định điều kiện địa hình, phân tích để tìm quỹ đạo phù hợp. Nghiên cứu này tập trung vào xây dựng mô hình xe golf tự hành có khả năng điều hướng chính xác trong các tình huống cơ bản, kết hợp nhiều cảm biến khác nhau.

1.1. Lịch sử phát triển và tiềm năng của xe tự hành

Ý tưởng về xe tự hành đã có từ lâu, nhưng chỉ thực sự phát triển mạnh mẽ trong những năm gần đây nhờ những tiến bộ trong lĩnh vực trí tuệ nhân tạo và công nghệ cảm biến. Các quốc gia và tập đoàn lớn trên thế giới đang đầu tư mạnh mẽ vào lĩnh vực này, hứa hẹn một tương lai giao thông vận tải an toàn và hiệu quả hơn. Sự phát triển của xe điện tự lái sân golf là một hướng đi tiềm năng, đặc biệt trong các khu nghỉ dưỡng và sân golf.

1.2. Mục tiêu và phạm vi của dự án nghiên cứu xe golf tự hành

Mục tiêu chính của dự án này là xây dựng và phát triển một mô hình xe golf tự hành có khả năng hoạt động tốt trong khuôn viên trường đại học. Dự án tập trung vào thiết kế và xây dựng bảng điều khiển, nghiên cứu thuật toán nhận diện phù hợp để tối ưu hóa các thiết bị chi phí thấp. Dự án tạo nền tảng cho các nghiên cứu tiếp theo về xe tự hành trên đường thực tế. Tuy nhiên, hệ thống chỉ có thể hoạt động trên đường trong khuôn viên trường, gặp khó khăn trong môi trường phức tạp.

II. Tổng Quan Các Công Nghệ và Phương Pháp Định Vị GPS Xe Golf

Nghiên cứu về xe golf tự hành dựa trên định vị GPS đang phát triển mạnh mẽ trên toàn cầu. Các công ty lớn như Waymo, Tesla, Baidu và Uber đều đang đầu tư vào công nghệ này. Trong một nghiên cứu, các tác giả đã kết hợp phát hiện làn đường, bản đồ độ sâu và SVM để giữ làn đường và xác định khoảng cách giữa xe và các phương tiện khác. Một đánh giá toàn diện về các nghiên cứu liên quan đến những khó khăn hiện tại, cấu trúc hệ thống tiên tiến, kỹ thuật mới nổi và các tính năng cơ bản như định vị, mapping, nhận diện, lập kế hoạch và giao diện người máy đã được thực hiện. Đề tài nghiên cứu này cũng xem xét các yếu tố trên.

2.1. Ứng dụng đa cảm biến trong xe golf tự hành

Việc sử dụng đa cảm biến là yếu tố quan trọng để đảm bảo độ chính xác và tin cậy của hệ thống định vị trên xe tự hành. Các cảm biến như camera, GPS, IMU được kết hợp để thu thập dữ liệu môi trường xung quanh và vị trí của xe. Dữ liệu này được xử lý bằng các thuật toán phức tạp để tạo ra bản đồ và điều hướng xe an toàn. Hệ thống định vị toàn cầu GPS đóng vai trò then chốt trong việc xác định vị trí.

2.2. Tổng quan về thuật toán Deep Learning và Computer Vision

Deep Learning và Computer Vision là hai lĩnh vực quan trọng trong việc phát triển xe tự hành. Thuật toán Deep Learning cho phép xe có khả năng nhận diện và phân tích hình ảnh từ camera, giúp xe hiểu được môi trường xung quanh. Computer Vision cung cấp các công cụ và phương pháp để xử lý và phân tích hình ảnh, từ đó trích xuất thông tin hữu ích cho việc điều hướng xe. Mô hình đa nhiệm giúp tăng cường hiệu quả nhận diện.

III. Cách Xây Dựng và Lắp Ráp Phần Cứng Cho Xe Golf Tự Hành

Dự án tập trung vào việc xây dựng một mẫu xe golf tự hành, điều này đòi hỏi sự kết hợp giữa các thành phần cơ khí và điện tử. Xe golf Ezgo được sử dụng làm nền tảng, kết hợp với bộ điều khiển Devo 7 và bộ thu RX-601. Một bảng mạch điều khiển được thiết kế và xây dựng để điều khiển góc lái và tốc độ của xe. Module GPS bên ngoài được tích hợp để cung cấp thông tin vị trí. Việc lựa chọn và tích hợp các thành phần phần cứng phù hợp là yếu tố then chốt để đảm bảo hoạt động ổn định và hiệu quả của xe tự hành.

3.1. Lựa chọn và tích hợp các cảm biến GPS IMU Camera

Việc lựa chọn các cảm biến phù hợp là rất quan trọng. Cảm biến GPS cung cấp thông tin vị trí, cảm biến IMU cung cấp thông tin về hướng và gia tốc, và camera cung cấp hình ảnh môi trường xung quanh. Các cảm biến này phải được tích hợp một cách chính xác và đồng bộ để đảm bảo độ chính xác của hệ thống. Việc đồng bộ hóa dữ liệu cảm biến là một thách thức kỹ thuật.

3.2. Thiết kế và xây dựng mạch điều khiển cho hệ thống lái

Mạch điều khiển là bộ não của hệ thống lái, có nhiệm vụ nhận tín hiệu từ các cảm biến và điều khiển động cơ lái. Mạch điều khiển phải được thiết kế một cách cẩn thận để đảm bảo hoạt động ổn định và chính xác. STM32 được sử dụng làm bộ vi xử lý chính. Mạch điều khiển cũng phải được bảo vệ khỏi các tác động bên ngoài như nhiệt độ, độ ẩm và rung động.

IV. Phương Pháp Thiết Kế và Tính Toán Mô Hình Xe Golf Tự Hành

Phương pháp tiếp cận chính trong dự án là sử dụng mô hình đa nhiệm cho nhận diện làn đường, kết hợp với dữ liệu từ nhiều cảm biến. Mô hình đa nhiệm bao gồm đầu nhận diện cảnh và đầu nhận diện làn đường. Một hàm mất mát tổng thể được sử dụng để huấn luyện mô hình. Bên cạnh đó, dự án cũng tập trung vào việc xây dựng bản đồ đường đi trong khuôn viên trường bằng dữ liệu GPS, sau đó tinh chỉnh dữ liệu bằng bộ lọc Kalman mở rộng. Cuối cùng, chiến lược hợp nhất giữa mô hình đa nhiệm và dữ liệu GPS được phát triển để điều khiển xe.

4.1. Phát triển mô hình đa nhiệm cho nhận diện làn đường

Mô hình đa nhiệm cho phép xe có khả năng nhận diện làn đường và các đối tượng khác trên đường cùng một lúc. Điều này giúp xe có thể đưa ra các quyết định lái xe an toàn hơn. Việc huấn luyện mô hình đa nhiệm đòi hỏi một lượng lớn dữ liệu được gắn nhãn. Phân tích cảnh giúp cải thiện độ chính xác của nhận diện làn đường.

4.2. Xây dựng bản đồ đường đi và tinh chỉnh dữ liệu GPS

Bản đồ đường đi là một yếu tố quan trọng để xe tự hành có thể điều hướng một cách chính xác. Dữ liệu GPS được sử dụng để xây dựng bản đồ, sau đó được tinh chỉnh bằng bộ lọc Kalman mở rộng để giảm nhiễu và tăng độ chính xác. Kiểm tra vị trí vòng tròn giúp đảm bảo tính nhất quán của dữ liệu.

V. Kết Quả Thực Nghiệm và So Sánh Hệ Thống Xe Golf Tự Hành

Hệ thống xe golf tự hành đã được thử nghiệm và so sánh với các phương pháp khác. Kết quả cho thấy hệ thống hoạt động tốt trên đường trong khuôn viên trường, với độ chính xác nhận diện làn đường là 93.50% và giá trị mIOU cho đầu phân đoạn là 0. Bản đồ GPS được tinh chỉnh giúp cải thiện độ chính xác điều hướng. Chiến lược lái cũng được đánh giá hiệu quả. Hệ thống đạt được tốc độ khung hình khoảng 34 FPS, đáp ứng yêu cầu thời gian thực.

5.1. Đánh giá hiệu suất của hệ thống nhận diện làn đường

Hiệu suất của hệ thống nhận diện làn đường được đánh giá bằng cách so sánh kết quả với các phương pháp khác. Các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu được sử dụng để đánh giá hiệu suất. Mô hình đa nhiệm cho thấy hiệu suất tốt hơn so với các mô hình đơn nhiệm. Kết quả thực nghiệm cho thấy tính khả thi của hệ thống.

5.2. Đánh giá khả năng điều hướng dựa trên GPS đã tinh chỉnh

Khả năng điều hướng của xe được đánh giá bằng cách so sánh quỹ đạo thực tế của xe với quỹ đạo mong muốn. Sai số vị trí và sai số góc được sử dụng để đánh giá khả năng điều hướng. Dữ liệu GPS đã tinh chỉnh giúp cải thiện độ chính xác điều hướng. Kết quả thực nghiệm cho thấy hệ thống có khả năng điều hướng chính xác trong khuôn viên trường.

VI. Kết Luận và Hướng Phát Triển Xe Golf Tự Hành Tương Lai

Dự án đã thành công trong việc xây dựng một mẫu xe golf tự hành có khả năng hoạt động tốt trong khuôn viên trường đại học. Hệ thống sử dụng mô hình đa nhiệm cho nhận diện làn đường, kết hợp với dữ liệu từ nhiều cảm biến. Bản đồ GPS được tinh chỉnh giúp cải thiện độ chính xác điều hướng. Trong tương lai, dự án có thể được mở rộng để hoạt động trên đường thực tế, kết hợp với các công nghệ khác như phát hiện vật cản và lập kế hoạch đường đi.

6.1. Tổng kết những thành công và hạn chế của dự án

Dự án đã thành công trong việc xây dựng một mô hình xe golf tự hành có khả năng hoạt động trong môi trường hạn chế. Tuy nhiên, hệ thống vẫn còn một số hạn chế, chẳng hạn như khả năng hoạt động trong môi trường phức tạp và khả năng xử lý các tình huống bất ngờ. Việc giải quyết những hạn chế này là hướng đi cho các nghiên cứu tiếp theo.

6.2. Đề xuất các hướng nghiên cứu và phát triển trong tương lai

Trong tương lai, dự án có thể được mở rộng để hoạt động trên đường thực tế, kết hợp với các công nghệ khác như phát hiện vật cản, lập kế hoạch đường đi và điều khiển thích ứng. Việc tích hợp các công nghệ mới sẽ giúp xe tự hành trở nên an toàn và hiệu quả hơn. Ứng dụng machine learning để cải thiện hiệu suất.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Công nghệ xe tự hành (autonomous vehicles) là một trong những hướng phát triển trọng điểm của ngành kỹ thuật điều khiển và tự động hóa trên thế giới cũng như tại Việt Nam. Sự kết hợp giữa các thuật toán điều khiển phương tiện, kỹ thuật đa cảm biến (multi-sensor fusion) và trí tuệ nhân tạo (đặc biệt là học sâu - Deep Learning) cho phép các phương tiện tự nhận diện môi trường, lập quỹ đạo di chuyển và điều khiển bám đường an toàn. Tại Việt Nam, nghiên cứu xe tự hành đang từng bước mở rộng từ các mô hình xe mô hình RC quy mô nhỏ sang các phương tiện thực nghiệm kích thước thực tế nhằm phục vụ việc vận chuyển nội khu.

Đề tài "Nghiên cứu, thiết kế và chế tạo xe golf tự hành dựa trên mô hình đa nhiệm và điều hướng GPS" (Research, design and construct an autonomous golf-cart based on multi-task model and GPS navigation) do sinh viên Tạ Trần Nhật Minh thực hiện dưới sự hướng dẫn của PGS. Lê Mỹ Hà tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh (HCMUTE) giải quyết bài toán tự hành cho mô hình xe golf thực tế trong môi trường khuôn viên trường học.

Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu tổng quát của đề tài là chế tạo và phát triển hoàn chỉnh một mô hình xe golf tự hành có khả năng vận hành ổn định trong khuôn viên HCMUTE, đáp ứng các tiêu chuẩn thời gian thực trên nền tảng thiết bị phần cứng chi phí thấp. Mười nhiệm vụ nghiên cứu cụ thể được xác định trong đồ án gồm:

1. Nghiên cứu tài liệu, bài báo khoa học và giáo trình liên quan để xác định phương hướng giải quyết bài toán xe tự hành.
2. Xử lý và khắc phục các vấn đề cơ khí và điện trên hệ thống khung xe mẫu (prototype).
3. Thiết kế và chế tạo mạch điều khiển góc lái tích hợp các linh kiện điện tử chuyên dụng.
4. Tính toán và xây dựng chiến lược điều khiển vô lăng và góc bẻ lái (steering control strategy).
5. Thu thập và gán nhãn tập dữ liệu hình ảnh thực tế phục vụ huấn luyện và kiểm thử mô hình học sâu.
6. Xây dựng kiến trúc mạng nơ-ron đa nhiệm (Multi-Task Network) ứng dụng phương pháp học sâu.
7. Thu thập dữ liệu GPS và xây dựng bản đồ số các tuyến đường nội bộ trong khuôn viên trường.
8. Đồng bộ hóa và tích hợp mô hình thị giác đa nhiệm cùng hệ thống điều hướng GPS lên các bo mạch xử lý.
9. Thu thập dữ liệu thử nghiệm, vận hành thực tế và đánh giá hiệu năng hệ thống.
10. Tổng hợp dữ liệu và hoàn thiện báo cáo khóa luận tốt nghiệp.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Xe golf điện thương hiệu Ezgo; hệ thống phần cứng điều khiển góc lái và tốc độ; các cảm biến định vị và nhận thức (Camera Astra, mô-đun GPS, IMU MPU6000, Absolute Encoder); mạng nơ-ron đa nhiệm phát hiện làn đường và phân vùng hình ảnh; thuật toán lọc dữ liệu định vị và điều khiển bám quỹ đạo.
• Phạm vi không gian: Các tuyến đường nội bộ trong khuôn viên Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh (HCMUTE campus).
• Phạm vi thời gian: Học kỳ 2, năm học 2022 – 2023 (thực hiện từ 15/02/2023 đến 30/06/2023).

---

Cơ sở lý thuyết và phương pháp

Đồ án ứng dụng tổng hợp các cơ sở lý thuyết về thị giác máy tính, học sâu, lọc dữ liệu ước lượng trạng thái và lý thuyết điều khiển tự động:

Khung lý thuyết và mô hình ứng dụng

• Học sâu và mạng nơ-ron tích chập (CNN): Sử dụng kiến trúc mạng nơ-ron tích chập với mạng xương sống (Backbone) là ResNet-18. Cấu trúc Residual Block với đường truyền tắt (skip connection) được áp dụng để triệt tiêu hiện tượng tiêu biến đạo hàm (vanishing gradient) khi tăng độ sâu mạng.
• Học đa nhiệm (Multi-Task Learning - MTL): Triển khai mạng học sâu dùng chung bộ trích xuất đặc trưng (Shared Feature Extractor) và tách nhánh thành hai đầu xử lý tác vụ riêng biệt (Task-specific heads):
  • Nhánh phát hiện vạch làn đường (Lane detection head).
  • Nhánh phân vùng ngữ cảnh (Scene parsing head) sử dụng kỹ thuật Semantic Segmentation để hỗ trợ định hướng không gian di chuyển cho nhánh nhận diện làn khi gặp vật cản hoặc nhiễu môi trường.
• Cơ chế chú ý và cấu trúc mở rộng: Tích hợp mô-đun chú ý CBAM (Convolutional Block Attention Module - bao gồm Channel Attention Module và Spatial Attention Module) cùng kiến trúc CSP (Cross Stage Partial) để tối ưu khả năng hội tụ và độ chính xác phân vùng.
• Bộ lọc Kalman mở rộng (Extended Kalman Filter - EKF): Sử dụng khai triển chuỗi Taylor và ma trận Jacobian để tuyến tính hóa các phương trình động học phi tuyến, hợp nhất và lọc nhiễu dữ liệu từ cảm biến GPS và IMU trong quá trình định vị.
• Thuật toán RANSAC (Random Sample Consensus): Ứng dụng kỹ thuật lấy mẫu ngẫu nhiên có trọng số nhằm ước lượng đường trung tâm làn (center line) và loại bỏ các điểm dị biệt (outliers) trong không gian 2D.
• Bộ điều khiển PID (Proportional-Integral-Derivative): Tính toán tín hiệu điều khiển hồi tiếp vòng kín cho góc lái và hướng di chuyển của xe dựa trên sai số lệch tâm (offset) và sai số góc hướng.
• Công cụ và nền tảng tối ưu: Huấn luyện mô hình trên framework PyTorch (sử dụng các mô-đun torch.nn, torch.optim, torch.utils, torch.autograd) cùng bộ tối ưu hóa Adam (kết hợp Momentum và RMSprop). Mô hình sau đó được chuyển đổi và tối ưu hóa thời gian thực bằng thư viện NVIDIA TensorRT (hiệu chuẩn độ chính xác FP16/INT8, ghép lớp, tối ưu bộ nhớ động và thực thi đa luồng Multi-stream).

Phương pháp nghiên cứu

• Phương pháp thực nghiệm và thiết kế kỹ thuật: Chế tạo bo mạch điều khiển trung gian, lắp đặt cơ cấu truyền động vô lăng sử dụng động cơ Ezi Servo và driver, bố trí cảm biến và đấu nối các khối chức năng.
• Phương pháp thu thập và tiền xử lý dữ liệu: Thu thập dữ liệu hình ảnh thực tế từ camera đặt trên xe golf khi di chuyển trong trường, gán nhãn thủ công thông qua công cụ LabelMe; thu thập tọa độ từ 3 cảm biến GPS khác nhau để xây dựng bản đồ mạng lưới đường nội bộ và chuyển đổi sang hệ tọa độ UTM.

---

Thiết kế và triển khai hệ thống

Hệ thống xe golf tự hành được thiết kế đồng bộ từ kết cấu cơ điện tử, phần cứng xử lý đến kiến trúc phần mềm nhúng và thuật toán điều khiển:

Kiến trúc phần cứng và thiết bị

Hệ thống phần cứng được chia làm 4 khối chính:

Khối chức năng	Thiết bị và linh kiện sử dụng	Vai trò và nhiệm vụ chính
Khung xe & Cơ cấu chấp hành	Xe golf Ezgo, động cơ Ezi Servo, Ezi Driver, Rơ-le, Actuator	Khung truyền động nguyên bản; động cơ servo điều khiển cơ cấu vô lăng; rơ-le và actuator điều khiển cấp ga và tốc độ
Khối cảm biến (Sensors)	Camera Astra, IMU MPU6000, Encoder tuyệt đối, 3 mô-đun GPS (Quectel LC86L, Ublox NEO-M8N, Beitian BN-880)	Thu thập hình ảnh đường đi, góc quay xe, gia tốc trọng trường, phản hồi góc đánh lái thực tế và tọa độ vị trí toàn cầu
Khối xử lý trung tâm (Processors)	Máy tính xách tay MSI GF63 (NVIDIA GTX 1050Ti) và máy tính nhúng NVIDIA Jetson TX2	Laptop đảm nhận xử lý mô hình học sâu thị giác; Jetson TX2 xử lý tính toán thuật toán EKF, giải mã dữ liệu GPS và IMU
Khối mạch điều khiển	Bo mạch tự thiết kế tích hợp vi điều khiển STM32, nguồn, khối giao tiếp UART/UDP, bộ thu RX-601	Nhận lệnh điều khiển từ máy tính, xuất xung PWM và chiều quay cho động cơ servo lái, điều khiển tốc độ và nhận tín hiệu tay điều khiển Devo 7

Kiến trúc phần mềm và luồng hoạt động

Phần mềm hệ thống được thiết kế theo cấu trúc đa luồng (Multi-threading):

1. Luồng thị giác (Vision Pipeline): Camera Astra truyền dữ liệu khung hình vào máy tính MSI GF63 $\rightarrow$ Mạng nơ-ron đa nhiệm (ResNet-18 + CBAM + CSP) xử lý song song hai nhánh Lane Detection và Scene Parsing $\rightarrow$ Trích xuất tọa độ làn đường và vùng di chuyển hợp lệ $\rightarrow$ Áp dụng RANSAC xác định đường tâm $\rightarrow$ Tính toán độ lệch offset so với tâm xe $\rightarrow$ Chuyển đổi thành góc bẻ lái mong muốn.
2. Luồng định vị và điều hướng (Navigation Pipeline): Dữ liệu thô từ 3 mô-đun GPS và IMU MPU6000 được gửi về Jetson TX2 $\rightarrow$ Thuật toán EKF thực hiện lọc nhiễu và ước lượng vị trí $\rightarrow$ Khớp tọa độ xe vào bản đồ định tuyến UTM nội khu $\rightarrow$ Thuật toán kiểm tra vị trí vòng tròn (Circular position checking) xác định điểm nút kế tiếp và tính toán hướng lái.
3. Chiến lược hợp nhất và điều khiển (Control Strategy): Tín hiệu điều khiển bám làn (từ camera) và điều khiển dẫn đường (từ GPS/EKF) được phối hợp đồng bộ. Bộ điều khiển PID tính toán độ rộng xung PWM và hướng quay gửi đến vi điều khiển STM32 để điều khiển động cơ Ezi Servo tác động lên trục lái cơ khí.

---

Nội dung chính theo từng chương

Chương 1: Overview

Chương 1 trình bày tổng quan về lịch sử phát triển của xe tự hành, bối cảnh nghiên cứu quốc tế từ các tập đoàn công nghệ (Waymo, Tesla, Baidu, Uber) và các nghiên cứu trong nước (VinAI, các mô hình xe RC tại HCMUTE). Chương này xác định rõ tính cấp thiết của việc phát triển một hệ thống tự hành trên phương tiện xe golf phục vụ khuôn viên trường học, công bố 10 nội dung nghiên cứu chính, các mục tiêu kỹ thuật, phạm vi giới hạn của đề tài cùng cấu trúc tổng thể 6 chương của khóa luận.

Chương 2: Literature Review

Chương 2 tổng hợp hệ thống cơ sở lý thuyết nền tảng phục vụ đồ án:

• Phân tích nguyên lý và ưu nhược điểm của các cảm biến chuyên dụng trên xe tự hành: Camera, GPS và IMU.
• Tổng quan về Trí tuệ nhân tạo, Học máy và Học sâu; cấu trúc nơ-ron sinh học và nơ-ron nhân tạo (Perceptron); các phương pháp học có giám sát, không giám sát và học tăng cường.
• Kiến trúc mạng nơ-ron tích chập (CNN) chi tiết: Tích chập (Convolution), hàm kích hoạt (ReLU, Sigmoid, Tanh), kỹ thuật Stride và Padding, lớp gộp Max Pooling/Average Pooling và lớp kết nối đầy đủ (Fully Connected Layer).
• Các kỹ thuật phân vùng ảnh (Semantic, Instance, Panoptic) và chỉ số đánh giá IoU, mIoU.
• Kiến trúc mạng ResNet và ResNet-18, cơ chế Residual Block giải quyết suy giảm đạo hàm; các thuật toán tối ưu hóa (Gradient Descent, Momentum, RMSprop, Adam).
• Khái niệm học đa nhiệm (Multi-Task Learning), cấu trúc bộ lọc Kalman mở rộng (EKF), giải thuật khớp mẫu RANSAC, bộ điều khiển phản hồi PID, thư viện PyTorch, công cụ tăng tốc suy luận NVIDIA TensorRT và kỹ thuật lập trình đa luồng.

Chương 3: Assemble the Hardware

Chương 3 trình bày chi tiết quá trình thiết kế, lựa chọn linh kiện và lắp ráp phần cứng của xe golf tự hành:

• Mô tả đặc tính kỹ thuật xe golf điện Ezgo và kết cấu cơ khí hệ thống lái.
• Thiết kế và chế tạo bo mạch điều khiển trung tâm sử dụng vi điều khiển STM32, tích hợp các khối nạp code, mạch chuyển đổi mức tín hiệu, mạch điều khiển PWM/chiều quay động cơ servo, mạch điều khiển rơ-le/actuator điều tốc.
• Bố trí và kết nối các thiết bị ngoại vi: Động cơ bước Ezi Servo và driver điều khiển vô lăng; cảm biến góc quay Absolute Encoder; các bộ thu phát không dây Devo 7 và RX-601; cảm biến IMU MPU6000; các mô-đun GPS (Quectel LC86L, Ublox NEO-M8N, Beitian BN-880); camera Astra; máy tính nhúng NVIDIA Jetson TX2 và laptop MSI GF63.
• Xây dựng sơ đồ đấu nối toàn diện giữa các khối chức năng và phân phối nguồn điện vận hành.

Chương 4: Design and Calculation

Chương 4 tập trung vào các giải thuật tính toán, thiết kế mô hình học sâu và thuật toán điều khiển:

• Mạng nhận diện đa nhiệm: Thiết kế kiến trúc Multi-task gồm nhánh Lane detection head (phát hiện vạch kẻ đường dựa trên mạng UFLD cải tiến) và Scene parsing head (phân vùng khu vực di chuyển), tích hợp khối chú ý CBAM và CSP, xây dựng hàm mất mát tổng hợp (Total loss function).
• Chiến lược điều khiển lái ngang (Multitask Lateral Controller): Thuật toán tính toán độ lệch tâm (offset) từ ảnh phân vùng và vạch làn, kết hợp thuật toán RANSAC để xây dựng mô hình bám quỹ đạo; thiết lập các khâu tỉ lệ, tích phân, vi phân cho bộ điều khiển PID góc lái.
• Xây dựng bản đồ và điều hướng GPS: Thu thập dữ liệu tọa độ khuôn viên trường từ nhiều cảm biến GPS, làm mịn và chuyển đổi sang hệ tọa độ UTM; thiết lập thuật toán EKF khử nhiễu môi trường và giải thuật kiểm tra vị trí vòng tròn (Circular position checking).
• Chiến lược hợp nhất: Phối hợp linh hoạt giữa luồng điều khiển thị giác bám làn và luồng điều hướng GPS theo kịch bản vận hành thực tế.

Chương 5: Experiments and Results

Chương 5 mô tả quy trình thực nghiệm, thông số huấn luyện và đánh giá kết quả:

• Quy trình thu thập tập dữ liệu tùy chỉnh (custom dataset) trên đường nội bộ trường HCMUTE và gán nhãn bằng LabelMe.
• Thông số huấn luyện mô hình học sâu và đồ thị suy giảm hàm mất mát (loss graph), đồ thị độ chính xác nhận diện làn và đồ thị mIoU phân vùng ảnh.
• Đánh giá hiệu năng mạng đa nhiệm sau khi tối ưu qua TensorRT; so sánh hiệu năng giữa mô hình đơn nhiệm và đa nhiệm; các thực nghiệm triệt tiêu thành phần (ablation experiments) chứng minh hiệu quả của các mô-đun CBAM/CSP.
• Kết quả làm mịn bản đồ số GPS, giảm độ bất định sai số qua EKF và kết quả thực nghiệm điều khiển bẻ lái xe golf trên các tuyến đường thực tế.

Chương 6: Conclusion and Future Work

Chương 6 tổng kết các hạng mục đã hoàn thành của đồ án: Thiết kế thành công phần cứng mạch điều khiển lái, xây dựng mô hình đa nhiệm nhận diện làn/phân vùng ngữ cảnh hoạt động thời gian thực trên xe thực tế. Đồng thời, chương chỉ rõ các mặt hạn chế còn tồn tại và vạch ra các định hướng nâng cấp hệ thống trong tương lai.

---

Kết quả và đóng góp

Kết quả định lượng và hiệu năng hệ thống

• Độ chính xác nhận diện làn đường: Mô hình đa nhiệm đề xuất đạt độ chính xác phát hiện vạch kẻ đường là 93.50% trên tập dữ liệu thực tế tại khuôn viên trường HCMUTE.
• Tốc độ xử lý (Frame Rate): Hệ thống đạt tốc độ xử lý khoảng 34 FPS khi chạy toàn bộ pipeline nhận thức trên máy tính có card đồ họa NVIDIA GTX 1050Ti sau khi tối ưu hóa qua TensorRT, đáp ứng đầy đủ yêu cầu tính toán trong thời gian thực.
• Tích hợp phần cứng và vận hành: Chế tạo thành công bo mạch điều khiển STM32, phối hợp nhịp nhàng giữa laptop MSI GF63 và Jetson TX2; điều khiển chính xác cơ cấu lái Ezi Servo không cần hệ thống trợ lực điện EPS gốc của xe.
• Định vị và làm mịn bản đồ: Bộ lọc EKF kết hợp 3 mô-đun GPS và IMU MPU6000 đã triệt tiêu hiệu quả nhiễu ngoại cảnh, thiết lập thành công bản đồ số UTM phục vụ điều hướng vòng kín trong khuôn viên trường.

Đóng góp kỹ thuật của đề tài

1. Thiết kế phần cứng chi phí thấp hoàn chỉnh: Đã giải quyết bài toán can thiệp và điều khiển cơ cấu lái/tốc độ của xe golf thực tế bằng các linh kiện điện tử và cảm biến chi phí thấp, không phụ thuộc vào hệ thống trợ lực lái điện tử đắt tiền (EPS).
2. Kiến trúc mạng đa nhiệm cải tiến: Kết hợp song song nhánh nhận diện làn đường và phân vùng không gian di chuyển (Scene Parsing) có bổ sung cơ chế chú ý CBAM và CSP, giúp thuật toán duy trì khả năng nhận diện vạch đường chính xác ngay cả khi có chướng ngại vật (xe cộ, người đi bộ) che khuất.
3. Phân bổ tải tính toán tối ưu: Thiết lập kiến trúc xử lý phân tán kết hợp laptop cá nhân và máy tính nhúng Jetson TX2, tận dụng tối đa TensorRT và lập trình đa luồng để giải phóng tài nguyên tính toán.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Phạm vi hoạt động: Hệ thống chỉ mới được kiểm nghiệm và hoạt động trong phạm vi các tuyến đường nội bộ của khuôn viên trường Đại học Sư phạm Kỹ thuật TP.HCM.
• Khả năng tự hành hoàn toàn: Hệ thống chưa thể vận hành độc lập 100% mà không có người giám sát trên xe; độ chính xác và ổn định dừng lại ở mức chấp nhận được trong các điều kiện môi trường ngoài trời cơ bản.
• Nhiễu cảm biến: Các cảm biến định vị (GPS) và quán tính (IMU) thuộc phân khúc chi phí thấp nên chịu ảnh hưởng đáng kể bởi hiện tượng trôi sai số và nhiễu môi trường khi hoạt động ngoài trời.
• Hạn chế góc nhìn camera: Góc quan sát của một camera đơn phía trước bị giới hạn khi xe di chuyển vào các cung đường quá rộng hoặc các khúc cua gấp.
• Ảnh hưởng thời tiết: Hệ thống thị giác và cảm biến dễ bị suy giảm hiệu năng khi gặp điều kiện thời tiết khắc nghiệt như mưa lớn hoặc môi trường thiếu sáng vào ban đêm.

Hướng phát triển tiếp theo

• Nâng cấp và tích hợp thêm các cảm biến có độ chính xác cao hơn (như LiDAR hoặc hệ thống định vị vi sai RTK-GPS).
• Bổ sung camera góc rộng hoặc hệ thống camera 360 độ để mở rộng vùng quan sát quanh thân xe.
• Nâng cấp thuật toán nhận thức để xử lý tốt các tình huống giao thông phức tạp, đông đúc và các điều kiện thời tiết bất lợi.
• Tối ưu hóa thuật toán điều khiển để phương tiện có thể tự hành hoàn toàn ở cấp độ cao hơn mà không cần sự can thiệp trực tiếp của con người.

---

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo có giá trị chuyên môn cao đối với:

• Sinh viên ngành Kỹ thuật Điều khiển & Tự động hóa, Kỹ thuật Cơ điện tử, Kỹ thuật Điện - Điện tử: Tham khảo phương pháp thiết kế mạch điều khiển nhúng sử dụng vi điều khiển STM32, phương pháp điều khiển động cơ servo công suất và kỹ thuật điều khiển hồi tiếp PID trên cơ cấu chấp hành thực tế.
• Sinh viên và nhà nghiên cứu ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Robotics: Tham khảo quy trình xây dựng, gán nhãn tập dữ liệu thực tế với LabelMe; cấu trúc mạng đa nhiệm (Multi-Task Learning) kết hợp CBAM/CSP trên PyTorch; kỹ thuật tăng tốc mô hình học sâu bằng NVIDIA TensorRT trên phần cứng nhúng.
• Các nhóm nghiên cứu về xe tự hành / Robot di động ngoài trời: Tham khảo thuật toán lọc dữ liệu định vị EKF kết hợp GPS/IMU và phương pháp chuyển đổi tọa độ địa lý sang hệ tọa độ phẳng UTM.

---

Câu hỏi thường gặp

Đồ án sử dụng loại phương tiện nào làm nền tảng và có điểm gì đặc biệt trong cơ cấu lái?

Đồ án sử dụng xe golf điện thương hiệu Ezgo làm nền tảng chế tạo mô hình thực nghiệm. Điểm đặc biệt là tác giả đã tự thiết kế bo mạch điều khiển trung gian dùng vi điều khiển STM32 kết hợp động cơ Ezi Servo và Ezi Driver để điều khiển trực tiếp góc xoay vô lăng (lateral control), hoàn toàn không cần đến sự hỗ trợ của hệ thống trợ lực lái điện tử nguyên bản (EPS - Electronic Power Steering).

Mạng học sâu đa nhiệm (Multi-task network) trong đồ án gồm những tác vụ nào và mạng xương sống (Backbone) là gì?

Mạng học sâu trong đồ án sử dụng kiến trúc mạng xương sống ResNet-18 kết hợp mô-đun chú ý CBAM và khối CSP. Mạng được chia làm hai nhánh thực hiện đồng thời hai tác vụ:

1. Nhánh phát hiện vạch làn đường (Lane detection head).
2. Nhánh phân vùng ngữ cảnh (Scene parsing head) sử dụng Semantic Segmentation nhằm cung cấp thông tin định hướng vùng di chuyển hợp lệ cho nhánh nhận diện làn đường khi gặp chướng ngại vật.

Tác giả đã giải quyết vấn đề trôi sai số và nhiễu của cảm biến GPS và IMU giá rẻ bằng phương pháp nào?

Tác giả đã thu thập dữ liệu từ 3 mô-đun GPS khác nhau (Quectel LC86L, Ublox NEO-M8N, Beitian BN-880) cùng cảm biến IMU MPU6000, sau đó áp dụng Bộ lọc Kalman mở rộng (Extended Kalman Filter - EKF) sử dụng ma trận Jacobian/chuỗi Taylor để tuyến tính hóa hệ thống và triệt tiêu nhiễu môi trường, giúp ước lượng chính xác vị trí thực tế của xe trên hệ tọa độ UTM.

Hiệu năng xử lý và độ chính xác nhận diện của hệ thống đạt được cụ thể là bao nhiêu?

Theo kết quả thực nghiệm được công bố trong đồ án, mô hình nhận diện làn đường đạt độ chính xác 93.50% trên tập dữ liệu khuôn viên trường HCMUTE. Sau khi tối ưu hóa mô hình bằng NVIDIA TensorRT trên máy tính trang bị GPU NVIDIA GTX 1050Ti, toàn bộ hệ thống đạt tốc độ xử lý xấp xỉ 34 FPS, đảm bảo khả năng phản hồi theo thời gian thực.

Hội đồng và giảng viên đánh giá kết quả đồ án tốt nghiệp này như thế nào?

Đồ án được đánh giá rất cao về tính thực tiễn và khả năng ứng dụng trên xe thực tế. Cụ thể, Giảng viên hướng dẫn (PGS. Lê Mỹ Hà) đánh giá xếp loại Xuất sắc (Excellent) với điểm số 10/10; Giảng viên phản biện đánh giá xếp loại Rất tốt (Very good) với điểm số 9.5/10.

---

Kết luận

Đồ án "Nghiên cứu, thiết kế và chế tạo xe golf tự hành dựa trên mô hình đa nhiệm và điều hướng GPS" của sinh viên Tạ Trần Nhật Minh đã hoàn thành xuất sắc việc tích hợp toàn diện từ phần cứng cơ điện tử đến các thuật toán học sâu và định vị trên một phương tiện xe golf thực tế. Bằng việc kết hợp mạng thị giác đa nhiệm ResNet-18 cải tiến với bộ lọc Kalman mở rộng EKF xử lý dữ liệu đa cảm biến (Camera, GPS, IMU), hệ thống đã đạt độ chính xác nhận diện làn 93.50% và vận hành ổn định thời gian thực ở tốc độ 34 FPS trong khuôn viên HCMUTE. Công trình cung cấp một tài liệu kỹ thuật và giải pháp thực nghiệm có giá trị tham khảo cao cho các nghiên cứu phát triển xe tự hành chi phí thấp tại Việt Nam.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION THESIS AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY RESEARCH, DESIGN AND CONSTRUCT AN AUTONOMOUS GOLF-CART BASED ON MULTI-TASK MODEL AND GPS NAVIGATION ADVISOR : ASSOC. LE MY HA STUDENTS: TA TRAN NHAT MINH SKL011633 Ho Chi Minh City, June 2023 MINISTRY OF EDUCATION AND TRAINING HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION Faculty of Electrical and Electronics Engineering -------------------- FINAL THESIS RESEARCH, DESIGN AND CONSTRUCT AN AUTONOMOUS GOLF-CART BASED ON MULTI- TASK MODEL AND GPS NAVIGATION Major: Automation and Control Engineering Technology Student: Ta Tran Nhat Minh Student ID: 19151034 Acad. Year: 2019 – 2023 Advisor: Assoc. Le My Ha Ho Chi Minh city, June 2023 BIÊN BẢN CHỈNH SỬA ĐATN HK2 NH 2022-2023 NGÀNH CNKT ĐK-TĐH Tên đề tài: Research, design and construct an autonomous golf-cart based on multi-task model and GPS navigation.

Tên SV: Tạ Trần Nhật Minh MSSV: 19151034 Tên GVHD: PGS. Lê Mỹ Hà Nội dung chỉnh sửa STT Yêu cầu chỉnh sửa (GVPB và của Nội dung đã chỉnh sửa (trình bày nhóm đã HĐ) chỉnh sửa gì, tại mục nào, trang bao nhiêu) 1 Chỉnh sửa lại kích thước hình Đã chỉnh sửa kích thước hình 3. 2 Chỉnh sửa lại lưu đồ kết hợp GPS Đã thêm phương pháp đánh lái vào lưu đồ cho và Camera luồng sử dụng GPS. Hình được chỉnh sửa là hình 4.

Xác nhận GVHĐ Tp. HCM, ngày 26 tháng 7 năm 2023 (Chèn chữ kí và ghi rõ họ tên) (Chèn chữ kí và ghi rõ họ tên) i HCMC University of Technology and Education SOCIALIST REPUBLIC OF VIETNAM Faculty of Electrical and Electronics Independence – Freedom– Happiness Engineering ---o0o--- Department of automatic control THESIS ASSIGNMENTS Advisor: Assoc. Le My Ha Student: Ta Tran Nhat Minh Student id: 19151034 Class: 191512A Major: Automation and Control Engineering Technology 1. Project title Research, design and construct an autonomous golf-cart based on multi-task model and GPS navigation.

Project’s content • Research documents, papers, books to find out the direction for solving thesis problems. • Fix the mechanical and electrical problems from my prototype model. • Design and construct the steering control board system with many electronic components. • Calculate steering strategy for control wheeling.

• Collect and label data for training and testing model. • Build a multi-task network with deep learning approach. • Collect and build a campus road map with GPS data. • Synchronize multitask model and GPS navigation with processor board.

• Collect and evaluate the experiment results. • Write the thesis. Assignment date: February 15th, 2023 4. Complete date: June 30th, 2023 CHAIR OF PROGRAM ADVISOR (Sign with full name) (Sign with full name) ii HCMC University of Technology and Education SOCIALIST REPUBLIC OF VIETNAM Faculty of Electrical and Electronics Independence – Freedom– Happiness Engineering ---o0o--- Department of automatic control ADVISOR’S COMMENT SHEET Student: Ta Tran Nhat Minh Student id: 19151034 Class: 191512A Major: Automation and Control Engineering Technology Project: Research, design and construct an autonomous golf-cart based on multi- task model and GPS navigation Advisor Assoc.

Le My Ha COMMENT 1. Thesis’s content: This thesis consists of six chapters and 100 pages. The proposed system is the combination of multiple sensors. The real system is successfully completed the objectives in the proposal.

Advantages: The system has the ability to aid UTE students and lecturers in their mobility within the campus. Successfully build a multitask model with the control technique and mechanism design for guiding self-driving cars. All the sensors used for this project are low-cost devices. The execution time for autonomous mode is suitable for real-time applications.

Disadvantage: The system is unable to function autonomously without the presence of an operator due to the need for upgrades and improvements in various aspects. The accuracy and stability of the system stops at an acceptable level in basic outdoor environments. Propose defending thesis: Approved 5. Overall evaluation: Excellent 6.

Mark: 10 (In words:) Ten Ho Chi Minh, June 2023 ADVISOR (Sign with full name) iii HCMC University of Technology and Education SOCIALIST REPUBLIC OF VIETNAM Faculty of Electrical and Electronics Independence – Freedom– Happiness Engineering ---o0o--- Department of automatic control REVIEWER’S COMMENT SHEET Student: Ta Tran Nhat Minh Student id: 19151034 Class: 191512A Major: Automation and Control Engineering Technology Project: Research, design and construct an autonomous golf-cart based on multi- task model and GPS navigation Advisor Assoc. Le My Ha COMMENT 1. Thesis’s content: The content of this thesis is good and novel. Advantage: The results of this thesis have been deployed in the real car and it can operate successfully.

Propose defending thesis: Approved 5. Overall evaluation: Very good 6.5 (In words:) Nine point five 7. Question: Please explain the method to detect the moving line at each corner of the road. Ho Chi Minh, June 2023 REVIEWER (Sign with full name) iv A GUARANTEE This thesis is the result of my study and implementation, which I hereby formally proclaim.

I did not plagiarize from a published article without author acceptance. I will take full responsibility for any violations that may have occurred. Ho Chi Minh, June 2023 AUTHOR (Sign with full name) Ta Tran Nhat Minh v ACKNOWLEDGMENT I would like to express my deepest grateful towards Assoc. Le My Ha for his inspiration, guidance, and instruction to support me for completing my graduation thesis.

During the whole progress, he not only helped me in finding solutions but also motivated and encouraged me to be able to successfully complete this project. Furthermore, I would like to express my sincere thanks to all lectures in Department of automatic control due to the accumulation of basic knowledge and experience they gave me in the four years of university. Especially, I also spent my honor to Faculty of Electrical and Electronics Engineering, for providing me the golf cart hardware for the research. In addition, I would like to thank Intelligent System Laboratory (ISLab) of Faculty of Electrical and Electronics Engineering and ISLab’s leader Phan Thanh Danh with ISLab’s car team, for the support of facilities and sharing their valuable experiences with me.

I also would like to express my gratitude to all ISLab members who strongly supported me when I dealt with this thesis. Finally, I take this opportunity to respect my parents and family for the encouragement, support, and attention throughout the project. Sincere thanks for everything! Ho Chi Minh, June 2023 AUTHOR (Sign with full name) Ta Tran Nhat Minh vi ABSTRACT In this thesis, an autonomous car utilizes a fusion between Multitask model, which includes scene parsing head and lane detection head, and multi-sensors data to manage a robust self-operating in the HCMUTE campus. The proposed multi-sensors comprise a Camera, GPS, and IMU (Inertial Measurement Unit) to operate my system.

In more detail, there are two major tasks for my project: Designing a controller board for steering control and enhancing self-driving car’s perception. To begin with, the microprocessor used as the centre element is STM32 and many on- board electronic components. The main functions of the mentioned board are controlling the steering angle and the car’s speed. Move to perception tasks, in this thesis, a fast and accurate multi-task approach for road line detection was proposed.

Despite the effectiveness of lane detection, the road line algorithm still suffers from hurdles on the street such as cars or people. To this end, I proposed an additional segmentation-based scene parsing module to work in parallel with the road line algorithm. The scene parsing acts as external guidance on where to make lane predictions on for the road line algorithm. The fusion of two methods was evaluated on a small driving scene dataset collected from a prototype autonomous car.

The experiment results illustrate that my system performs well on HCMUTE campus roads, with the accuracy of lane line detection is 93.50% and the mIOU value for Segmentation head is 0. As for the GPS navigation, the street map was first built up from three different GPS sensors data. After that, the was applied to reduce the noises from the environment and enhance the real-time performance of GPS modules. My work was implemented on my laptop with NVIDIA GTX 1050Ti graphic card as the primary processing unit.

Moreover, to reduce the execution burden, I inserted Jetson TX2 as a support processing unit for the mission of dealing with GPS and IMU data. Experimental results reveal that the whole system works well on several campus roads. The proposed method was applied to a prototype golf-based autonomous car, achieving accurate navigation results on campus road lanes, with about 34 FPS respectively. This result satisfies real-time practical applications.

vii CONTENTS BIÊN BẢN CHỈNH SỬA ĐATN HK2 NH 2022-2023. ii ADVISOR’S COMMENT SHEET. iii REVIEWER’S COMMENT SHEET. viii LIST OF FIGURES.

xii LIST OF TABLES .xv LIST OF ABBREVIATIONS. xvi CHAPTER 1: OVERVIEW .5 CHAPTER 2: LITERATURE REVIEW .1 Self-driving car technologies .2 Overview about Artificial Intelligence .2 Convolutional Neural Network .3 Image Segmentation Techniques .5 Extend Kalman Filter .10 Random Sample Consensus .31 CHAPTER 3: ASSEMBLE THE HARDWARE .1 Ezgo Golf Cart .3 Transmitter Devo 7 and Receiver RX-601 .8 Controller circuit board .9 External GPS module .55 CHAPTER 4: DESIGN AND CALCULATION .1 Multi-task road lane detection .2 Lane detection head .4 Scene parsing head .5 Total loss function .6 Enhance Scene parsing head .1 Steering wheel strategy .2 Multitask Lateral Controller.1 Building Campus Street map .2 Refined data map.3 Extend Kalman filter .4 Circular position checking.4 Fusion Strategy between Multitask model and GPS data .79 CHAPTER 5: EXPERIMENTS AND RESULTS.3 Results and comparisons .2 Evaluation supportive module .4 Steering wheel strategy performance .91 CHAPTER 6: CONCLUSION AND FUTURE WORK .98 xi LIST OF FIGURES Figure 1.1 Estimated spending in Self-driving R&D (2019) .2 Vin-AI autonomous car .3 The RC car model of HCMC UTE students .1 Modern driverless camera performance .2 GPS tracking system .3 IMU detailed components .4 IMU applications in mobile phone and in plane.5 Relation between Deep Learning, Machine Learning and AI .6 Structure of a biological neuron .7 Structure of artificial neurons .8 Compare performance between Machine Learning and Deep Learning .11 The result of a convolution operation .12 Curves of the Sigmoid, Tanh, and ReLU .13 Convolution with stride of 2 .15 Max pooling process .16 Fully connected layer .17 Three types of Image segmentation .18 The Residual block .19 Performance of Residual block with different layers testing .22 MTL using shared feature extractor .23 MTL using task-specific head .25 PyTorch Deep Learning framework .1 System’s block diagram .2 The Ezgo golf cart .3 Types of servo.4 Servo motor structure .5 Ezi Servo and driver .9 Steering unit mechanical.10 Steering unit in detail .17 Module GPS GNSS LC86L Quectel .22 Code flashing block .25 Distance sensor modules .27 Module control PWM of servo .28 Module control direction of servo .29 Module control car’s speed .31 3D PCB circuit board.32 Circuit board in final .33 Module GPS Ublox M8N .34 Module GPS beitian bn-880 .35 The connection between relays and actuators to control speed .36 The connected diagram between devices .1 Multi-threading in proposed system .2 Overall software design .3 Multi-task architecture .4 Lane detection head .5 Scene parsing head .6 Convolutional Block Attention Module with two submodules .7 Channel Attention Module .8 Spatial Attention Module .9 Multitask network with CBAM and CSP .10 The shortcoming of single lane model .12 Detail parameter in proposed car model .13 Calculate offset in Lane keeping scenario .14 Average offset point from segmented image .15 Block diagram of PID controller for vehicle angle in continuous time. Block diagram of PID for steering angle .17 The campus road map .18 Taylor series estimation .19 Block diagram of real time EKF.20 Circular checking position .2 My custom datasets.3 The data labeling process. The labeled images (a,c) and the collected images (b,d) .4 Labeling process using LabelMe tool .5 Raw data visualization .6 Training loss graph .