ĐẠI HỌC QUÓC GIA TP. HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUẬT MAY TÍNH NGUYEN ĐÌNH PHÚC - 20521766 KHÓA LUẬN TÓT NGHIỆP NGHIÊN CỨU VÀ XÂY DỰNG MÔ HÌNH XỬ LY DONG THỜI ĐA TÁC VỤ CHO BÀI TOÁN XE TỰ HÀNH Research and Development of a Simultaneous Multi-Tasking Model for Autonomous Vehicle Problems CU NHÂN KỸ THUAT MAY TÍNH GIANG VIEN HUONG DAN TS. LAM DUC KHAI KS. CHE QUANG HUY TP.
HO CHÍ MINH, 2024 THONG TIN HỘI ĐỒNG CHAM KHÓA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số 659/QD-DHCNTT ngày 05 tháng 07 năm 2024. của Hiệu trưởng Trường Dai học Công nghệ Thông tin. LOI CAM ON Đầu tiên, em xin gửi lời cảm ơn đến quý thay cô giáo trường Dai Học Công Nghệ Thông Tin. Trong quá trình học tập và rèn luyện tại trường, với sự dạy dỗ, chỉ bảo tận tình của các quý thầy cô giáo đã trang bi cho em những kiến thức về chuyên môn cũng như kỹ năng mềm, tao cho em hành trang vững chắc trong cuộc sống cũng như công việc sau này.
Tiếp theo, em xin cảm ơn khoa Kỹ Thuật Máy Tính vì đã luôn tạo mọi điều kiện thuận lợi cho em được học tập và phát triển. Đặc biệt, để hoàn thành khóa luận tốt nghiệp này, em xin gửi lời cảm ơn sâu sắc tới hai Thầy Lâm Đức Khải và Thầy Chế Quang Huy đã tận tình chỉ bảo, hướng dẫn và hỗ trợ trang thiết bị cho em trong suốt thời gian thực hiện đề tài. Đồng thời, mình cũng xin gửi lời cảm ơn đến mọi người trong Câu lạc bộ CEEC đã hỗ trợ mình hoàn thành khóa luận một cách tốt nhất. Em cũng muốn cảm ơn tất cả các công ty và nhà phát triển cung cấp các dịch vụ miễn phí cũng như các thư viện và dự án mã nguồn mở.
Không có những công cụ và thư viện này khoá luận của em sẽ không thể hoàn thành được như bây giờ. Cuối cùng, em xin cảm ơn đến gia đình, những người luôn dành những sự động viên đến em trong suốt quá trình thực hiện khóa luận. MỤC LỤC 1 GIỚI THIỆU DE TÀI W+`aN® 1.1 Tổng quan để tài.1 Tinh hình ngành công nghiệp xe tự hành trên thế giới.2 Mục tiêu đề tài .Q Q Q ee 2 CƠ SỞ LÝ THUYET ĐỀ TÀI œ 2.1 Bài toán Phát hiện đốitượng .2 Bài toán Phân đoạn khu vực lá xe .3 Bài toán Phát hiện làn đường .4 Mô hình đa tác vụ.5 Các mô hình học sâu trên thiết bibién .- 13 3_ GIẢI PHÁP ĐỀ XUẤT 3.1 Mô hình Phát hiện đối tượng .2 Đề xuất dữ liệu huấn luyện. Phương pháp huấn luyện, đánh giá và so sánh các mô hình .2 Mô hình Phân đoạnngữngha .1 Chi tiết kiến trúc mô hình TwinLieNet.2 Chuẩn bi dữ liệu huấn luyện .23 Phương pháp huấn luyệnmôhình .3 Xử lý đồng thdidatécvu.1 Thiết kế kiến trúc phần mềm .2 Đánh giá trên thếtbjbiên.
4_ ĐÁNH GIÁ KET QUA THỰC NGHIỆM 35 4.1 Các mô hình Phát hiện đối tượng YOLO đề xuất .2 Độ chính xác trên tập dữ liệu mẫu .3 Đánh giá trên các thiét bibién .2 Mô hình phân đoạn ngữ nghĩa IwmnLiteNet.2 Tác vụ Phân đoạn khu vực lá .3 Tác vụ Phát hiện làn đường.4 Đánh giá trên các thiếtbjbiên. 50 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 53 5.1 Uuđiểmcủađềtài. 2ee 54 TÀI LIỆU THAM KHẢO. 55 DANH MUC HINH 11 Minh họa hệ thống tự lái trên xe Tesla[l] .2 Dich vụ Robotaxi ở Trung Quốc [2] .3 Minh họa việc ứng dụng học sâu vào hệ thống xe tự hành [3].4 Tổng quan kiến trúc mô hình tính toán song song .1 Phương pháp hai giai đoạn [4] .2 Phương pháp một giai đoạn [4].1 So sánh các phiên bản YOLO từ YOLOvS§ cho đến YOLOv8 [5] .2 Hình ảnh trong bộ dữ liệu MS COCO [6].3 Minh họa dữ liệu trong BDDI00K[_].4 Sự mất cân bằng giữa các loại đối tượng trong tập dữ liệu huấn luyện BDDI00K 19 3.5 Kiến trúc mô hình TwinLiteNet[S].6 Mô-dun ESP[9].7 Kiến trúc ESPNetC.8 Position Attention Module[l0].9 Channel Attention Module[l0].10 Khối decoder mô hình TwinLieNet[S8].11 Hai lớp đối tượng “Directly Drivable Area” (đỏ) và “Alternative Area” (xanh) Ea.12 Trước và sau khi áp dụng phương pháp đề xuất trên BDDIOOK .13 Kiến trúc phần mềm của hệ thống xử lý đồng thời.1 Biểu diễn kết quả dự đoán của các mô hình YOLO đè xuất ở điều kiện ban 4.2 Biểu diễn kết quả dự đoán của các mô hình YOLO đè xuất ở điều kiện ban dém.
Q Q Q Q Q HH ng kg kg vo 39 4.3 Biểu diễn kết quả dự đoán của TwinLiteNet ở điều kiện ban ngày.4 Biểu diễn kết quả dự đoán của TwinLiteNet ở điều kiện ban đêm.5 Biểu diễn kết qua dự đoán của TwinLiteNet ở điều kiện ban ngày.6 Biểu diễn kết quả dự đoán của TwinLiteNet ở điều kiện ban dém.7 Triển khai TwinLiteNet trên các thiết bịbiên.8 Năng lượng và nhiệt độ trên TX2 và Xavier khi triển khai TwinLieNet.9 Sự chiếm dụng GPU khi xử lý tuần tự và xử lý đồng thời trên Jetson TX2. 52 DANH MUC BANG 11 Kết quả mục tiêu dé tai trong ngữ cảnh xetuhanh .1 Kết quả các mô hình YOLOv7 trên tập dit liệu MS COCO [ii] .2 Kết quả các mô hình YOLOv8 trên tập dữ liệu MS COCO [5].3 So sánh các bộ dữ liệu về làn đường [7] .1 Kết quả đo đạc chi phí tính toán của các mô hình YOLO dé xuất .2 So sánh độ chính xác của các mô hình YOLO ở các độ phân giải khác nhau.3 So sánh độ trễ suy luận của các mô hình YOLO đề xuất.4 So sánh độ trễ và năng lượng tiêu thụ của các mô hình YOLO dé xuất.5 Kết quả đánh giá chi phí tính toán mô hình TwinLiteNet.6 Kết quả đánh giá tác vụ Phân đoạn khu vực lái xe mô hình TwinLiteNet.7 Kết quả đánh giá tác vụ Phát hiện làn đường mô hình TwinLiteNet.8 Đánh giá hệ thống khi xử lý tuần tự và xử lý đồng thời trên thiết bị biên DANH MỤC TU VIET TAT Al Artificial Intelligence BDD100K Berkeley Deep Drive 100K CNN Convolutional Neural Networks CAM Channel Attention Module DAM Dual Attention Modules E-ELAN Extended Efficient Layer Aggrega- tion Network ESP Efficient Spatial Pyramid FPS Frame Per Second FLOPs Floating Point Operation Per second IoU Intersection over Union mAP Mean Average Precision mloU Mean Intersection over Union PAM Position Attention Module SOTA State Of The Art SSD Single Shot Multibox Detector YOLO You Only Look Once TÓM TẮT KHÓA LUẬN Khóa luận này tập trung vào việc nghiên cứu và phát triển các mô hình học sâu thời gian thực để giải quyết các bài toán liên quan đến xe tự hành, bao gồm Phát hiện đối tượng, Phân đoạn khu vực lái xe va Phát hiện làn đường. Cac mô hình YOLOv7-tiny, YOLOv8n, YOLOv8s đã được lựa chọn cho bài toán Phát hiện đối tượng, trong khi mô hình TwinLiteNet được nhóm phát triển cho hai bài toán Phân đoạn khu vực lái xe và Phát hiện làn đường. Tat cả các mô hình này đều được cải tiến và đánh giá toàn diện trên tập dữ liệu BDD100K.
Kết quả thực nghiệm cho thấy các mô hình đề xuất đạt được kết quả tốt về độ chính xác, tốc độ xử lý và mức tiêu thụ năng lượng trên các thiết bị biên như Jetson TX2 và Jetson Xavier. Cụ thể, trên NVIDIA GeForce RTX A5000 GPU, mô hình YOLOv7-tiny đạt độ chính xác 56.7% mAP và tốc độ xử lý 249 FPS, YOLOv8n dat 37.3% mAP và 947 FPS, YOLOv8s đạt 44.9% mAP và 554 FPS. Mô hình TwinLiteNet với thiết kế gọn nhẹ chỉ với 0.4 triệu tham số đã thể hiện khả năng vượt trội trong việc cân bằng giữa độ chính xác và tốc độ xử lý. TwinLiteNet đạt độ chính xác 91.3% mloU trong tác vụ Phân đoạn khu vực lái xe và 31.08% IoU trong tác vụ Phát hiện làn đường, với tốc độ xử lý lên đến 60 FPS trên Jetson Xavier.
Bên cạnh đó, dé tài cũng đã dé xuất và triển khai thành công phương pháp xử lý đồng thời đa tác vụ, giúp giảm thiểu độ trễ 1.6ms trên Xavier, từ 163.6ms trên TX2) và tối ưu hóa việc sử dung tài nguyên GPU trên các thiết bị biên. Phương pháp này mở ra hướng tiếp cận mới trong việc xây dựng các hệ thống xe tự hành hiệu quả và đáng tin cậy hơn. GIỚI THIỆU ĐỀ TÀI 1.1 Tổng quan đề tài 1.1 Tình hình ngành công nghiệp xe tự hành trên thé giới Công nghệ xe tự hành đang ngày càng phát triển mạnh mẽ và trở nên thịnh hành hơn khi thị trường đòi hỏi những đột phá để mở ra kỷ nguyên mới cho ngành công nghiệp tự động hóa. Các quốc gia dẫn đầu về công nghệ như Mỹ, Anh, Nhật Bản và Trung Quốc đều đang đẩy mạnh việc nghiên cứu và phát triển xe tự hành, cùng với việc thiết lập các chính sách hỗ trợ và mở cửa cho việc thử nghiệm và triển khai các mẫu xe tự hành mới.
LEFT REARWARD VEHICLE CAMERA MEDIUM RANGE VEHICLE CAMERA Hình 1.1: Minh họa hệ thống tự lái trên xe Tesla [1] Tại Mỹ, các công ty như Tesla, Waymo và Uber đang dẫn đầu trong việc phát triển và thử nghiệm các công nghệ xe tự hành tiên tiến. Như được minh họa trong Hình 1.1, Tesla với các mẫu xe có khả năng tự hành đã trở nên quen thuộc trên đường phố. Trong khi Waymo, một công ty con của Alphabet, đã triển khai dịch vụ taxi tự hành tại một số khu vực. Các tiểu bang như California và Arizona đã thiết lập các khu vực thử nghiệm rộng lớn, cho phép các 2 công ty công nghệ thực hiện hàng ngàn giờ lái thử nghiệm, thu thập dữ liệu quý giá để cải thiện các hệ thống tự động.
Anh cũng không nằm ngoài cuộc đua công nghệ này khi chính phủ đã đưa ra các chính sách khuyến khích và đầu tư hàng tỷ bảng vào nghiên cứu và phát triển công nghệ xe tự hành. Các dự án thử nghiệm tại London và Milton Keynes đang giúp thu thập dif liệu thực tiễn để hoàn thiện công nghệ. Anh đặt mục tiêu trở thành một trong những quốc gia hàng đầu về xe tự hành vào năm 2025, với sự hợp tác giữa các cơ quan chính phủ và các công ty tư nhân. Nhật Bản, nổi tiếng với sự tiên tiến trong công nghệ, đang nỗ lực phát triển các hệ thống xe tự hành để giải quyết các van dé về giao thông và dân số già.
Các công ty như Toyota và Nissan đang thử nghiệm các mẫu xe tự hành với độ tin cậy cao, hướng tới việc triển khai rộng rãi vào Thế vận hội Tokyo. Nhật Bản đặc biệt chú trọng đến việc đảm bảo an toàn và hiệu quả của các hệ thống tự hành, đồng thời phát triển cơ sở hạ tầng phù hợp để hỗ trợ công nghệ này.