Mô Hình Xe Tự Hành SV2020-152: Nghiên Cứu Khoa Học Của Sinh Viên Trường ĐH Sư Phạm Kỹ Thuật TP.HCM

Khám phá đề tài mô hình xe tự hành, công nghệ tiên tiến và ứng dụng trong giao thông, mang lại tiềm năng phát triển lớn cho tương lai.

• Tác giả: Huỳnh Viát C°íng
• Người hướng dẫn: TS. Māc tiêu
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Mô Hình Xe Tự Hành SV2020-152
• Loại tài liệu: Công Trình Nghiên Cứu Khoa Học
• Năm xuất bản: 2020
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. ĐẶT VẤN ĐỀ
• 1.2. THÁCH THỨC VÀ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN PHÁT HIỆN BIỂN BÁO
• 1.3. LÝ DO CHẠN ĐÀ TÀI
• 1.4. MỤC TIÊU
• 1.5. PHƯƠNG PHÁP, ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.6. BỐ CỤC BÁO CÁO
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. THƯ VIỆN PYTORCH
• 2.2. CÁC KHÁI NIỆM CƠ BẢN TRONG XỬ LÝ ẢNH
• 3. CHƯƠNG 3: GIỚI THIỆU VÀ PHÂN CẤNG
• 3.1. TỔNG QUAN PHÂN CẤNG
• 3.2. CHI TIẾT PHÂN CẤNG
• 3.3. TỔNG QUAN VỀ XE TRAXXAS DESERT
• 3.4. CÁC THIẾT BỊ TRÊN XE
• 3.5. TỔNG QUAN VỀ MẠCH ADAPTER CDS TX2
• 4. CHƯƠNG 4: THIẾT KẾ PHẦN MỀM
• 4.1. TỔNG QUAN PHƯƠNG PHÁP
• 5. CHƯƠNG 5: KẾT QUẢ THỰC HIỆN, SO SÁNH VÀ ĐÁNH GIÁ
• 5.1. MÔI TRƯỜNG THỰC NGHIỆM
• 5.2. KỸ THUẬT HUẤN LUYỆN MẠNG VÀ THIẾT LẬP THÔNG SỐ
• 5.3. MÔI TRƯỜNG MÔ PHỎNG
• 5.4. MÔI TRƯỜNG THỰC TẾ
• 5.5. SO SÁNH VÀ ĐÁNH GIÁ
• 5.6. CÁC PHƯƠNG PHÁP ĐÁNH GIÁ KẾT QUẢ
• 5.7. KẾT QUẢ ON-ROAD
• 5.8. KẾT QUẢ OFF-ROAD
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Dự Án Xe Tự Hành SV2020 152 Từ SVSPKT

Dự án Mô hình xe tự hành SV2020-152 là một công trình nghiên cứu khoa học sinh viên đầy tiềm năng, đến từ ĐH Sư Phạm Kỹ Thuật TP.HCM. Dự án này thể hiện sự sáng tạo và khả năng ứng dụng kiến thức của sinh viên trong lĩnh vực công nghệ xe tự hành, một lĩnh vực đang phát triển mạnh mẽ trên toàn cầu. Mục tiêu chính của dự án là nghiên cứu và phát triển các chức năng hỗ trợ người lái (ADAS) cho xe tự hành, từ đó nâng cao an toàn và tiện nghi khi tham gia giao thông. Các chức năng quan trọng như nhận diện làn đường, biển báo giao thông, và phát hiện vật cản được tập trung phát triển. Dự án tận dụng lợi thế của cả phương pháp xử lý ảnh truyền thống và học sâu, nhằm đạt được hiệu quả cao nhất trong điều kiện phần cứng hạn chế. Theo báo cáo tổng kết, nhóm nghiên cứu đã đạt được những kết quả đáng khích lệ trong cả môi trường mô phỏng và thực tế. Điều này cho thấy tiềm năng ứng dụng thực tiễn của dự án trong tương lai.

1.1. Mục tiêu và Phạm vi Nghiên cứu Xe Tự Hành SV2020 152

Dự án tập trung vào xây dựng thuật toán và mô hình xe tự hành có khả năng nhận diện làn đường, biển báo và vật cản trong cả môi trường mô phỏng và sa hình thực tế. Phạm vi nghiên cứu giới hạn ở phát triển phần mềm trên board Jetson TX2. Các thuật toán được đánh giá trong môi trường mô phỏng Unity và sa hình nhỏ mô phỏng giao thông thực tế. Mục tiêu cuối cùng là tạo ra một hệ thống xe tự hành mini, hoạt động ổn định và hiệu quả trong các điều kiện khác nhau. Nhóm nghiên cứu hy vọng, mô hình này sẽ là tiền đề để phát triển hoàn chỉnh và cải thiện hệ thống xe tự hành trong tương lai.

1.2. Tính Mới và Sáng Tạo của Nghiên cứu SVSPKT

Điểm nổi bật của dự án là sự kết hợp giữa xử lý ảnh truyền thống và học sâu. Điều này giúp tận dụng ưu điểm của từng phương pháp, tạo ra thuật toán chính xác và đáp ứng thời gian thực. Việc huấn luyện mạng với dữ liệu thực tế và tổng hợp giúp cải thiện khả năng nhận diện trong nhiều điều kiện khác nhau. Theo đánh giá của người hướng dẫn, dự án đã xây dựng thành công một hệ thống nhận diện biển báo, làn đường và vật cản sử dụng camera, cho phép xe mô hình hoàn toàn tự lái trong sa hình.

1.3. Đóng góp Giáo dục Kinh tế Xã hội từ Nghiên cứu

Dự án đóng góp vào lĩnh vực giáo dục và xã hội bằng cách nghiên cứu và phát triển các thuật toán hiện đại cho xe tự hành. Đặc biệt, dự án tập trung vào thị giác máy tính, máy học và học sâu trong trí tuệ nhân tạo. Mô hình là tiền đề để phát triển và cải thiện hệ thống xe tự hành sau này. Kết quả nghiên cứu được chấp nhận công bố trong hội nghị khoa học IEEE Xplore. Đây là minh chứng cho chất lượng và giá trị khoa học của dự án.

II. Thách Thức và Giải Pháp trong Phát Triển Xe Tự Hành

Phát triển xe tự hành đặt ra nhiều thách thức lớn, từ kỹ thuật đến pháp lý và đạo đức. Các vấn đề như độ chính xác trong nhận diện, khả năng phản ứng nhanh chóng trong tình huống khẩn cấp, và đảm bảo an toàn cho người tham gia giao thông luôn được đặt lên hàng đầu. Trong nghiên cứu khoa học sinh viên này, nhóm tập trung vào giải quyết các vấn đề liên quan đến nhận diện môi trường xung quanh xe, bao gồm làn đường, biển báo và vật cản. Nhóm đã phải đối mặt với các thách thức như điều kiện ánh sáng thay đổi, góc nhìn khác nhau, và sự phức tạp của môi trường giao thông thực tế. Để vượt qua những khó khăn này, nhóm đã áp dụng các kỹ thuật xử lý ảnh tiên tiến và thuật toán học sâu, kết hợp với việc thử nghiệm và đánh giá liên tục trên mô hình thực tế.

2.1. Vấn đề Nhận diện Làn đường và Vật cản LOD

Nhận diện làn đường và vật cản là bài toán quan trọng trong công nghệ xe tự hành. Các phương pháp LOD truyền thống thường tập trung vào các trường hợp đơn giản trên đường cao tốc. Tuy nhiên, môi trường giao thông thực tế phức tạp hơn nhiều, với đường cong, vật cản, bóng cây và bóng xe. Do đó, cần có phương pháp mạnh mẽ hơn để giải quyết các thách thức này. Nghiên cứu sử dụng mạng deep learning-based segmentation để biểu diễn phân đoạn làn đường, cải thiện khả năng xử lý trong môi trường phức tạp.

2.2. Thách Thức Phát Hiện Biển Báo Giao Thông Chính Xác

Phát hiện biển báo giao thông là một nhiệm vụ quan trọng khác trong xe tự hành. Các thuật toán dựa trên học sâu cho hiệu suất tốt, nhưng thường rất nặng và không phù hợp cho các hệ thống yêu cầu thời gian thực. Do đó, cần tận dụng ưu điểm của từng phương pháp và thiết kế lại hệ thống để phù hợp với phần cứng giới hạn. Bài toán phát hiện vật thể được chia thành xác định tọa độ và phân loại vật thể. SSD (Single Shot Multi-box Detector) cho thấy khả năng mạnh mẽ trong việc giải quyết hầu hết các vấn đề và phát hiện vật thể ở nhiều kích thước khác nhau.

2.3. Giới hạn Về Phần cứng và Yêu cầu Tính toán Cao

Một trong những khó khăn lớn nhất là việc triển khai các thuật toán phức tạp trên phần cứng nhúng có giới hạn về tài nguyên tính toán. Các thuật toán học sâu thường đòi hỏi sức mạnh tính toán lớn, điều này gây khó khăn cho việc triển khai trên các thiết bị như NVIDIA Jetson TX2. Để giải quyết vấn đề này, nhóm đã tập trung vào việc tối ưu hóa thuật toán và sử dụng các kỹ thuật giảm kích thước mô hình, nhằm giảm thiểu yêu cầu tính toán mà vẫn đảm bảo độ chính xác và tốc độ xử lý.

III. Phương Pháp Xử Lý Ảnh và Học Sâu Cho Xe Tự Hành

Dự án Xe tự hành SV2020-152 kết hợp hai hướng chính trong phát triển hệ thống ADAS: xử lý ảnh và học sâu. Phương pháp xử lý ảnh nhanh nhưng chỉ phù hợp môi trường đơn giản. Học sâu giải quyết vấn đề phức tạp, nhưng tốc độ phụ thuộc vào phần cứng và thuật toán. Hơn nữa, phương pháp học sâu cần nhiều dữ liệu được dán nhãn, tốn thời gian và công sức. Vì vậy nhóm đã quyết định kết hợp hai phương pháp để tận dụng ưu điểm của từng phương pháp, tạo ra một hệ thống hiệu quả. Việc kết hợp này cho phép hệ thống xử lý thông tin nhanh chóng và chính xác, đồng thời có khả năng thích ứng với các điều kiện môi trường khác nhau.

3.1. Ứng Dụng Thư viện PyTorch cho Học Sâu trong Dự án

PyTorch là thư viện Python, hỗ trợ tạo mô hình học sâu. PyTorch tập trung vào tính dễ sử dụng, người dùng có kiến thức lập trình cơ bản cũng có thể sử dụng. Cấu trúc dữ liệu cốt lõi là Tensor, tương tự như numpy array. PyTorch cung cấp các mô-đun như Dataset, DataLoader, torch.nn, torch.autograd để hỗ trợ xây dựng, huấn luyện và triển khai mô hình học sâu.

3.2. Kỹ thuật Xử lý Ảnh Cơ Bản để Nhận Diện Môi Trường

Xử lý ảnh là nền tảng của thị giác máy tính, cho phép máy tính "nhìn" và hiểu được hình ảnh. Ảnh số là tập hợp các điểm ảnh (pixel), mỗi pixel biểu diễn một màu sắc. Bằng cách đo lường và thống kê các điểm ảnh, có thể tái cấu trúc ảnh. Ảnh được biểu diễn dưới dạng ma trận hai chiều. Có hai dạng ảnh quan trọng là ảnh màu và ảnh đen trắng. Các kỹ thuật xử lý ảnh như lọc, tách biên, và biến đổi Hough được sử dụng để trích xuất thông tin quan trọng từ ảnh đầu vào.

3.3. Thuật Toán PID Proportional Integral Derivative để Điều khiển Xe

Thuật toán PID là một phương pháp điều khiển phản hồi được sử dụng rộng rãi trong các hệ thống tự động. Trong xe tự hành, thuật toán PID được sử dụng để điều khiển hướng và tốc độ của xe. Thuật toán PID tính toán sai lệch giữa giá trị mong muốn và giá trị thực tế, sau đó điều chỉnh đầu ra để giảm thiểu sai lệch này. Các tham số P, I, và D được điều chỉnh để đạt được hiệu suất điều khiển tối ưu.

IV. Thiết Kế Phần Mềm cho Mô Hình Xe Tự Hành SV2020 152

Thiết kế phần mềm là yếu tố then chốt trong việc xây dựng mô hình xe tự hành hoạt động hiệu quả. Phần mềm phải có khả năng xử lý thông tin từ các cảm biến, đưa ra quyết định điều khiển và giao tiếp với hệ thống phần cứng. Trong dự án này, nhóm đã xây dựng một kiến trúc phần mềm module hóa, cho phép dễ dàng mở rộng và nâng cấp. Các module chính bao gồm nhận diện làn đường, phát hiện biển báo, phát hiện vật cản, điều khiển xe và giao tiếp với phần cứng. Việc sử dụng ROS (Robot Operating System) giúp tích hợp các module này một cách dễ dàng và hiệu quả.

4.1. Kiến Trúc Tổng Quan Phần Mềm Điều Khiển Xe Tự Hành

Kiến trúc phần mềm được xây dựng theo hướng module hóa, cho phép dễ dàng phát triển và bảo trì. Các module chính bao gồm cảm biến, nhận thức, lập kế hoạch và điều khiển. Module cảm biến thu thập dữ liệu từ camera và các cảm biến khác. Module nhận thức xử lý dữ liệu cảm biến để nhận diện môi trường xung quanh. Module lập kế hoạch tạo ra các đường đi và hành động. Module điều khiển thực thi các hành động để điều khiển xe.

4.2. Chi Tiết Thuật Toán Nhận Diện Làn Đường và Vật cản

Thuật toán nhận diện làn đường sử dụng các kỹ thuật xử lý ảnh để phát hiện và theo dõi làn đường. Các bước chính bao gồm lọc nhiễu, tách biên, và biến đổi Hough. Thuật toán phát hiện vật cản sử dụng mô hình học sâu để nhận diện và phân loại các vật thể trên đường. Cả hai thuật toán đều được tối ưu hóa để hoạt động hiệu quả trên phần cứng nhúng.

4.3. Giải Thuật Phát Hiện Biển Báo Giao Thông Tự Động

Giải thuật phát hiện biển báo giao thông sử dụng mô hình học sâu để nhận diện và phân loại các biển báo. Các bước chính bao gồm phát hiện vùng chứa biển báo, trích xuất đặc trưng và phân loại. Đặc trưng HOG (Histogram of Oriented Gradients) được sử dụng để biểu diễn biển báo. Mô hình được huấn luyện trên tập dữ liệu lớn các biển báo giao thông.

V. Kết Quả Thực Nghiệm và Đánh Giá Mô Hình SV2020 152

Kết quả thực nghiệm là yếu tố quan trọng để đánh giá hiệu quả của mô hình xe tự hành. Nhóm đã tiến hành các thử nghiệm trong cả môi trường mô phỏng và thực tế, với các điều kiện khác nhau. Các chỉ số đánh giá bao gồm độ chính xác trong nhận diện, tốc độ xử lý và khả năng điều khiển xe. Kết quả cho thấy mô hình hoạt động khá tốt trong môi trường mô phỏng, nhưng còn gặp một số khó khăn trong môi trường thực tế do các yếu tố như ánh sáng, thời tiết và độ phức tạp của môi trường. Tuy nhiên, những kết quả ban đầu này là tiền đề quan trọng để nhóm tiếp tục nghiên cứu và cải thiện mô hình.

5.1. Môi Trường Thử Nghiệm và Thiết Lập Thông Số Ban Đầu

Các thử nghiệm được tiến hành trong môi trường mô phỏng Unity và sa hình thực tế. Trong môi trường Unity, xe tự hành được thử nghiệm trong các kịch bản khác nhau. Trong sa hình thực tế, xe tự hành được thử nghiệm trong các điều kiện giao thông khác nhau. Các thông số như tốc độ, gia tốc, và góc lái được thiết lập ban đầu để đảm bảo an toàn và hiệu quả.

5.2. So Sánh và Đánh Giá Hiệu Suất trong Các Môi Trường

Hiệu suất của xe tự hành được đánh giá trong cả môi trường mô phỏng và thực tế. Các chỉ số đánh giá bao gồm độ chính xác, tốc độ, và độ ổn định. Kết quả cho thấy xe tự hành hoạt động tốt trong môi trường mô phỏng, nhưng gặp một số khó khăn trong môi trường thực tế do nhiễu và sự phức tạp của môi trường. Nhóm đã tiến hành so sánh hiệu suất của các thuật toán khác nhau để lựa chọn thuật toán tốt nhất.

5.3. Ma Trận Tương Quan và Phân Loại Kết Quả Thực Nghiệm

Ma trận tương quan được sử dụng để phân tích mối quan hệ giữa các biến. Phân loại kết quả thực nghiệm được sử dụng để đánh giá độ chính xác của các thuật toán. Các kết quả được phân loại thành đúng, sai, và không xác định. Độ chính xác được tính bằng tỷ lệ giữa số kết quả đúng và tổng số kết quả. Ma trận nhầm lẫn được sử dụng để phân tích các lỗi phân loại.

VI. Kết Luận và Hướng Phát Triển Nghiên Cứu Xe Tự Hành

Dự án Mô hình xe tự hành SV2020-152 đã đạt được những kết quả đáng khích lệ, chứng minh khả năng ứng dụng kiến thức của sinh viên vào thực tiễn. Mô hình đã thể hiện khả năng nhận diện làn đường, biển báo và vật cản trong cả môi trường mô phỏng và thực tế. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết để nâng cao hiệu quả và độ tin cậy của mô hình. Trong tương lai, nhóm sẽ tập trung vào việc cải thiện thuật toán, tối ưu hóa phần cứng và mở rộng phạm vi ứng dụng của mô hình. Dự án này là một bước tiến quan trọng trong việc phát triển công nghệ xe tự hành tại Việt Nam, góp phần vào sự phát triển của ngành công nghiệp ô tô thông minh.

6.1. Tóm Tắt Kết Quả Nghiên Cứu và Các Đóng Góp Chính

Dự án đã xây dựng thành công thuật toán nhận diện làn đường, vật thể, và biển báo giao thông. Mô hình có khả năng chạy trên Jetson TX2. Thuật toán hoạt động trong môi trường mô phỏng. Dự án đóng góp vào việc nghiên cứu các thuật toán xe tự hành, đặc biệt là trong lĩnh vực thị giác máy tính, máy học và học sâu. Kết quả nghiên cứu đã được công bố trong hội nghị khoa học IEEE Xplore.

6.2. Hướng Phát Triển Tiếp Theo Cho Dự Án Xe Tự Hành

Hướng phát triển tiếp theo bao gồm cải thiện độ chính xác và tốc độ của các thuật toán. Tối ưu hóa phần cứng để giảm thiểu yêu cầu tính toán. Mở rộng phạm vi ứng dụng của mô hình. Nghiên cứu các thuật toán mới để giải quyết các thách thức mới. Phát triển hệ thống điều khiển xe tự động hoàn chỉnh.

6.3. Ứng Dụng IoT Internet of Things trong Xe Tự Hành

IoT có thể được ứng dụng để kết nối xe tự hành với các thiết bị và hệ thống khác, tạo ra một hệ sinh thái giao thông thông minh. Các ứng dụng tiềm năng bao gồm chia sẻ thông tin giao thông, quản lý giao thông, và bảo trì xe từ xa. Ứng dụng IoT giúp nâng cao hiệu quả, an toàn và tiện nghi cho người tham gia giao thông.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN MÔ HÌNH XE TỰ HÀNH S K C 0 0 3 9 5 9 Mà SỐ: SV2020-152 S KC 0 0 7 3 6 9 Tp. Hồ Chí Minh, tháng 07/2020 Bè GIÁO DĀC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TâNG K¾T ĐÀ TÀI NGHIÊN CĄU KHOA HàC CĂA SINH VIÊN MÔ HÌNH XE TỰ HÀNH SV2020 - 152 Chă nhißm đÁ tài: Huỳnh Vißt C°ãng 16119015 TP Há Chí Minh, 07/2020 Bè GIÁO DĀC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TâNG K¾T ĐÀ TÀI NGHIÊN CĄU KHOA HàC CĂA SINH VIÊN MÔ HÌNH XE TỰ HÀNH SV2020 - 152 Thuéc nhóm ngành khoa học: Kỹ thuÁt SV thčc hián: Huỳnh Viát C°íng Nam, Nċ: Nam Dân téc: Kinh Lëp, khoa: 16119CLC 3 Đào t¿o ChÃt L°ÿng Cao Năm thą 4/Sá năm đào t¿o: 4 Ngành học: Công nghá kỹ thuÁt máy tính Ng°íi h°ëng d¿n: TS.TrÅn Vũ Hoàng TP Há Chí Minh, 07/2020 i MĀC LĀC MĀC LĀC. i DANH MĀC CÁC HÌNH ÀNH, BIÄU Đâ. iv DANH MĀC CÁC BÀNG BIÄU.

vi DANH MĀC CÁC TĆ VIÀT TÂT. viii CH¯¡NG 1: Mî ĐÄU. LÝ DO CHàN ĐÀ TÀI. PH¯¡NG PHÁP, ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU.5 CH¯¡NG 2: C¡ Sî LÝ THUYÀT.

TH¯ VIàN PYTORCH. Các khái niám c¢ bÁn trong xā lý Ánh. Bài toán phát hián v¿t thà (Object Detection). Ph°¢ng pháp tái °u.

GIÀI THU¾T ĐIÀU KHIÂN PID .20 CH¯¡NG 3 : GIêI THIàU V PHÄN CĄNG. TàNG QUAN PHÄN CĆNG. CHI TI¾T PHÄN CĆNG. Táng quan vÁ xe Traxxas Desert.

Các thi¿t bß trên xe. Táng quang vÁ m¿ch adapter CDS TX2 .31 CH¯¡NG 4: THIÀT KÀ PHÄN MÂM. Táng quan ph°¢ng pháp .44 CH¯¡NG 5: KÀT QUÀ THČC HIàN, SO SÁNH VÀ ĐÁNH GIÁ. Môi tr°éng thąc nghiám.

KỸ THU¾T HUÂN LUYàN M¾NG VÀ THI¾T L¾P THÔNG Sà. Môi tr°éng mô phßng. Môi tr°éng thąc t¿. SO SÁNH VÀ ĐÁNH GIÁ.

Các ph°¢ng pháp đánh giá k¿t quÁ. K¿t quÁ On-road. K¿t quÁ Off-road .60 CH¯¡NG 6: KÀT LUÀN VÀ H¯êNG PHÁT TRIÄN. H¯æNG PHÁT TRIÂN .65 TÀI LIàU THAM KHÀO .66 DANH MĀC CÁC HÌNH ÀNH, BIÂU Đà Hình 1.1 Há tháng hç trÿ ng°íi lái (ADAS).

3 Hình tách biên sĉ dāng Canny. 5 Ánh x¿ đ°íng thẳng tć không gian Ánh sang không gian Hough. 6 KiÁn trúc m¿ng CNN. 7 Ví dā minh họa và phân đo¿n ngċ nghĩa.

8 KiÁn trúc căa SSD. 9 Ąng dāng căa Mobilenet trên thiÁt bị thông minh. 10 KiÁn trúc m¿ng mobilenet version 1. 11 KiÁn trúc m¿ng Moblilenet version 2.

12 KiÁn trúc căa RFB. 1 Tång quan phÅn cąng. 2 Xe RC 1/7 Traxxas Desert. 4 Đéng c¢ không chåi than.

5 Bé xĉ lý trung tâm NVIDIA Jetson TX2. 6 CÁm biÁn khoÁng cách. 10 M¿ch chuyÅn đåi CDD. 11 S¢ đã kÁt nái m¿ch chuyÅn đåi vëi thiÁt bị ngo¿i vi.

12 Mô hình xe thčc tÁ. 13 NVIDIA Jetson TX2 gÃn m¿ch chuyÅn đåi và các kÁt nái. 1 S¢ đã tång quan ph°¢ng pháp .Error! Bookmark not defined. 2 Tång quan qui trình xĉ lý On-road.Error! Bookmark not defined.

3 KiÁn trúc m¿ng đà xuÃt cho xĉ lý On-road. 4 Ph°¢ng pháp phát hián làn đ°íng. 5 Xác định cām dča trên miÃn Hough. 7 S¢ đã chi tiÁt thuÁt toán phát hián vÁt cÁn.

8 S¢ đã ph°¢ng pháp nhÁn dián biÅn báo. 9 KiÁn trúc thuÁt toán phát hián vị trí biÅn báo. 10 Đặc tr°ng HOG đ°ÿc biÅu dißn bằng t-SNE. 11 Áp dāng kỹ thuÁt PID ch¿y bám làn đ°íng.

13 L°u đã giÁi thuÁt điÃu khiÅn. 1 Môi tr°íng Áo dùng phÅn mÃm UNITY. 2 Môi tr°íng thčc tÁ tč t¿o. 3 Ành thu đ°ÿc tć camera.

4 Các lo¿i biÅn báo giao thông. 5 KÁt quÁ trong môi tr°íng mô phßng. 6 KÁt quÁ trong môi tr°íng mô phßng. 7 KÁt quÁ trong môi tr°íng thčc tÁ ngoài cuéc sáng (dċ liáu lÃy ra tć video) 53 Hình 5.8 KÁt quÁ trong môi tr°íng thčc tÁ (Ành lÃy tć mô hình xe) .9 KÁt quÁ nhÁn dián làn đ°íng (1) .10 KÁt quÁ nhÁn dián làn đ°íng (2) .11 KÁt quÁ nhÁn dián làn đ°íng (3) .12 KÁt quÁ nhÁn dián làn đ°íng (4).

13 Ví dā cho ma trÁn t°¢ng quan. 14 KÁt quÁ phân lo¿i. 23 (a) KÁt quÁ trong điÃu kián ánh sáng thÃp. (b) KÁt quÁ trong điÃu kián ánh sáng cao .61 DANH MĀC CÁC BÀNG BIÂU BÁng 1.

1 THÁCH THĄC VÀ PH¯¡NG PHÁP GIÀI QUYÀT BÀI TOÁN PHÁT HIàN BIÄN BÁO. 1 HIàU SUÂT QUÁ TRÌNH PHÂN ĐO¾N. 2 Sà PHÄN TĈ ĐIÄM NäI VÀ TàC Đè FPS. 3 BÀNG SO SÁNH GIĊA MÔ-ĐUN CÀI TIÀN VêI SKIPNET.

4 HIàU SUÂT CĂA PHÁT HIàN LÀN Đ¯ìNG VêI NHĊNG KHOÀNG CÁCH KHÁC NHAU. 5 FPS CĂA MæI CÔNG VIàC TRONG OFF-ROAD. 6 ĐÁNH GIÁ KÀT QUÀ PHÁT HIàN BIÄN BÁO TRONG CÁC LAANFN CH¾Y THĈU NGHIàM KHÁC NHAU.61 DANH MĀC CÁC TĆ VI¾T TÂT Tć vi¿t tÃt Tên đ¿y đă ADAS Advanced Driver Assistance Systems TSR Traffic Sign Detection LOD Lane and Obstacle Detection SSD Single Shot Multi-box Detector RFB Receptive Field Block SVM Support Vector Machine FPS Frames per second FLOPS Floating point operations per second HOG Histogram of Oriented Gradients GPU Graphics Processing Unit CUDA Central Processing Unit Bè GIÁO DĀC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM THÔNG TIN K¾T QUÀ NGHIÊN CĄU CĂA ĐÀ TÀI 1. Thông tin chung: - Tên đà tài: Mô hình xe t± hành - Chă nhiám đà tài: Huỳnh Viát C°íng Mã sá SV: 16119003 - Lëp: 16119CLC Khoa: Đào t¿o chÃt l°ÿng cao - Thành viên đà tài: Stt Há và tên MSSV Láp Khoa 1 Huỳnh Viát C°íng 16119003 16119CLC Đào t¿o chÃt l°ÿng cao 2 L°u V¿n Tín 16119048 16119CLC Đào t¿o chÃt l°ÿng cao 3 Nguyßn Đình V°¢ng 16119056 16119CLC Đào t¿o chÃt l°ÿng cao - Ng°íi h°ëng d¿n: TS.

Māc tiêu đÁ tài: Nghiên cąu và phát triÅn các chąc năng trong há tháng hç trÿ ng°íi lái căa xe tč hành. Ąng dāng lý thuyÁt đ°ÿc học và tìm hiÅu đÅ nhÁn dián làn đ°íng và biÅn báo giao thông trên đ°íng đãng thíi phát hián vÁt cÁng trên đ°íng. ThiÁt kÁ thuÁt toán nhÁn dián làn đ°íng và biÅn báo trong môi tr°íng mô phßng. Mô hình xe tč hành có khÁ năng nhÁn dián làn đ°íng và biÅn báo trong môi tr°íng thčc tÁ.

Đãng thíi phát hián ch°ëng ng¿i vÁt phía tr°ëc. Tính mái và sáng t¿o: Bài viÁt tÁn dāng °u điÅm căa xĉ lý Ánh truyÃn tháng kÁt hÿp vëi các mo-dun học sâu đÅ huÃn luyán m¿ng vća chính xác vća cÁi thián khÁ năng đáp ąng thíi gian thčc cho xe mô hình. K¿t quÁ nghiên cąu: ThuÁt toán nhÁn dián làn đ°íng. ThuÁt toán nhÁn dián vÁt thÅ, ch°ëng ng¿i.

ThuÁt phát phá hián biÅn báo giao thông. Ch¿y nên tÁng ROS trên Jetson TX2. Ch¿y thuÁt toán trên môi tr°íng mô phßng. Giao tiÁp ngo¿i vi vëi Jetson TX2.

Đóng góp vÁ m¿t giáo dāc và đào t¿o, kinh t¿ - xã hßi, an ninh, qußc phòng và khÁ năng áp dāng căa đÁ tài: Đß tài "Mô hình xe tự hành" sẽ đóng góp vß mặt giáo dục và xã hội. Đß tài nghiên cÿu vß các thuật toán hißn t¿i dành cho xe tự hành. Đặt bißt là các thuật toán vß lĩnh vực thß giác máy tính, máy hßc và hßc sâu trong trí tuß nhân t¿o. Bên c¿nh đó mô hình là tißn đß đß phát trißn hoàn chßnh và c¿i thißn hß thống xe tự hành sau này.

Công bß khoa hác căa SV tć k¿t quÁ nghiên cąu căa đÁ tài Đ°ÿc chÃp nhÁn công bá trong héi nghị khoa học tå chąc bïi IEEE Xplore. Paper ID: GTSD2020_78. Ngày tháng năm 2020 SV chßu trách nhißm chính thāc hißn đÁ tài (kí, há và tên) NhÁn xét căa ng°ãi h°áng d¿n vÁ nhÿng đóng góp khoa hác căa SV thāc hißn đÁ tài: Đà tài xây dčng hoàn thián mét tháng nhÁn dián biÅn báo, làn đ°íng và vÁt cÁn sĉ dāng camera, tć đó cho phép xe mô hình có thÅ hoàn toàn tč lái trong xa hình. Ngày tháng năm 2020 CH¯¡NG 1: Mä Đ¾U 1.

Đ¾T VÂN ĐÀ Xe tč hành đang là xu h°ëng căa thÁ giëi hián t¿i và cÁ trong t°¢ng lai, nó đang thu hút đ°ÿc nhiÃu sč quan tâm cÁ trong và ngoài n°ëc. Nó đã mï ra mét cuéc ch¿y đua công nghá cho các tÁp đoàn lën nh° Tesla, Argo AI, Baidu, & Dč kiÁn trong t°¢ng lai nó có thÅ thay thÁ hoàn toàn cho con ng°íi nhằm giÁm thiÅu tai n¿n đÁn tć nhċng vÃn đà chă quan căa ng°íi lái nh° mÃt tÁp trung, tÅm nhìn bị h¿n chÁ, & hoặc do nhċng vÃn đà khách quan nh° thíi tiÁt, điÃu kián ánh sáng, & Tuy nhiên đÅ đ¿t đ°ÿc mąc đé đó, các há tháng xe tč hành còn phÁi đ°ÿc nghiên cąu và phát triÅn h¢n nċa đÅ đÁm bÁo và tính ån định, thíi gian đáp ąng và đé chính xác trong nhiÃu điÃu kián làm viác khác nhau. Do đó, trong giai đo¿n hián t¿i, các nhà nghiên cąu đang chia nhß há tháng này ra thành các há tháng nhß vëi nhċng tính năng thiÁt yÁu nhằm hç trÿ ng°íi lái (ADAS). Các há tháng này góp phÅn t¿o môi tr°íng lái an toàn và thuÁn tián h¢n cho các tài xÁ.

Trong các há tháng này, viác nhÁn dián biÅn báo giao thông, phát hián làn đ°íng và các vÁt cÁn trên đ°íng đóng vai trò đặc biát quan trọng.1 Há tháng hã trā ng°éi lái (ADAS)  Tình hình nghiên cąu ngoài n°ác: Trên thÁ giëi, hÅu hÁt các ph°¢ng pháp giÁi quyÁt bài toán nhÁn dián làn đ°íng và phát hián vÁt cÁn trên đ°íng (LOD) [1-3] đÃu tÁp trung vào các tr°íng hÿp đ¢n giÁn trên đ°íng cao tác. GÅn đây, cũng có mét vài nghiên cąu [4-5] phát triÅn các thuÁt toán có thÅ giÁi quyÁt vÃn đà trên trong nhċng môi tr°íng phąc t¿o h¢n. Do đó, chúng phÁi đái mặt vëi nhiÃu thách thąc khó khăn h¢n. Đa sá nhċng thách thąc này đÁn tć nhißu căa khung cÁnh xung quanh làn đ°íng ví dā nh° đ°íng cong, vÁt cÁn, bóng cây hay thÁm chí là bóng căa các ph°¢ng tián giao thông trên đ°íng.

Vì vÁy, chúng ta cÅn mét ph°¢ng pháp hiáu quÁ và m¿nh m¿ h¢n đÅ giÁi quyÁt nhċng thĉ thách trên. Tác giÁ trong nghiên cąu [6] đã ąng dāng m¿ng <deep learning-based segmentation= đÅ biÅu dißn phân đo¿n làn. Nhċng nghiên cąu này cho thÃy tính hiáu quÁ trong viác giÁi quyÁt các vÃn đà nêu trên, cÅn ít khÁ năng tính toán và đ¿t đ°ÿc kÁt quÁ tát h¢n. Tuy nhiên, làn đ°íng nhÁn dián đ°ÿc l¿i bị gãy khúc thành nhċng phÅn không liên tāc.