Nhận diện làn đường xe tự lái bằng AI - Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh

LỜI CẢM ƠN

TÓM TẮT

MỤC LỤC

DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU

DANH MỤC CÁC HÌNH

DANH MỤC CÁC BẢNG

1. Lý do chọn đề tài

2. Mục tiêu nghiên cứu

2.1. Ứng dụng trí tuệ nhân tạo trong việc nhận diện làn đường

3. Nội dung nghiên cứu

4. Giới hạn đề tài

5. Phạm vi ứng dụng

6. Cơ sở lý thuyết về ảnh và xử lý ảnh

6.1. Cơ sở lý thuyết về ảnh

6.2. Điểm ảnh (Picture Element)

6.3. Độ phân giải của ảnh

6.4. Mức xám của ảnh

6.5. Không gian màu

6.6. Định nghĩa ảnh số

6.7. Ảnh trắng đen

6.8. Cơ sở lý thuyết về xử lý ảnh

6.9. Các bước cơ bản trong xử lý ảnh

6.10. Các thành phần cơ bản của hệ thống xử lý ảnh

6.11. Những vấn đề trong xử lý ảnh

6.12. Mạng nơron tích chập – Convolutional Neural Network (CNN)

6.13. Thị giác máy tính (Computer vision)

6.14. Mạng nơ ron tích chập (CNN hay ConvNet)

6.15. Lớp tích chập (Convolutional layer)

6.16. Đường viền phụ (Padding)

6.17. Nhân chập sải (strided convolutions)

6.18. Phép chập khối

6.19. Phép chập khối với một bộ lọc

6.20. Phép chập khối với nhiều bộ lọc

6.21. Mạng CNN một lớp

6.22. Mạng CNN đơn giản

6.23. Pooling theo giá trị cực đại (Max Pooling)

6.24. Pooling theo giá trị trung bình (Average Pooling)

6.25. Ví dụ một CNN nhận diện ra lane đường

6.26. Ưu điểm của CNN

7. SƠ LƯỢC PHẦN CỨNG VÀ PHẦN MỀM

7.1. Sơ lược về phần cứng

7.2. Xây dựng cấu hình máy tính phục vụ đồ án

7.3. Lựa chọn camera

7.4. Sơ lược về phần mềm

7.5. Hệ điều hành Ubuntu

7.6. Một số thư viện sử dụng trong đồ án

8. CHƯƠNG TRÌNH ĐIỀU KHIỂN NHẬN DIỆN LÀN ĐƯỜNG

8.1. Sơ đồ tổng thể của hệ thống

8.2. Lựa chọn thuật toán học sâu cho việc nhận diện lane

8.3. Áp dụng thuật toán lanenet lane detection

8.4. Giới thiệu sơ lược về LaneNET

8.5. Áp dụng thuật toán

8.6. Nhận diện làn đường bằng giải thuật K – means Clustering

8.7. Lấy dữ liệu cho K - means từ Hough Transform

8.8. Ứng dụng Hough Transform trong OpenCV

8.9. Áp dụng giải thuật K – means Clustering

8.10. Giới thiệu về phân cụm dữ liệu bằng K – means

8.11. Giải thuật K – means

8.12. Các bước để ứng dụng K-means nhận diện lane

8.13. Theo dõi làn đường (tracking) bằng cách sử dụng Kalman filter

8.14. Giới thiệu Kalman filter

8.15. Các phương trình của Kalman filter

8.16. Ứng dụng Kalman fileter để tracking

9. THỰC NGHIỆM VÀ KẾT QUẢ THỰC NGHIỆM

9.1. Địa điểm thực nghiệm

9.2. Kết quả thực nghiệm

10. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

10.1. Hướng phát triển

DANH MỤC TÀI LIỆU THAM KHẢO

I. Tổng Quan Về Nhận Diện Làn Đường Xe Tự Lái và AI

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, ngành công nghiệp ô tô đang trải qua một sự chuyển đổi mạnh mẽ, kết hợp với các lĩnh vực như điện, điện tử và khoa học máy tính. Trí tuệ nhân tạo (AI) không còn là một khái niệm xa lạ, mà đã trở thành một phần không thể thiếu trong cuộc sống hàng ngày của chúng ta, ví dụ như các trợ lý ảo Siri hay Google Assistant. AI cũng được ứng dụng rộng rãi trong các mô hình nhà thông minh, trò chơi điện tử, y tế và quân sự. Đặc biệt, đối với ngành công nghiệp ô tô, cụm từ 'xe tự lái' ngày càng trở nên phổ biến. Xe tự lái hứa hẹn mang lại nhiều lợi ích, từ việc giảm chi phí vận tải đường dài đến hạn chế tối đa các tai nạn giao thông. Theo dự đoán của Gartner, đến năm 2020, sẽ có 250 triệu xe kết nối với nhau thông qua Wi-Fi, tự động 'giao tiếp' để tìm ra lộ trình tốt nhất. Ứng dụng AI trong công nghệ xe tự lái đang được triển khai trên toàn thế giới, mở ra cơ hội lớn cho các kỹ sư ô tô. Đề tài 'Ứng dụng trí tuệ nhân tạo để phát triển hệ thống nhận diện và theo dõi làn đường cho xe tự lái' nhằm mục đích cung cấp cái nhìn tổng quan về ứng dụng AI trong ngành ô tô, đồng thời tích lũy kiến thức để hội nhập với ngành công nghiệp ô tô toàn cầu.

1.1. Vai Trò Của AI Trong Phát Triển Xe Tự Lái

Trí tuệ nhân tạo đóng vai trò then chốt trong việc xử lý thông tin từ các cảm biến trên xe tự lái, cho phép xe 'nhận biết' môi trường xung quanh. AI không chỉ giúp xe xác định vị trí và hướng đi, mà còn dự đoán hành vi của các phương tiện khác, người đi bộ và các chướng ngại vật trên đường. Các thuật toán học sâu (Deep Learning), một nhánh của AI, được sử dụng để huấn luyện xe tự lái nhận diện các đối tượng, làn đường và biển báo giao thông. Theo [Tài liệu gốc], việc ứng dụng AI giúp xe tự lái thích ứng với các điều kiện giao thông khác nhau và đưa ra các quyết định an toàn.

1.2. Tổng Quan Về Hệ Thống Nhận Diện Làn Đường

Hệ thống nhận diện làn đường là một thành phần quan trọng trong xe tự lái, giúp xe duy trì vị trí an toàn trên đường và tuân thủ các quy tắc giao thông. Hệ thống này sử dụng camera và các cảm biến khác để thu thập hình ảnh và dữ liệu về làn đường. Sau đó, các thuật toán xử lý ảnh và AI được sử dụng để phân tích dữ liệu và xác định vị trí và hướng của làn đường. Hệ thống nhận diện làn đường cần có khả năng hoạt động chính xác trong nhiều điều kiện khác nhau, bao gồm cả thời tiết xấu, ánh sáng yếu và các chướng ngại vật trên đường. [Tài liệu gốc] đề cập đến việc kết hợp các thuật toán học sâu và xử lý ảnh truyền thống để tăng hiệu quả nhận diện làn đường.

II. Thách Thức Trong Nhận Diện Làn Đường Xe Tự Lái Bằng AI

Mặc dù AI đã đạt được nhiều tiến bộ trong việc nhận diện làn đường, vẫn còn nhiều thách thức cần giải quyết. Các điều kiện thời tiết khác nhau như mưa, sương mù hoặc tuyết có thể làm giảm tầm nhìn của camera và ảnh hưởng đến độ chính xác của hệ thống. Ánh sáng yếu hoặc ánh sáng chói cũng có thể gây khó khăn cho việc nhận diện làn đường. Ngoài ra, các chướng ngại vật như xe cộ, người đi bộ hoặc các vật thể khác trên đường có thể che khuất làn đường và làm giảm hiệu quả của hệ thống. [Tài liệu gốc] nhấn mạnh việc cần phát triển các thuật toán nhận diện làn đường có khả năng thích ứng với các điều kiện khác nhau và xử lý các tình huống phức tạp.

2.1. Vấn Đề Về Độ Chính Xác Trong Điều Kiện Thời Tiết Xấu

Thời tiết xấu là một trong những thách thức lớn nhất đối với hệ thống nhận diện làn đường. Mưa, sương mù và tuyết có thể làm giảm đáng kể tầm nhìn của camera, khiến việc phân tích hình ảnh trở nên khó khăn hơn. Các thuật toán AI cần được huấn luyện với dữ liệu đa dạng, bao gồm cả hình ảnh được chụp trong điều kiện thời tiết xấu, để có thể nhận diện làn đường một cách chính xác. Theo [Tài liệu gốc], việc sử dụng các cảm biến khác như LiDAR và Radar có thể giúp cải thiện độ chính xác của hệ thống trong điều kiện thời tiết xấu.

2.2. Ảnh Hưởng Của Ánh Sáng Đến Khả Năng Nhận Diện Làn Đường

Ánh sáng yếu hoặc ánh sáng chói cũng có thể gây khó khăn cho hệ thống nhận diện làn đường. Trong điều kiện ánh sáng yếu, camera có thể không thu thập đủ ánh sáng để tạo ra hình ảnh rõ ràng. Trong khi đó, ánh sáng chói có thể làm mờ hình ảnh và che khuất làn đường. Các thuật toán AI cần được thiết kế để xử lý các vấn đề về ánh sáng và duy trì độ chính xác của hệ thống. [Tài liệu gốc] gợi ý việc sử dụng các kỹ thuật xử lý ảnh nâng cao và điều chỉnh độ sáng tự động để cải thiện khả năng nhận diện làn đường trong điều kiện ánh sáng khác nhau.

2.3. Xử Lý Chướng Ngại Vật Che Khuất Làn Đường

Các chướng ngại vật như xe cộ, người đi bộ và các vật thể khác trên đường có thể che khuất làn đường và làm giảm hiệu quả của hệ thống nhận diện. Các thuật toán AI cần có khả năng phát hiện và loại bỏ các chướng ngại vật này để có thể nhận diện làn đường một cách chính xác. Theo [Tài liệu gốc], việc sử dụng các thuật toán phân vùng ảnh và phân loại đối tượng có thể giúp hệ thống xác định và loại bỏ các chướng ngại vật.

III. Phương Pháp Nhận Diện Làn Đường Bằng Học Sâu và Xử Lý Ảnh

Đề tài này đề xuất một phương pháp nhận diện làn đường mới, kết hợp giữa các thuật toán học sâu tiên tiến và các phương pháp xử lý ảnh truyền thống. Phương pháp này bao gồm các bước sau: Thu thập hình ảnh từ camera, áp dụng thuật toán học sâu để đưa ra các phán đoán ban đầu về làn đường, sử dụng các kỹ thuật xử lý ảnh và xử lý tín hiệu để tăng hiệu quả nhận dạng và theo dõi làn đường. [Tài liệu gốc] nhấn mạnh việc kết hợp các thuật toán học sâu và xử lý ảnh truyền thống để tận dụng ưu điểm của cả hai phương pháp.

3.1. Ứng Dụng Mạng Nơ Ron Tích Chập CNN Trong Nhận Diện Làn Đường

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron học sâu được sử dụng rộng rãi trong các bài toán thị giác máy tính, bao gồm cả nhận diện làn đường. CNN có khả năng tự động trích xuất các đặc trưng quan trọng từ hình ảnh, giúp tăng độ chính xác và hiệu quả của hệ thống. [Tài liệu gốc] đề cập đến việc sử dụng mạng LaneNet để nhận diện làn đường.

3.2. Sử Dụng Thuật Toán Hough Transform Để Phát Hiện Đường Thẳng

Hough Transform là một thuật toán xử lý ảnh được sử dụng để phát hiện các đường thẳng trong hình ảnh. Thuật toán này đặc biệt hữu ích trong việc nhận diện làn đường, vì làn đường thường được biểu diễn bằng các đường thẳng. [Tài liệu gốc] mô tả cách sử dụng Hough Transform trong OpenCV để phát hiện các đường thẳng.

3.3. Phân Cụm Dữ Liệu Với K Means Clustering Để Xác Định Làn Đường

K-Means Clustering là một thuật toán học máy được sử dụng để phân cụm dữ liệu thành các nhóm khác nhau. Trong bài toán nhận diện làn đường, K-Means Clustering có thể được sử dụng để phân cụm các điểm ảnh thuộc về cùng một làn đường. [Tài liệu gốc] giới thiệu về phân cụm dữ liệu bằng K-Means Clustering và các bước để ứng dụng thuật toán này trong nhận diện làn đường.

IV. Theo Dõi Làn Đường Xe Tự Lái Sử Dụng Kalman Filter AI

Để đảm bảo xe tự lái duy trì vị trí an toàn trên đường, hệ thống cần có khả năng theo dõi làn đường theo thời gian thực. Kalman Filter là một thuật toán lọc tín hiệu được sử dụng để ước tính trạng thái của một hệ thống dựa trên các phép đo có nhiễu. Trong bài toán theo dõi làn đường, Kalman Filter có thể được sử dụng để ước tính vị trí và hướng của làn đường dựa trên các phép đo từ camera và các cảm biến khác. [Tài liệu gốc] trình bày cách sử dụng Kalman Filter để theo dõi làn đường.

4.1. Giới Thiệu Về Kalman Filter và Ứng Dụng Trong Theo Dõi

Kalman Filter là một thuật toán lọc tín hiệu đệ quy, có nghĩa là nó sử dụng các phép đo trước đó để ước tính trạng thái hiện tại của hệ thống. Kalman Filter đặc biệt hữu ích trong các ứng dụng theo dõi, vì nó có thể xử lý các phép đo có nhiễu và ước tính trạng thái của hệ thống một cách chính xác. [Tài liệu gốc] mô tả các phương trình của Kalman Filter và cách ứng dụng thuật toán này để theo dõi làn đường.

4.2. Xây Dựng Mô Hình Không Gian Trạng Thái Của Kalman Filter

Để sử dụng Kalman Filter, cần xây dựng mô hình không gian trạng thái của hệ thống. Mô hình này mô tả mối quan hệ giữa trạng thái của hệ thống, các phép đo và nhiễu. Trong bài toán theo dõi làn đường, trạng thái của hệ thống có thể bao gồm vị trí và hướng của làn đường. [Tài liệu gốc] trình bày mô hình không gian trạng thái của Kalman Filter.

V. Thực Nghiệm và Kết Quả Nhận Diện Làn Đường Xe Tự Lái

Hệ thống nhận diện và theo dõi làn đường đã được thử nghiệm trong nhiều điều kiện khác nhau để đánh giá hiệu quả. Các thử nghiệm được thực hiện trên các tuyến đường điển hình, bao gồm cả đường thẳng, đường cong và đường có các chướng ngại vật. Kết quả thử nghiệm cho thấy hệ thống có khả năng nhận diện và theo dõi làn đường một cách chính xác trong nhiều điều kiện khác nhau. [Tài liệu gốc] trình bày kết quả thực nghiệm.

5.1. Mô Tả Địa Điểm và Điều Kiện Thực Nghiệm Chi Tiết

Các thử nghiệm được thực hiện trên các tuyến đường khác nhau để đánh giá hiệu quả của hệ thống trong các điều kiện khác nhau. Các tuyến đường được chọn bao gồm cả đường thẳng, đường cong và đường có các chướng ngại vật. Điều kiện thời tiết và ánh sáng cũng được thay đổi để đánh giá khả năng thích ứng của hệ thống. [Tài liệu gốc] mô tả địa điểm thực nghiệm.

5.2. Đánh Giá Độ Chính Xác và Hiệu Quả Của Hệ Thống

Độ chính xác của hệ thống được đánh giá bằng cách so sánh kết quả nhận diện làn đường với vị trí thực tế của làn đường. Hiệu quả của hệ thống được đánh giá bằng cách đo thời gian cần thiết để nhận diện và theo dõi làn đường. Kết quả thử nghiệm cho thấy hệ thống có độ chính xác cao và hiệu quả trong nhiều điều kiện khác nhau. [Tài liệu gốc] trình bày kết quả thực nghiệm.

VI. Kết Luận và Hướng Phát Triển Nhận Diện Làn Đường AI

Đề tài này đã trình bày một phương pháp nhận diện và theo dõi làn đường mới, kết hợp giữa các thuật toán học sâu và xử lý ảnh truyền thống. Kết quả thử nghiệm cho thấy phương pháp này có hiệu quả trong nhiều điều kiện khác nhau. Trong tương lai, hệ thống có thể được cải tiến bằng cách sử dụng các thuật toán AI tiên tiến hơn và tích hợp thêm các cảm biến khác như LiDAR và Radar. [Tài liệu gốc] đề xuất hướng phát triển.

6.1. Tóm Tắt Các Kết Quả Đạt Được và Bài Học Kinh Nghiệm

Đề tài đã đạt được các kết quả sau: Phát triển một phương pháp nhận diện và theo dõi làn đường mới, kết hợp giữa các thuật toán học sâu và xử lý ảnh truyền thống. Thử nghiệm hệ thống trong nhiều điều kiện khác nhau và đánh giá hiệu quả của hệ thống. Các bài học kinh nghiệm thu được trong quá trình thực hiện đề tài bao gồm: Cần thiết kế hệ thống có khả năng thích ứng với các điều kiện khác nhau, cần sử dụng các thuật toán AI tiên tiến hơn và cần tích hợp thêm các cảm biến khác. [Tài liệu gốc] tóm tắt các kết quả.

6.2. Đề Xuất Các Hướng Phát Triển Trong Tương Lai

Trong tương lai, hệ thống có thể được cải tiến bằng cách: Sử dụng các thuật toán AI tiên tiến hơn như Transformer, tích hợp thêm các cảm biến khác như LiDAR và Radar, phát triển hệ thống có khả năng hoạt động trong điều kiện thời tiết khắc nghiệt, cải thiện độ chính xác và hiệu quả của hệ thống. [Tài liệu gốc] đề xuất hướng phát triển.

Ứng Dụng AI Phát Triển Hệ Thống Nhận Diện Làn Đường Cho Xe Tự Lái