Đồ án: Hệ thống nhận diện và theo dõi làn đường cho xe tự lái bằng AI

Đồ án tốt nghiệp phát triển hệ thống nhận diện làn đường cho xe tự lái bằng AI, kết hợp học sâu và các thuật toán xử lý ảnh truyền thống.

• Tác giả: Ngô Thành Min
• Người hướng dẫn: PGS. Đỗ Văn Dũng
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Cơ khí Động lực
• Đề tài: Ứng dụng Trí tuệ Nhân tạo để Phát triển Hệ thống Nhận diện và Theo dõi Làn đường cho Xe tự Lái
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2019
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Khái niệm và tầm quan trọng của hệ thống nhận diện làn đường

Nhận diện làn đường là một công nghệ then chốt trong lĩnh vực xe tự lái và hỗ trợ lái xe an toàn. Hệ thống này sử dụng trí tuệ nhân tạo (AI) và xử lý ảnh để phát hiện các làn đường trên mặt đường, giúp phương tiện duy trì đúng vị trí và hướng di chuyển. Trong bối cảnh tự động hóa giao thông ngày càng phát triển, công nghệ nhận diện làn đường không chỉ nâng cao an toàn giao thông mà còn giảm thiểu tai nạn do lỗi con người. Đồ án này áp dụng học sâu (deep learning) kết hợp với các thuật toán xử lý ảnh truyền thống để tạo ra một giải pháp toàn diện phù hợp với điều kiện đường xá Việt Nam.

1.1. Ứng dụng của trí tuệ nhân tạo trong giao thông

Trí tuệ nhân tạo đã thay đổi hoàn toàn cách chúng ta nhìn nhận vấn đề giao thông hiện đại. Các hệ thống phát hiện làn đường sử dụng mạng nơron tích chập (CNN) để nhận dạng các đặc trưng của đường một cách tự động. Công nghệ này giúp xe tự lái có thể hoạt động an toàn trong các điều kiện khác nhau, từ đường thẳng đến đường cong phức tạp.

1.2. Các thách thức kỹ thuật trong nhận diện làn đường

Nhận diện làn đường gặp phải nhiều thách thức như các vật cản che chắn (ô tô, xe máy), điều kiện ánh sáng thay đổi, và các kết cấu đường lạ. Giải pháp của đồ án kết hợp deep learning với Hough Transform, K-means và Kalman filter để đạt hiệu quả cao nhất.

II. Cơ sở lý thuyết và các công nghệ chính

Đồ án này dựa trên nhiều nền tảng lý thuyết vững chắc bao gồm xử lý ảnh số, mạng nơron tích chập và các thuật toán tín hiệu. Xử lý ảnh là quá trình biến đổi hình ảnh thô từ camera thành dữ liệu có ý nghĩa. CNN là kiến trúc mạng nơron được thiết kế đặc biệt để xử lý dữ liệu hình ảnh, với các lớp tích chập giúp trích xuất đặc trưng tự động. Kết hợp với Hough Transform để phát hiện đường thẳng, K-means để phân cụm pixel, và Kalman filter để mịn hóa kết quả, hệ thống đạt được độ chính xác cao.

2.1. Mạng nơron tích chập CNN và ứng dụng

CNN là một loại mạng nơron học sâu được phát triển đặc biệt cho thị giác máy tính. Kiến trúc này bao gồm các lớp tích chập, pooling và fully connected. Mỗi lớp tích chập sử dụng các bộ lọc để phát hiện các đặc trưng như cạnh, góc, và các mẫu phức tạp hơn. Max Pooling giảm kích thước dữ liệu trong khi Average Pooling tính trung bình.

2.2. Các thuật toán xử lý ảnh truyền thống

Hough Transform là thuật toán cổ điển nhưng mạnh mẽ để phát hiện đường thẳng trong ảnh. K-means clustering giúp phân nhóm các pixel theo đặc tính, hữu ích cho phân tách cảnh. Kalman filter được sử dụng để mịn hóa trajectory và giảm nhiễu từ các khung hình liên tiếp.

III. Phương pháp thực hiện và kiến trúc hệ thống

Hệ thống được phát triển trên hệ điều hành Ubuntu 16.04 sử dụng ngôn ngữ Python với các thư viện chuyên biệt như OpenCV, TensorFlow và Keras. Quy trình hoạt động bắt đầu từ việc thu thập ảnh từ camera, sau đó mô hình CNN được huấn luyện trên các bộ dữ liệu có sẵn trên thế giới. Các phán đoán ban đầu từ mạng học sâu được tinh chỉnh bằng các thuật toán xử lý ảnh truyền thống. Phương pháp hybrid này giúp tích hợp sức mạnh của cả machine learning hiện đại và computer vision cổ điển.

3.1. Các giai đoạn xử lý ảnh

Quy trình bao gồm: (1) tiền xử lý ảnh – chuẩn hóa và làm sạch dữ liệu; (2) phát hiện đặc trưng – sử dụng CNN để trích xuất thông tin; (3) phân tích và nhận dạng – áp dụng Hough Transform và K-means; (4) mịn hóa kết quả – dùng Kalman filter để giảm nhiễu. Mỗi bước được tối ưu hóa cho điều kiện đường Việt Nam.

3.2. Cấu hình phần cứng và phần mềm

Hệ thống sử dụng máy tính có card đồ họa mạnh để huấn luyện mô hình CNN nhanh hơn. Camera HD được lắp trên phương tiện để thu thập hình ảnh real-time. Python là lựa chọn chính vì khả năng xử lý dữ liệu mạnh mẽ và thư viện phong phú cho AI và computer vision.

IV. Kết quả thử nghiệm và ứng dụng thực tiễn

Các kết quả thử nghiệm cho thấy hệ thống nhận diện làn đường có hiệu suất cao trong nhiều điều kiện thách thức như đường bị che chắn bởi phương tiện khác, đường cong phức tạp, và các kết cấu đường không chuẩn. Độ chính xác của mô hình đạt tỷ lệ cao, đặc biệt là khi kết hợp deep learning với các thuật toán truyền thống. Phương pháp hybrid này chứng tỏ là giải pháp tối ưu so với việc chỉ sử dụng một kỹ thuật đơn lẻ, phù hợp cho ứng dụng xe tự lái ở Việt Nam.

4.1. Hiệu suất hệ thống trong các điều kiện thực tế

Thử nghiệm trên các đoạn đường thực ở Việt Nam cho thấy hệ thống có khả năng xử lý real-time và phát hiện chính xác các làn đường. Độ trễ xử lý nằm trong giới hạn chấp nhận được cho hỗ trợ lái xe. Hiệu suất đặc biệt tốt khi xử lý các tình huống phức tạp như giao lộ, đường hẹp, và điều kiện ánh sáng kém.

4.2. Triển khai và phát triển tương lai

Hệ thống có thể được tích hợp vào các phương tiện để hỗ trợ lái xe an toàn. Trong tương lai, đồ án có tiềm năng được mở rộng để nhận diện các đối tượng khác như tín hiệu giao thông, phát hiện chướng ngại vật. Nghiên cứu tiếp theo có thể tối ưu hóa mô hình cho các thiết bị nhúng và xe tự lái thực sự.

Trích đoạn nội dung tài liệu

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ TH T TH NH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ PHÁT TRIỂN HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI LÀN ĐƯỜNG CHO XE TỰ LÁI SVTH : NGÔ THÀNH MIN MSSV: 15145289 SVTH : LÊ VĂN TRIỆU MSSV: 15145393 GVHD: PGS. Hồ Chí Minh, tháng 7 năm 2019 LỜI CẢM ƠN Trí tuệ nhân tạo tuy không phải là thuật ngữ quá mới mẻ ở Việt Nam, nhưng đối với những sinh viên chuyên ngành công nghệ kỹ thuật ô tô như chúng em thì kiến thức về lĩnh vực này vẫn còn hạn chế. Ứng dụng trí tuệ nhân tạo để giải quyết một vấn đề trong chuyên ngành thực sự là một thử thách nhưng cũng là một cơ hội để chúng em tìm hiểu những kiến thức mới về một lĩnh vực tiềm năng trong tương lai. Ngoài những kiến thức về trí tuệ nhân tạo, qua đề tài này, chúng em còn học hỏi được nhiều kiến thức xử lý ảnh, lập trình python và nhiều lĩnh vực hoàn toàn xa lạ đối với chúng em trước đây.

Chúng em rất vui vì cuối cùng cũng đã vượt qua các thử thách gặp phải và hoàn thành đề tài đúng thời hạn. Trong quá trình thực hiện đề tài của mình, do điều kiện hạn chế về kiến thức và thời gian nghiên cứu nên không tránh được những sai sót, rất mong nhận được sự góp ý từ quý Thầy Cô và các bạn để đề tài của chúng em có thể ngày càng hoàn thiện hơn. Chúng em xin chân thành cảm ơn Thầy PGS. Đỗ Văn Dũng – Giảng viên hướng dẫn, đã tận tình giúp đỡ chúng em, luôn cho chúng em những lời khuyên, những lời động viên quý báu, chúng em đã học được rất nhiều kiến thức từ Thầy, học được cách tổ chức và phân công công việc hợp lý để từ đó chúng em có thể hoàn thiện được đồ án tốt nghiệp này.

Chúng em cũng xin chân thành cảm ơn Thầy ThS. Nguyễn Trung Hiếu – Giảng viên Khoa Cơ Khí Động Lực, Thầy TS. Trần Vũ Hoàng – Giảng viên Khoa Điện - Điện Tử đã luôn hỗ trợ chúng em về cơ sở vật chất và những kiến thức chuyên môn vô cùng bổ ích, cùng với đó là những lời khuyên, những lời động viên quý báu. Qua đây, chúng em xin chân thành cảm ơn các Thầy Cô trong Khoa Cơ Khí Động Lực trường Đại học Sư Phạm Kỹ Thuật TP.

Hồ Chí Minh đã cho chúng em những kiến thức chuyên ngành thật bổ ích, tạo điều kiện thuận lợi để chúng em có thể hoàn thành được đồ án tốt nghiệp này. Một lần nữa, chúng em xin cảm ơn tất cả quý Thầy, quý Cô, kính chúc quý Thầy, quý Cô luôn thành công trên con đường đào tạo nhân tài của mình. i TÓM TẮT Trong xu hướng tự động hóa ngày càng gia tăng, các công nghệ, kỹ thuật hỗ trợ cho xe tự lái cũng ngày càng phát triển và nhận được nhiều sự quan tâm của các nhà khoa học trên thế giới. Kèm theo đó, trí tuệ nhân tạo (AI) và xử lý ảnh mặc dù mới mẻ nhưng lại có tốc độ phát triển vô cùng nhanh chóng và được ứng dụng rộng rãi trong nhiều lĩnh vực của đời sống.

Nhiệm vụ đồ án là nghiên cứu và sử dụng trí tuệ nhân tạo trên nền tảng học sâu (deep learning) kết hợp với thuật toán xử lý ảnh để nhận biết lane hỗ trợ người lái. Đề tài đề xuất một phương pháp nhận biết lane đường mới kết hợp sự ưu việt giữa các thuật toán học sâu tiên tiến và một số phương pháp xử lý ảnh truyền thống. Dựa trên hình ảnh thu thập từ camera, thuật toán học sâu đã được huấn luyện trên các bộ dữ liệu có sẵn trên thế giới được áp dụng để đưa ra các phán đoán đầu tiên về lane đường. Sau đó, các kỹ thuật xử lý ảnh và xử lý tín hiệu truyền thống như Hough Transform, K- means và Kalman filter được áp dụng trên các phán đoán đầu tiên này để tăng hiệu quả nhận dạng phù hợp với đặc tính đường ở Việt Nam.

Đề tài được phát triển trên hệ điều hành Ubuntu 16.04 sử dụng ngôn ngữ lập trình python. Kết quả thử nghiệm cho thấy phương pháp của nhóm có thể nhận diện và theo dõi các làn đường trong nhiều điều kiện thách thức khác nhau trên đường điển hình như đường bị các vật cản che chắn (như ô tô, xe máy,…), đường cong, đường có một số kết cấu lạ,… ii MỤC LỤC LỜI CẢM ƠN. ii MỤC LỤC. iii DANH MỤC CÁC TỪ VIẾT TẮT V KÝ HIỆ .vi DANH MỤC CÁC HÌNH.

vii DANH MỤC CÁC BẢNG. Lý do chọn đề tài. Mục tiêu nghiên cứu. Nội dung nghiên cứu.

Giới hạn đề tài. Phạm vi ứng dụng. Cơ sở lý thuyết về ảnh và xử lý ảnh. Cơ sở lý thuyết về ảnh.

Độ phân giải của ảnh. Mức xám của ảnh. Không gian màu. Định nghĩa ảnh số.

Ảnh trắng đen. Cơ sở lý thuyết về xử lý ảnh. Các bước cơ bản trong xử lý ảnh. Các thành phần cơ bản của hệ thống xử lý ảnh.

Những vấn đề trong xử lý ảnh. Mạng nơron tích chập – Convolutional Neural Network (CNN). Thị giác máy tính (Computer vision). Mạng nơ ron tích chập (CNN hay ConvNet).

Lớp tích chập (Convolutional layer). Đường viền phụ (Padding). Nhân chập sải (strided convolutions). Phép chập khối.

Phép chập khối với một bộ lọc. Phép chập khối với nhiều bộ lọc. Mạng CNN một lớp. Mạng CNN đơn giản.

Pooling theo giá trị cực đại (Max Pooling). Pooling theo giá trị trung bình (Average Pooling). Ví dụ một CNN nhận diện ra lane đường. Ưu điểm của CNN.

SƠ LƯỢC PHẦN CỨNG VÀ PHẦN MỀM. Sơ lược về phần cứng. Xây dựng cấu hình máy tính phục vụ đồ án. Lựa chọn camera.

Sơ lược về phần mềm. Hệ điều hành Ubuntu. Một số thư viện sử dụng trong đồ án. CHƯƠNG TRÌNH ĐIỀU KHIỂN NHẬN DIỆN LÀN ĐƯỜNG.

Sơ đồ tổng thể của hệ thống. Lựa chọn thuật toán học sâu cho việc nhận diện lane. Áp dụng thuật toán lanenet lane detection. Giới thiệu sơ lược về LaneNET.

Áp dụng thuật toán. Nhận diện làn đường bằng giải thuật K – means Clustering. Lấy dữ liệu cho K - means từ Hough Transform. Ứng dụng Hough Transform trong OpenCV.

Áp dụng giải thuật K – means Clustering. Giới thiệu về phân cụm dữ liệu bằng K – means. Giải thuật K – means. Các bước để ứng dụng K-means nhận diện lane.

Theo dõi làn đường (tracking) bằng cách sử dụng Kalman filter. Giới thiệu Kalman filter. Các phương trình của Kalman filter:. Ứng dụng Kalman fileter để tracking.

THỰC NGHIỆM VÀ KẾT QUẢ THỰC NGHIỆM. Địa điểm thực nghiệm. Kết quả thực nghiệm. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.

Hướng phát triển .72 DANH MỤC T I LIỆ THAM KHẢO. 75 v DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU AI Artificial Intelligence – Trí tuệ nhân tạo API Application Programming Interface – Giao diện lập trình ứng dụng CIE Commission Internationale d’Eclairage – Tổ chức quốc tế về chuẩn hóa màu CMYK Cyan, Magenta, Yellow, Black – Không gian màu CMYK CNN Convolutional Neural Network – Mạng tích chập CUDA Compute Unified Device Architecture – Kiến trúc thiết bị tính toán hợp nhất CUDNN NVIDIA CUDA Deep Neural Network library – Thư viện tăng tốc độ GPU cho các deep learning networks GPGPU General-purpose computing on graphics processing units – Điện toán đa năng trên các đơn vị xử lý đồ họa GPU Graphics Processing Unit – Đơn vị xử lý đồ họa HSV Hue, Saturation, Value – Không gian màu HSV IDE Integrated Development Environment – Môi trường phát triển tích hợp OpenCV Open Source Computer Vision – Thư viện mở cho thị giác máy tính PEL Picture Element – Điểm ảnh RGB Red, Green, Blue – Không gian màu RGB vi DANH MỤC CÁC HÌNH Hình 2.2 Các độ phân giải của ảnh .3 Hệ tọa độ RGB .4 Không gian màu HSV và vòng tròn biểu diễn màu sắc (HUE) .5 Không gian màu CMYK .8 Các bước cơ bản trong xử lý ảnh .9 Sơ đồ phân tích và xử lý ảnh và lưu đồ thông tin giữa các khối .10 Các thành phần cơ bản của hệ thống xử lý ảnh .11 Bộ lọc được sử dụng trong lớp tích chập đầu tiên là các ma trận kích thước 3x3 .12 Nhân bộ lọc k với ma trận đầu vào I .13 Ma trận đầu vào được bao quanh bởi đường viền phụ kích thước p (giá trị 0) 20 Hình 2.14 Nhân chập với bước sải s=2 .15 Phép nhân chập khối .16 Ba lớp của bộ lọc có thể được cấu hình khác nhau để phát hiện đặc trưng trên một, hai hoặc cả ba kênh màu của ảnh đầu vào.17 Kiến trúc của một lớp: Input => 2 filters of 3x3x3=> ReLU (non-linear activation function) => Output .18 Ví dụ một CNN cơ bản được sử dụng cho bài toán phân loại ảnh .19 Ví dụ pooling theo giá trị cực đại .20 Cấu trúc cơ bản của một CNN thường là một vài cụm CONV => POOL theo sau bởi một tập FC và kết thúc bởi một lớp Softmax .1 Cấu hình máy tính .2 GoPro Hero 5 Black .3 Biểu tượng và giao diện hệ điều hành Ubuntu .4 Biểu tượng Anaconda .5 Cách thức nhận diện hình ảnh khuôn mặt trong Tensorflow .6 Xác định đối tượng trong video với Tensorflow .1 Sơ đồ tổng thể của hệ thống .2 Các giải thuật lane detection trên github.3 Cấu trúc của mạng LaneNET.4 Kết quả chạy thuật toán trên Model Weights .5 Kết quả chạy thuật toán trên ảnh chụp.6 Hình mình họa sử dụng trong OpenCV .7 Biểu diễn giá trị ρ trong miền θ .8 Biến đổi Hough transform .9 Các đối tượng được phân phối vào 3 cụm đại diện là 3 điểm trung tâm nhất .10 Các bước của thuật toán K - means .11 Tìm các contours trên ảnh chụp .12 Tìm các contours trên ảnh download .13 Tìm box ôm lấy contour trên ảnh tự chụp .14 Tìm box ôm lấy contour trên ảnh download .15 Tìm các center trên ảnh tự chụp.16 Tìm các center trên ảnh download .17 Bắt lane trên ảnh tự chụp .18 Bắt lane trên ảnh download .19 Kết quả sau khi sử dụng K-Means .20 Hoạt động của Kalman filter .21 Mô hình không gian trạng thái của Kalman filter.22 Quá trình khởi tạo của Kalman filter .23 Ảnh thể hiện 2 lane chính màu xanh.24 Chấm xanh dương đậm được gọi là VashingPoint .25 Kết quả sau khi tracking bằng Kalman Filter .1 Cài đặt camera GoPro Hero 5 Black trên xe .2 Địa điểm thực nghiệm.3 Kết quả thực nghiệm .70 ix DANH MỤC CÁC BẢNG Bảng 2.1 Tổng kết tham số tại mỗi lớp CNN .