Phát Hiện Đối Tượng 3D Dựa Trên Deep Learning: Phương Pháp Tiếp Cận Kết Hợp Máy Ảnh và LiDAR

Luận văn thạc sĩ về phát hiện đối tượng 3D sử dụng deep learning, kết hợp dữ liệu từ máy ảnh và LiDAR. Nghiên cứu phương pháp tiếp cận mới, hiệu quả.

• Tác giả: Trần Anh Tuấn
• Người hướng dẫn: TS. Lương Văn Thiện
• Trường học: Trường Đại Học Phenikaa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Hiện Đối Tượng 3D Dựa Trên Deep Learning: Phương Pháp Tiếp Cận Kết Hợp Máy Ảnh Và Lidar
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Nhận diện vật thể 3D trong xe tự hành
• 1.1.1. Xe tự hành
• 1.1.2. Thách thức trong phát triển xe tự hành
• 1.1.3. Tầm quan trọng của mô hình nhận diện vật thể 3D trong xe tự hành
• 2. CHƯƠNG 2: CÁC TẬP DỮ LIỆU VÀ MÔ HÌNH HỌC SÂU NHẬN DIỆN VẬT THỂ 3D
• 2.1. Các tập dữ liệu mở
• 2.1.1. Tập dữ liệu KITTI
• 2.1.2. Tập dữ liệu NuScenes
• 2.1.3. Tập dữ liệu Waymo
• 2.2. Các chỉ số đánh giá mô hình nhận diện đối tượng 3D
• 2.3. Mô hình nhận diện vật thể 3D sử dụng kết hợp Lidar và Camera
• 2.3.1. Phân tích các vấn đề khi kết hợp Camera và LiDAR
• 2.4. Kết luận chương 2
• 3. CHƯƠNG 3: ĐỀ XUẤT VÀ THỬ NGHIỆM MÔ HÌNH NHẬN DIỆN VẬT THỂ 3D KẾT HỢP CAMERA VÀ LIDAR
• 3.1. Phân tích dữ liệu KITTI
• 3.1.1. Phân bố dữ liệu
• 3.1.2. Phân tích ưu nhược điểm của lidar và camera
• 3.1.3. Phân tích lí do Lidar khó khăn trong phân loại vật thể
• 3.2. Mô hình đề xuất
• 3.2.1. Giai đoạn 1: Phát hiện đối tượng 3D bằng Lidar bằng mô hình Dmodel
• 3.2.2. Giai đoạn 2: Phân loại vật thể bằng Camera qua mô hình Cmodel
• 3.2.3. Mô hình đề xuất 2
• 3.2.3.1. Quá trình tạo bộ dữ liệu 29 class (N)
• 3.2.3.2. Thiết kế mô hình Emodel
• 3.4. Kết luận chương 3
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 4.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phát Hiện Đối Tượng 3D Ứng Dụng Tầm Quan Trọng

Trong bối cảnh công nghệ phát triển, xe tự hành đang trở thành xu hướng tất yếu, mở ra kỷ nguyên mới cho ngành công nghiệp ô tô. Các tập đoàn lớn như Tesla, Google, và Baidu đều đầu tư mạnh vào lĩnh vực này. Tại Việt Nam, FPT đã giới thiệu xe tự lái akaDrive từ năm 2017. Tuy nhiên, để xe tự hành hoạt động an toàn và hiệu quả, việc nhận diện chính xác môi trường xung quanh là vô cùng quan trọng. Đây là lúc các mô hình phát hiện đối tượng 3D phát huy vai trò, giúp xe "nhìn" và "hiểu" thế giới thực. Luận văn này tập trung vào phương pháp tiếp cận kết hợp máy ảnh và LiDAR để cải thiện khả năng phát hiện đối tượng 3D, một yếu tố then chốt trong sự phát triển của xe tự hành. Sự chính xác của các mô hình này ảnh hưởng trực tiếp đến khả năng đưa ra quyết định của xe, đảm bảo an toàn cho hành khách và người tham gia giao thông.

1.1. Nhận diện vật thể 3D Yếu tố then chốt trong xe tự hành

Việc nhận diện vật thể 3D là quá trình thu thập và xử lý dữ liệu từ môi trường xung quanh xe để xác định vị trí, kích thước và loại đối tượng. Hệ thống này sử dụng thông tin này để lập kế hoạch đường đi, ra quyết định và điều khiển xe. Ví dụ, việc nhận diện một người đi bộ giúp xe tự động phanh để tránh tai nạn. Theo báo cáo, khả năng nhận thức môi trường là yếu tố chính cản trở sự phát triển của xe tự hành, do đó việc cải thiện các mô hình Object Detection 3D là rất quan trọng.

1.2. Thách thức trong việc phát triển hệ thống nhận diện vật thể 3D

Việc phát triển hệ thống nhận diện vật thể 3D đối mặt với nhiều thách thức. Các điều kiện môi trường khác nhau, như thời tiết xấu, ánh sáng thay đổi, hoặc các vật cản bất ngờ, có thể ảnh hưởng đến độ chính xác của hệ thống. Dữ liệu huấn luyện cần phải đầy đủ và đa dạng để hệ thống có thể xử lý các tình huống khác nhau. Một báo cáo của CSIS chỉ ra rằng các tiêu chuẩn an toàn cho xe tự hành cần được cập nhật để phù hợp với công nghệ mới. Điều này bao gồm các tiêu chuẩn cho Sensor Fusion, Depth Perception và Object Classification.

II. Tổng Hợp Các Phương Pháp Deep Learning Cho Phát Hiện 3D

Hiện nay, có nhiều phương pháp Deep Learning được sử dụng để phát hiện đối tượng 3D. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các ứng dụng khác nhau. Các mô hình như PointNet, VoxelNet, và SECOND là những ví dụ điển hình. PointNet trực tiếp xử lý dữ liệu Point Cloud, trong khi VoxelNet chuyển đổi Point Cloud thành dạng voxel để xử lý. Luận văn này cũng đề cập đến các mô hình tiên tiến hơn như PIXOR và CenterPoint. Việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu về độ chính xác, tốc độ xử lý và tài nguyên tính toán. Nghiên cứu cũng nhấn mạnh tầm quan trọng của Data Augmentation 3D để cải thiện hiệu suất của mô hình.

2.1. Ưu điểm và nhược điểm của PointNet và PointNet

PointNet là một trong những mô hình đầu tiên xử lý trực tiếp dữ liệu Point Cloud. Nó đơn giản và hiệu quả, nhưng không thể nắm bắt được cấu trúc cục bộ của dữ liệu. PointNet++ cải thiện điều này bằng cách áp dụng PointNet một cách phân cấp trên các vùng lân cận. Tuy nhiên, cả hai mô hình đều có thể gặp khó khăn trong việc xử lý dữ liệu có mật độ không đồng đều. Một nghiên cứu cho thấy PointNet++ cải thiện độ chính xác so với PointNet trong nhiều trường hợp.

2.2. VoxelNet Chuyển đổi Point Cloud thành dữ liệu voxel để xử lý

VoxelNet chuyển đổi dữ liệu Point Cloud thành dạng voxel, tương tự như hình ảnh 3D, cho phép áp dụng các mạng CNN 3D để trích xuất đặc trưng. Phương pháp này có thể nắm bắt được cấu trúc không gian của dữ liệu, nhưng đòi hỏi nhiều tài nguyên tính toán hơn so với PointNet. Bài báo khoa học cho thấy VoxelNet đạt hiệu suất tốt trên bộ dữ liệu KITTI.

2.3. Đánh giá các mô hình tiên tiến PIXOR CenterPoint

PIXOR sử dụng một mạng CNN để dự đoán vị trí của đối tượng trên bản đồ Bird's Eye View (BEV). CenterPoint dự đoán trung tâm của đối tượng và sử dụng các kỹ thuật post-processing để hoàn thiện kết quả. Hai mô hình này đạt hiệu suất cao trên nhiều bộ dữ liệu. CenterPoint đặc biệt hiệu quả trong việc xử lý các đối tượng bị che khuất. Nghiên cứu gần đây cho thấy CenterPoint là một trong những mô hình hàng đầu cho 3D Object Detection.

III. Camera LiDAR Fusion Cách Kết Hợp Dữ Liệu Để Phát Hiện 3D Tốt Nhất

Việc kết hợp dữ liệu từ máy ảnh và LiDAR (Camera LiDAR Fusion) là một phương pháp hiệu quả để cải thiện độ chính xác của phát hiện đối tượng 3D. Máy ảnh cung cấp thông tin về màu sắc và kết cấu, trong khi LiDAR cung cấp thông tin về khoảng cách và hình dạng. Có nhiều cách để kết hợp dữ liệu này, bao gồm early fusion, late fusion, và deep fusion. Early fusion kết hợp dữ liệu ở mức độ thấp nhất, trong khi late fusion kết hợp kết quả dự đoán từ hai cảm biến. Deep fusion sử dụng các mạng Neural Networks 3D để học cách kết hợp dữ liệu một cách tối ưu. Một bài báo nhấn mạnh rằng việc hiệu chỉnh Calibration Camera LiDAR là rất quan trọng để đảm bảo dữ liệu từ hai cảm biến được căn chỉnh chính xác.

3.1. Lợi ích của việc sử dụng Sensor Fusion trong Object Detection 3D

Sensor Fusion cho phép tận dụng ưu điểm của cả máy ảnh và LiDAR. Máy ảnh có thể nhận biết màu sắc và kết cấu, trong khi LiDAR cung cấp thông tin về khoảng cách và hình dạng 3D. Sự kết hợp này giúp cải thiện độ chính xác và độ tin cậy của Object Detection. Ngoài ra, Sensor Fusion có thể giúp giảm thiểu ảnh hưởng của các yếu tố môi trường như ánh sáng yếu hoặc thời tiết xấu. Báo cáo cho thấy Sensor Fusion cải thiện đáng kể hiệu suất của 3D Object Recognition.

3.2. Các phương pháp Camera LiDAR Fusion Early Late và Deep Fusion

Early fusion kết hợp dữ liệu LiDAR Point Cloud và Camera Images ở giai đoạn đầu của quá trình xử lý. Late fusion kết hợp kết quả dự đoán từ hai cảm biến riêng biệt. Deep fusion sử dụng các mạng Neural Networks 3D để học cách kết hợp dữ liệu một cách tự động. Deep fusion thường cho kết quả tốt nhất, nhưng đòi hỏi nhiều tài nguyên tính toán hơn. Các nhà nghiên cứu so sánh các phương pháp Camera LiDAR Fusion và kết luận rằng deep fusion là hiệu quả nhất.

3.3. Tầm quan trọng của Calibration Camera LiDAR và Data Augmentation 3D

Calibration Camera LiDAR là quá trình căn chỉnh dữ liệu từ hai cảm biến để đảm bảo chúng tương ứng với nhau. Việc này rất quan trọng để đảm bảo độ chính xác của Sensor Fusion. Data Augmentation 3D là quá trình tạo ra các mẫu dữ liệu mới từ dữ liệu hiện có để tăng tính đa dạng của tập dữ liệu huấn luyện. Điều này giúp cải thiện khả năng tổng quát hóa của mô hình. Các kỹ thuật Data Augmentation bao gồm xoay, tịnh tiến và thêm nhiễu.

IV. Phân Tích Dữ Liệu KITTI NuScenes Waymo So Sánh Ứng Dụng

Các bộ dữ liệu như KITTI dataset, NuScenes dataset, và Waymo Open Dataset đóng vai trò quan trọng trong việc phát triển và đánh giá các mô hình phát hiện đối tượng 3D. KITTI là một bộ dữ liệu phổ biến cho Autonomous Driving, trong khi NuScenes cung cấp dữ liệu đa dạng hơn về các tình huống giao thông phức tạp. Waymo Open Dataset là bộ dữ liệu lớn nhất, cung cấp dữ liệu từ nhiều cảm biến khác nhau. Mỗi bộ dữ liệu có ưu và nhược điểm riêng, và việc lựa chọn bộ dữ liệu phù hợp phụ thuộc vào mục tiêu nghiên cứu. Việc sử dụng các bộ dữ liệu này giúp đảm bảo tính khách quan và khả năng so sánh giữa các phương pháp khác nhau.

4.1. Tổng quan về cấu trúc và đặc điểm của bộ dữ liệu KITTI dataset

KITTI dataset chứa dữ liệu từ máy ảnh và LiDAR, cũng như các thông tin về vị trí và hướng của đối tượng. Bộ dữ liệu này được sử dụng rộng rãi trong các nghiên cứu về Autonomous Driving. Cấu trúc của KITTI dataset bao gồm các thư mục chứa hình ảnh, dữ liệu Point Cloud, và các tệp nhãn. Dữ liệu được thu thập trong môi trường đô thị, bao gồm các đối tượng như xe cộ, người đi bộ, và xe đạp. Một phân tích chi tiết về KITTI dataset giúp hiểu rõ hơn về các thách thức trong phát hiện đối tượng 3D.

4.2. So sánh NuScenes dataset và Waymo Open Dataset Ưu và nhược điểm

NuScenes dataset cung cấp dữ liệu từ nhiều cảm biến khác nhau, bao gồm LiDAR, radar, và máy ảnh. Bộ dữ liệu này chứa các tình huống giao thông phức tạp, như giao lộ và đường cao tốc. Waymo Open Dataset là bộ dữ liệu lớn nhất, cung cấp dữ liệu từ nhiều cảm biến khác nhau, bao gồm cả LiDAR tầm xa. Cả hai bộ dữ liệu đều cung cấp thông tin về 3D Semantic Segmentation và Object Tracking 3D. Waymo Open Dataset có ưu điểm về kích thước lớn, trong khi NuScenes dataset có ưu điểm về tính đa dạng của các tình huống giao thông.

4.3. Cách sử dụng các bộ dữ liệu này để huấn luyện và đánh giá mô hình

Các bộ dữ liệu này được sử dụng để huấn luyện và đánh giá các mô hình Deep Learning 3D. Quá trình huấn luyện bao gồm việc cung cấp dữ liệu cho mô hình và điều chỉnh các tham số để giảm thiểu sai số. Quá trình đánh giá bao gồm việc so sánh kết quả dự đoán của mô hình với các nhãn thực tế. Các chỉ số đánh giá phổ biến bao gồm Precision, Recall, và mAP (mean Average Precision). Một báo cáo chi tiết về quá trình huấn luyện và đánh giá mô hình Deep Learning 3D sử dụng KITTI dataset được cung cấp.

V. Đề Xuất Mô Hình Deep Learning Thử Nghiệm Với Dữ Liệu KITTI

Luận văn đề xuất hai mô hình Deep Learning để phát hiện đối tượng 3D kết hợp dữ liệu từ máy ảnh và LiDAR. Mô hình đầu tiên sử dụng LiDAR để phát hiện các hộp giới hạn 3D, sau đó sử dụng máy ảnh để phân loại đối tượng. Mô hình thứ hai kết hợp dữ liệu từ hai cảm biến ở mức độ sâu hơn. Cả hai mô hình đều được thử nghiệm trên bộ dữ liệu KITTI, và kết quả cho thấy sự cải thiện đáng kể so với các phương pháp chỉ sử dụng một cảm biến. Việc kết hợp thông tin từ cả hai cảm biến giúp cải thiện độ chính xác và độ tin cậy của phát hiện đối tượng 3D.

5.1. Phân tích ưu nhược điểm của LiDAR và máy ảnh trong Object Detection

LiDAR cung cấp thông tin chính xác về khoảng cách và hình dạng, nhưng có thể gặp khó khăn trong việc phân loại đối tượng do thiếu thông tin về màu sắc và kết cấu. Máy ảnh cung cấp thông tin về màu sắc và kết cấu, nhưng có thể gặp khó khăn trong việc xác định khoảng cách và hình dạng do thiếu thông tin về độ sâu. Sự kết hợp của cả hai cảm biến giúp bù đắp cho những hạn chế này. Một nghiên cứu so sánh hiệu suất của LiDAR và máy ảnh trong Object Detection cho thấy Sensor Fusion mang lại kết quả tốt nhất.

5.2. Mô hình đề xuất 1 Phát hiện bằng LiDAR phân loại bằng Camera

Mô hình này sử dụng LiDAR để phát hiện các hộp giới hạn 3D của đối tượng, sau đó sử dụng máy ảnh để phân loại đối tượng bên trong hộp giới hạn. Quá trình phân loại sử dụng một mạng CNN được huấn luyện trên các hình ảnh cắt từ máy ảnh. Ưu điểm của phương pháp này là đơn giản và dễ triển khai. Nhược điểm là có thể bỏ sót các đối tượng nhỏ hoặc bị che khuất. Một phân tích chi tiết về kiến trúc của mô hình và quá trình huấn luyện được cung cấp.

5.3. Mô hình đề xuất 2 Kết hợp sâu dữ liệu LiDAR và Camera Images

Mô hình này kết hợp dữ liệu LiDAR Point Cloud và Camera Images ở mức độ sâu hơn bằng cách sử dụng các mạng Neural Networks 3D. Dữ liệu từ hai cảm biến được đưa vào cùng một mạng, và mạng học cách kết hợp dữ liệu một cách tự động. Ưu điểm của phương pháp này là có thể tận dụng tối đa thông tin từ cả hai cảm biến. Nhược điểm là đòi hỏi nhiều tài nguyên tính toán hơn. Một phân tích chi tiết về kiến trúc của mô hình và quá trình huấn luyện được cung cấp.

VI. Kết Luận Hướng Phát Triển Deep Learning Trong Tương Lai

Luận văn đã trình bày một phương pháp tiếp cận hiệu quả để phát hiện đối tượng 3D bằng cách kết hợp dữ liệu từ máy ảnh và LiDAR sử dụng Deep Learning. Kết quả thử nghiệm cho thấy sự cải thiện đáng kể so với các phương pháp chỉ sử dụng một cảm biến. Trong tương lai, có thể nghiên cứu các phương pháp kết hợp dữ liệu tiên tiến hơn, cũng như các kiến trúc mạng Neural Networks 3D mới. Việc cải thiện hiệu suất của phát hiện đối tượng 3D là rất quan trọng để đảm bảo an toàn và hiệu quả của xe tự hành. Nghiên cứu sâu hơn có thể tập trung vào Real-time 3D Object Detection trên các hệ thống Embedded Systems.

6.1. Tóm tắt kết quả và đóng góp của luận văn

Luận văn đã đề xuất hai mô hình Deep Learning mới để phát hiện đối tượng 3D kết hợp dữ liệu từ máy ảnh và LiDAR. Các mô hình này đã được thử nghiệm trên bộ dữ liệu KITTI, và kết quả cho thấy sự cải thiện đáng kể so với các phương pháp chỉ sử dụng một cảm biến. Đóng góp của luận văn bao gồm việc phân tích ưu nhược điểm của các phương pháp Camera LiDAR Fusion khác nhau, cũng như việc đề xuất các kiến trúc mạng Neural Networks 3D mới. Một phân tích chi tiết về kết quả và đóng góp của luận văn được cung cấp.

6.2. Hướng phát triển tiềm năng trong lĩnh vực 3D Object Recognition

Trong tương lai, có thể nghiên cứu các phương pháp kết hợp dữ liệu tiên tiến hơn, cũng như các kiến trúc mạng Neural Networks 3D mới. Việc cải thiện hiệu suất của phát hiện đối tượng 3D là rất quan trọng để đảm bảo an toàn và hiệu quả của xe tự hành. Các hướng phát triển tiềm năng bao gồm việc sử dụng các mô hình Transformer 3D Object Detection, cũng như việc phát triển các phương pháp Self-Supervised Learning 3D Object Detection. Ngoài ra, việc nghiên cứu các phương pháp Edge Computing 3D Object Detection cũng là một hướng đi đầy hứa hẹn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ xe tự hành, việc nhận diện vật thể 3D đóng vai trò then chốt trong việc đảm bảo an toàn và hiệu quả vận hành. Theo báo cáo ngành, tỷ lệ va chạm của xe tự lái thấp hơn so với xe do con người điều khiển, với mức 3,2 vụ trên một triệu dặm so với 4,2 vụ tương ứng. Tuy nhiên, thách thức lớn nhất vẫn là nâng cao độ chính xác và độ tin cậy của hệ thống nhận diện vật thể 3D trong môi trường giao thông phức tạp. Mục tiêu nghiên cứu của luận văn là phát triển mô hình học sâu kết hợp dữ liệu từ cảm biến Lidar và Camera nhằm cải thiện hiệu suất nhận diện vật thể 3D trên xe tự hành. Nghiên cứu tập trung vào bộ dữ liệu KITTI, thu thập tại thành phố Karlsruhe, Đức, với hơn 23.000 khung hình và 8 lớp đối tượng chính, trong đó có người đi bộ, xe ô tô và xe đạp. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao độ chính xác nhận diện, giảm thiểu dương tính giả, đồng thời mở rộng khả năng phân loại nhiều loại đối tượng hơn, góp phần thúc đẩy ứng dụng thực tiễn công nghệ xe tự hành tại Việt Nam và quốc tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: học sâu (Deep Learning) và thị giác máy tính (Computer Vision). Học sâu được ứng dụng để xây dựng các mô hình nhận diện vật thể 3D từ dữ liệu đám mây điểm Lidar và hình ảnh Camera. Thị giác máy tính cung cấp nền tảng cho việc trích lọc đặc trưng hình ảnh và xử lý dữ liệu 2D. Mô hình nghiên cứu gồm hai giai đoạn: giai đoạn đầu sử dụng mô hình SFA3D để phát hiện vật thể 3D từ dữ liệu Lidar, giai đoạn hai chiếu các hộp giới hạn 3D lên ảnh 2D và sử dụng mô hình phân loại dựa trên ResNet-18 để phân loại đối tượng. Các khái niệm chính bao gồm: đám mây điểm (Point Cloud), hộp giới hạn 3D (3D Bounding Box), ma trận hiệu chỉnh Camera (Camera Intrinsics Matrix), và các phương pháp kết hợp dữ liệu (Fusion) như kết hợp muộn (Late Fusion).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu KITTI với 23.423 khung hình, trong đó 7.481 khung hình dùng để huấn luyện và 7.518 khung hình dùng để kiểm tra. Phương pháp chọn mẫu là sử dụng toàn bộ bộ dữ liệu KITTI để đảm bảo tính đại diện và so sánh được với các nghiên cứu khác. Phân tích dữ liệu bao gồm khảo sát phân bố đối tượng trong không gian Bird’s Eye View (BEV) và các trục tọa độ Camera (X, Y, Z). Phương pháp phân tích sử dụng mô hình học sâu SFA3D cho phát hiện vật thể 3D và mô hình phân loại dựa trên ResNet-18 với hàm mất mát kết hợp Cross-Entropy và Triplet Margin. Timeline nghiên cứu kéo dài trong năm 2024, bao gồm các giai đoạn phân tích dữ liệu, thiết kế mô hình, huấn luyện và đánh giá mô hình trên tập dữ liệu kiểm tra.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Phân bố đối tượng trong bộ dữ liệu KITTI: Phân bố đối tượng tập trung nhiều nhất ở khu vực trung tâm với tần suất xuất hiện cao nhất trong khoảng cách dưới 20 mét, chiếm khoảng 60% tổng số đối tượng. Số lượng đối tượng trong mỗi mẫu dữ liệu thường dao động từ 6 đến 8, chiếm hơn 70% các mẫu.

2. Ưu nhược điểm của Lidar và Camera: Lidar có khả năng phát hiện vật thể và ước lượng khoảng cách tốt với độ chính xác cao, đặc biệt trong điều kiện ánh sáng yếu hoặc thời tiết xấu. Camera vượt trội trong phân loại vật thể và theo dõi làn đường, nhưng bị hạn chế trong điều kiện ánh sáng kém. Việc kết hợp hai cảm biến này giúp tận dụng ưu điểm và khắc phục nhược điểm của từng loại.

3. Hiệu quả mô hình đề xuất Fusionv1: Mô hình kết hợp hai giai đoạn đã nâng số lớp nhận diện từ 3 lên 5 lớp, bao gồm phân biệt rõ ràng giữa Car và Van, Pedestrian và Person_sitting. Độ chính xác trung bình (Average Precision) của mô hình tăng từ 88,56% lên mức cao hơn, đặc biệt với các đối tượng Car và Pedestrian, cải thiện đáng kể so với mô hình chỉ sử dụng Lidar.

4. Độ chính xác phân loại của mô hình Cmodel: Trên tập đánh giá Mval, mô hình phân loại đạt Precision 0,99, Recall 0,98 và F1-score 0,98, cho thấy khả năng phân loại chính xác và ổn định các loại đối tượng trong 9 lớp, bao gồm cả lớp “No_Object” để giảm dương tính giả.

Thảo luận kết quả

Kết quả cho thấy việc kết hợp dữ liệu Lidar và Camera qua phương pháp kết hợp muộn giúp cải thiện đáng kể hiệu suất nhận diện vật thể 3D. Nguyên nhân chính là Lidar cung cấp thông tin vị trí và hình dạng chính xác trong không gian 3D, trong khi Camera hỗ trợ phân loại chi tiết dựa trên đặc trưng hình ảnh. So với các nghiên cứu trước đây chỉ sử dụng một loại cảm biến, mô hình đề xuất đã giảm thiểu được các lỗi phân loại nhầm và tăng khả năng nhận diện nhiều loại đối tượng hơn. Biểu đồ phân phối dữ liệu và ma trận nhầm lẫn (Confusion Matrix) minh họa rõ sự cải thiện về độ chính xác và giảm sai số. Điều này có ý nghĩa quan trọng trong việc phát triển các hệ thống xe tự hành an toàn và tin cậy, đồng thời mở rộng khả năng ứng dụng trong các môi trường giao thông đa dạng.

Đề xuất và khuyến nghị

1. Triển khai mô hình kết hợp đa cảm biến trong hệ thống xe tự hành: Áp dụng mô hình học sâu hai giai đoạn kết hợp Lidar và Camera để nâng cao độ chính xác nhận diện vật thể 3D, hướng tới mục tiêu giảm dương tính giả xuống dưới 5% trong vòng 12 tháng, do các nhà phát triển phần mềm và kỹ sư AI thực hiện.

2. Tăng cường bộ dữ liệu huấn luyện với đa dạng lớp đối tượng: Mở rộng bộ dữ liệu với ít nhất 29 lớp trạng thái phương tiện, bao gồm các trạng thái khẩn cấp và tín hiệu đèn hậu, nhằm cải thiện khả năng phân loại chi tiết, thực hiện trong 18 tháng, do nhóm nghiên cứu dữ liệu và chuyên gia thị giác máy tính đảm nhiệm.

3. Cải tiến kỹ thuật hiệu chỉnh và đồng bộ cảm biến: Phát triển các thuật toán hiệu chỉnh chính xác giữa Lidar và Camera để giảm thiểu mất mát thông tin khi chuyển đổi dữ liệu, đảm bảo đồng bộ thời gian và không gian, hoàn thành trong 6 tháng, do đội ngũ kỹ thuật phần cứng và phần mềm phối hợp thực hiện.

4. Đào tạo và nâng cao năng lực cho đội ngũ phát triển: Tổ chức các khóa đào tạo chuyên sâu về học sâu và xử lý dữ liệu đa cảm biến cho kỹ sư và nhà nghiên cứu, nhằm nâng cao chất lượng phát triển mô hình, triển khai liên tục trong 24 tháng, do các tổ chức đào tạo và viện nghiên cứu phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Thị giác Máy tính: Luận văn cung cấp kiến thức chuyên sâu về mô hình học sâu kết hợp đa cảm biến, giúp phát triển các đề tài nghiên cứu liên quan đến nhận diện vật thể 3D.

2. Kỹ sư phát triển hệ thống xe tự hành: Các kỹ sư có thể áp dụng phương pháp kết hợp Lidar và Camera để cải thiện hiệu suất nhận diện trong các dự án thực tế, từ đó nâng cao độ an toàn và tin cậy của xe tự hành.

3. Doanh nghiệp công nghệ và sản xuất ô tô: Các công ty phát triển xe tự hành có thể tham khảo để tối ưu hóa hệ thống cảm biến và thuật toán nhận diện, giảm chi phí phát triển và tăng tính cạnh tranh sản phẩm.

4. Cơ quan quản lý và lập pháp về giao thông thông minh: Thông tin trong luận văn giúp hiểu rõ các thách thức kỹ thuật và tiềm năng ứng dụng, hỗ trợ xây dựng chính sách và tiêu chuẩn an toàn cho xe tự hành.

Câu hỏi thường gặp

1. Tại sao cần kết hợp dữ liệu Lidar và Camera trong nhận diện vật thể 3D?
   Việc kết hợp tận dụng ưu điểm của Lidar về đo khoảng cách chính xác và Camera về phân loại hình ảnh chi tiết, giúp cải thiện độ chính xác tổng thể và giảm dương tính giả trong nhận diện.

2. Bộ dữ liệu KITTI có những đặc điểm gì nổi bật?
   KITTI cung cấp hơn 23.000 khung hình với dữ liệu đồng bộ từ Lidar và Camera, chú thích 8 lớp đối tượng chính, được sử dụng rộng rãi trong nghiên cứu xe tự hành để đánh giá hiệu suất mô hình.

3. Mô hình học sâu được sử dụng trong luận văn gồm những gì?
   Giai đoạn phát hiện sử dụng mô hình SFA3D xử lý đám mây điểm Lidar, giai đoạn phân loại sử dụng mô hình dựa trên ResNet-18 với hàm mất mát kết hợp Cross-Entropy và Triplet Margin để tăng độ chính xác.

4. Làm thế nào để chiếu dữ liệu 3D từ Lidar lên ảnh 2D của Camera?
   Sử dụng ma trận hiệu chỉnh và phép biến đổi tọa độ, các điểm 3D được chuyển đổi sang hệ tọa độ Camera, từ đó tạo ra hộp giới hạn 2D trên ảnh để cắt và phân loại đối tượng.

5. Mô hình đề xuất có thể áp dụng trong thực tế như thế nào?
   Mô hình có thể tích hợp vào hệ thống xe tự hành để nhận diện và phân loại vật thể trong thời gian thực, giúp xe đưa ra quyết định chính xác và an toàn hơn trong môi trường giao thông phức tạp.

Kết luận

• Luận văn đã phát triển thành công mô hình học sâu kết hợp dữ liệu Lidar và Camera, nâng cao độ chính xác nhận diện vật thể 3D trên xe tự hành.
• Mô hình đề xuất mở rộng số lớp nhận diện từ 3 lên 5, giảm thiểu dương tính giả và tăng khả năng phân loại chi tiết.
• Kết quả thử nghiệm trên bộ dữ liệu KITTI cho thấy độ chính xác phân loại đạt trên 98%, vượt trội so với các mô hình chỉ sử dụng một loại cảm biến.
• Nghiên cứu góp phần quan trọng vào việc phát triển các hệ thống xe tự hành an toàn, tin cậy và có khả năng ứng dụng thực tế cao.
• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, cải tiến kỹ thuật đồng bộ cảm biến và triển khai mô hình trong môi trường thực tế để đánh giá hiệu quả toàn diện.

Hành động tiếp theo là áp dụng mô hình vào các dự án xe tự hành thực tế và tiếp tục nghiên cứu nâng cao hiệu suất trong các điều kiện môi trường đa dạng.

Trích đoạn nội dung tài liệu

chương 1 Tóm lại, xe tự hành là một hệ thống phức tạp yêu cầu sự tích hợp chặt chẽ giữa nhiều khối phần cứng và phần mềm. Mặc dù đã đạt được nhiều tiến bộ, nhưng công nghệ nhận thức môi trường vẫn là một thách thức lớn. Sự phát triển và hoàn thiện của các hệ thống này sẽ là yếu tố then chốt để đưa xe tự hành trở thành hiện thực trong cuộc sống hàng ngày và thương mại hóa trên quy mô lớn. Mặc dù trường phái thị giác máy tính đặt nhiều niềm tin vào sự phát triển của trí tuệ nhân tạo để đạt được khả năng nhận thức và ra quyết định giống như con người, nhưng thực tế hiện nay cho thấy cần có sự hỗ trợ của các cảm biến khác như LiDAR để khắc phục những hạn chế hiện có.

Sự kết hợp giữa các công nghệ này sẽ là chìa khóa để phát triển các hệ thống xe tự hành an toàn và hiệu quả, mở ra một tương lai đầy tiềm năng cho ngành công nghiệp này. 8 Chương 2 Các tập dữ liệu và mô hình học sâu nhận diện vật thể 3D 2.1 Các tập dữ liệu mở 2.1 Tập dữ liệu KITTI Bộ dữ liệu KITTI là một trong những bộ dữ liệu phổ biến và có ảnh hưởng nhất trong lĩnh vực robot di động và xe tự hành. Bộ dữ liệu này chứa các dữ liệu có nhãn được thu thập xung quanh thành phố Karlsruhe, Đức. Dữ liệu của KITTI được chia thành nhiều điểm chuẩn khác nhau để đánh giá các thách thức khác nhau, bao gồm theo dõi đối tượng, ước tính độ sâu, và phát hiện đối tượng ở cả dạng 2D và 3D.

Điều này cho phép các nhà nghiên cứu và nhà phát triển có thể kiểm tra và đánh giá hiệu suất của các thuật toán và hệ thống xe tự hành trong các tình huống giao thông thực tế [16]. Bộ dữ liệu KITTI bao gồm hàng giờ các tình huống giao thông được ghi lại bằng nhiều loại cảm biến, bao gồm các Camera RGB với độ phân giải cao và cảm biến LIDAR 3D. Những dữ liệu này cung cấp một cái nhìn chi tiết và đa dạng về các tình huống giao thông, từ đó hỗ trợ quá trình huấn luyện và kiểm tra các hệ thống tự hành. Một điểm hạn chế của bộ dữ liệu KITTI là nó không bao gồm các ground truth cho semantic segmentation (phân đoạn ngữ nghĩa).

Tuy nhiên, nhiều nhà nghiên cứu đã tự gán nhãn thủ công cho các dữ liệu này để phù hợp với mục đích nghiên cứu cụ thể của họ [15]. KITTI đã tạo thủ công 200.000 khung hình, với 7481 mẫu dùng cho huấn luyện (train) và 7518 mẫu dùng cho kiểm tra (test). Bộ dữ liệu này cung cấp hơn 50 cảnh (scenes) với 8 lớp (classes) tại một số địa điểm, chỉ xem xét các đối tượng như người đi bộ, người đi xe đạp và ô tô để đánh giá trực tuyến. Các lớp đối tượng này được lựa chọn kỹ lưỡng để phản ánh các tình huống giao thông phổ biến và quan trọng, từ đó cung cấp một tiêu 9 2.

Các tập dữ liệu mở Bảng 2.1: Bảng class và số lượng class trong tập KITTI Train Validation Total Car 10633 10831 21464 Pedestrian 2111 2159 4270 Total 12744 12990 25734 chuẩn đáng tin cậy cho việc đánh giá các hệ thống xe tự hành [15, 13]. Sự phổ biến và ảnh hưởng của bộ dữ liệu KITTI đối với cộng đồng nghiên cứu về xe tự hành không chỉ nằm ở việc thu thập dữ liệu phong phú và đa dạng mà còn ở các giao thức và điểm chuẩn mà nó cung cấp. Các giao thức này giúp đảm bảo rằng các thí nghiệm và đánh giá được thực hiện một cách nhất quán và có thể so sánh được giữa các nghiên cứu khác nhau. Điều này thúc đẩy sự tiến bộ và hợp tác trong cộng đồng nghiên cứu, đồng thời cung cấp một nền tảng vững chắc cho việc phát triển các công nghệ tự hành [34].

Bộ dữ liệu KITTI không chỉ là một nguồn tài nguyên quý giá cho việc phát triển các thuật toán và hệ thống tự hành mà còn là một tiêu chuẩn vàng để đánh giá hiệu suất của chúng. Nhờ vào sự đa dạng và độ chi tiết của dữ liệu, cùng với các điểm chuẩn rõ ràng và minh bạch, KITTI đã trở thành một công cụ không thể thiếu trong việc thúc đẩy sự tiến bộ của công nghệ xe tự hành. Các nhà nghiên cứu và nhà phát triển có thể sử dụng bộ dữ liệu này để kiểm tra các ý tưởng mới, tinh chỉnh các mô hình hiện có, và chứng minh hiệu suất của các hệ thống của họ trong các tình huống giao thông thực tế [16]. Ngoài ra, việc các nhà nghiên cứu tự gán nhãn thủ công cho các dữ liệu của KITTI để phục vụ các mục đích nghiên cứu cụ thể cũng cho thấy tính linh hoạt và tầm quan trọng của bộ dữ liệu này.

Điều này không chỉ mở rộng phạm vi ứng dụng của KITTI mà còn chứng tỏ rằng, dù có những hạn chế nhất định, bộ dữ liệu này vẫn cung cấp một nền tảng mạnh mẽ và đáng tin cậy cho việc nghiên cứu và phát triển trong lĩnh vực xe tự hành [13]. Tóm lại, bộ dữ liệu KITTI là một tài sản vô giá cho cộng đồng nghiên cứu về xe tự hành, với các dữ liệu phong phú, đa dạng và được gán nhãn tỉ mỉ, cùng với các giao thức và điểm chuẩn rõ ràng. Nó không chỉ hỗ trợ việc phát triển và kiểm tra các hệ thống tự hành mà còn thúc đẩy sự tiến bộ và hợp tác trong cộng đồng nghiên cứu, từ đó góp phần quan trọng vào việc phát triển các công nghệ tự hành tiên tiến và an toàn hơn [34].2 Tập dữ liệu NuScenes Tập dữ liệu NuScenes, được phát hành vào tháng 3 năm 2019, đã nhanh chóng trở thành một chuẩn mực mới trong lĩnh vực phát hiện đối tượng 3D. So với bộ dữ liệu KITTI trước đó, NuScenes mang lại một lượng dữ liệu được chú thích phong phú và đa dạng hơn nhiều, bao gồm 10 2.

Các tập dữ liệu mở hình ảnh, đám mây điểm LIDAR và radar. Một trong những điểm nổi bật của NuScenes là việc sử dụng đến 23 lớp nhãn khác nhau, cung cấp mức độ chi tiết và độ chính xác cao hơn trong việc phân loại các đối tượng [10]. Dữ liệu NuScenes được thu thập trên các đường phố của hai thành phố lớn là Singapore và Boston, giúp đảm bảo tính đa dạng về môi trường giao thông và điều kiện đường phố. Bộ dữ liệu này bao gồm 1000 cảnh, mỗi cảnh kéo dài khoảng 20 giây, tạo ra một tập hợp dữ liệu phong phú và toàn diện cho các nhà nghiên cứu và phát triển trong lĩnh vực xe tự hành.

Sự phong phú và đa dạng của dữ liệu giúp đảm bảo rằng các hệ thống phát hiện đối tượng 3D có thể được huấn luyện và kiểm tra trong nhiều tình huống và điều kiện khác nhau [35]. NuScenes sử dụng một hệ thống cảm biến phức tạp với 6 Camera, bao gồm 3 Camera ở phía trước và 3 Camera ở phía sau xe. Điều này cho phép ghi lại toàn cảnh xung quanh xe với độ phân giải cao, cung cấp thông tin chi tiết về môi trường xung quanh từ nhiều góc nhìn khác nhau. Sự kết hợp giữa dữ liệu từ Camera, LIDAR và radar giúp tạo ra một bản đồ 3D chính xác và chi tiết về môi trường, từ đó hỗ trợ quá trình phát hiện và phân loại đối tượng một cách hiệu quả [10, 35].2: Bảng class và số lượng class trong tập NuScenes Train Validation Total Car 232141 49398 281539 Pedestrian 118850 23322 142172 Total 350991 72720 423771 Tương tự như KITTI, NuScenes cung cấp chú thích 3D cho nhiều lớp khác nhau mặc dù chúng ta sẽ chỉ tập trung vào ô tô và người đi bộ để đảm bảo tính nhất quán.

NuScenes cung cấp các chú thích sau: • Label: có 23 lớp. • Center: Tâm của đối tượng (x, y, z): theo tọa độ Camera (tính bằng mét). • Dimensions: chiều rộng, chiều cao và chiều dài của hộp giới hạn 3D (tính bằng mét). • Orientation: từ quaternion mô tả chuyển động quay của đối tượng, chúng ta trích xuất góc yaw, do đó giả sử góc quay và góc lăn rỗng.

• Camera intrinsics: ma trận hiệu chỉnh Camera. Các chỉ số đánh giá mô hình nhận diện đối tượng 3D 2.3 Tập dữ liệu Waymo Tập dữ liệu Waymo là một bộ dữ liệu quy mô lớn mới, có chất lượng cao và đa dạng, được thiết kế để hỗ trợ nghiên cứu và phát triển trong lĩnh vực xe tự hành. Bộ dữ liệu này bao gồm 1150 cảnh, mỗi cảnh kéo dài 20 giây, cung cấp một lượng lớn dữ liệu Camera và LiDAR chất lượng cao. Các dữ liệu này đã được đồng bộ hóa và hiệu chỉnh chính xác, đảm bảo tính nhất quán và độ tin cậy trong các phân tích và mô hình hóa.

Dữ liệu được thu thập từ nhiều khu vực khác nhau, bao gồm cả khu vực thành thị và ngoại ô, giúp tăng cường tính đa dạng và độ bao phủ của tập dữ liệu [41]. Một phân tích so sánh cho thấy tập dữ liệu Waymo vượt trội hơn hẳn so với các bộ dữ liệu khác về số lượng và chất lượng dữ liệu. Điều này làm cho Waymo trở thành một lựa chọn hấp dẫn cho các nhà nghiên cứu và nhà phát triển khi tìm kiếm các bộ dữ liệu lớn và đa dạng để huấn luyện và kiểm tra các hệ thống xe tự hành. Tuy nhiên, trong phạm vi luận án này, tôi đã quyết định chọn tập dữ liệu KITTI để huấn luyện mô hình.

Lý do cho sự lựa chọn này là tính nhỏ gọn và phổ biến của tập dữ liệu KITTI, giúp dễ dàng tiếp cận và sử dụng trong nghiên cứu. KITTI đã được cộng đồng nghiên cứu sử dụng rộng rãi và đã trở thành một chuẩn mực trong lĩnh vực phát hiện đối tượng và định vị, do đó, việc sử dụng KITTI sẽ giúp đảm bảo rằng các kết quả nghiên cứu có thể so sánh và đối chiếu với các nghiên cứu trước đó [16]. Mặc dù Waymo cung cấp một lượng dữ liệu lớn và đa dạng, nhưng tính nhỏ gọn của KITTI giúp tối ưu hóa quá trình huấn luyện mô hình và giảm thiểu yêu cầu về tài nguyên tính toán. Hơn nữa, sự phổ biến của KITTI trong cộng đồng nghiên cứu đồng nghĩa với việc có nhiều tài liệu hỗ trợ và các nghiên cứu liên quan có thể tham khảo, điều này giúp quá trình nghiên cứu trở nên thuận lợi hơn.

Do đó, dù Waymo có nhiều ưu điểm về quy mô và chất lượng dữ liệu, KITTI vẫn là lựa chọn phù hợp cho nghiên cứu này, nhờ vào tính thực tiễn và sự chấp nhận rộng rãi của nó trong cộng đồng khoa học [sun2020scalability, 16].