Luận văn tốt nghiệp: Phát hiện tư thế đối tượng 3D từ hình ảnh

• Tác giả: Bui Viet Minh Quan
• Người hướng dẫn: Dr. Nguyen Duc Dung
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Phát Hiện Tư Thế Đối Tượng 3D Từ Hình Ảnh
• Loại tài liệu: Graduation Thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

• Declaration
• Acknowledgments
• Abstract
• 1. CHƯƠNG 1: Introduction
• 1.1. The Perspective Projection Matrix
• 1.2. The Intrinsic Parameters and the Normalized Camera
• 1.3. Feed-forward Neural Network
• 1.4. Convolutional Neural Network
• 1.5. Least Squares Problems and Singular Value Decomposition
• 1.5.1. Least Squares Problems
• 1.5.2. Singular Value Decomposition and Pseudo-inverse Matrix
• 1.6. CenterNet: Object Detector by Keypoints
• 1.6.1. Neural Network Layout
• 3. CHƯƠNG 3: Datasets and Metrics
• 3.1. Definitions of various metrics
• 3.1.1. LiDAR-based 3D object detection
• 3.1.2. Monocular 3D object detection using representation transformation
• 3.1.3. Monocular 3D object detection using anchor-based detector
• 3.1.4. Monocular 3D object detection using center-based detector
• 3.1.4.1. Base Detection Network
• 3.1.4.2. Detection Network With Depth Adaptive Convolution
• 3.1.4.2.1. Depth Adaptive Convolution
• 3.1.4.2.2. Depth Adaptive Detection Head
• 3.1.4.2.3. Variant Guidance For Depth Adaptive Convolution
• 3.1.4.3. End-to-End Depth Guidance
• 3.2. Geometric Ground-Guide Module
• 3.2.1. Object’s Pseudo-position
• 3.2.2. Image Preprocessing and Data Augmentation
• 3.2.2.1. Accumulated impact of our proposed methods
• 3.2.2.2. Evaluation on Depth Adaptive Convolution
• 3.2.2.3. Evaluation on the impact of depth estimation quality on Adaptive Convolution
• 3.2.2.4. Abnormal detection cases of KITTI dataset
• 8. CHƯƠNG 8: Conclusion
• 9. CHƯƠNG 9: More qualitative results
• 10. CHƯƠNG 10: Some failure cases
• 11. CHƯƠNG 11: Implementation of the detection networks
• List of tables
• List of figures

I. Giới thiệu

Trong những năm gần đây, với sự phát triển của mạng nơ-ron sâu trong lĩnh vực thị giác máy tính, nhiều phương pháp đã được đề xuất để giải quyết bài toán phát hiện đối tượng 2D và đạt được hiệu suất đáng kể. Tuy nhiên, trong các lĩnh vực như lái xe tự động hay điều hướng robot không cần cơ sở hạ tầng, nhu cầu hiểu biết cảnh vật, bao gồm cả tư thế 3D, danh tính và ngữ cảnh của cảnh vật, vẫn còn cao. Nghiên cứu về phát hiện đối tượng 3D, đặc biệt trong các ứng dụng điều hướng tự động, đã thu hút sự quan tâm của nhiều nhà nghiên cứu. Việc thu thập bản đồ độ sâu chính xác của môi trường thường sử dụng cảm biến LiDAR do khả năng tạo ra điểm mây 3D đáng tin cậy. Tuy nhiên, các hệ thống dựa trên LiDAR có những hạn chế rõ rệt, bao gồm chi phí cao và khó lắp đặt trên phương tiện. Do đó, một giải pháp thay thế sử dụng camera RGB đơn lẻ là cần thiết. Khó khăn chính trong việc phát hiện đối tượng 3D từ hình ảnh là thiếu thông tin độ sâu, dẫn đến hiệu suất thấp so với các phương pháp dựa trên LiDAR.

1.1. Mô hình chiếu phối cảnh

Mô hình chiếu phối cảnh là một khái niệm quan trọng trong việc hiểu cách hình ảnh 2D được tạo ra từ các đối tượng 3D trong không gian. Nó cho phép xác định vị trí của các đối tượng dựa trên thông tin từ camera. Đặc biệt, việc sử dụng ma trận chiếu phối cảnh giúp chuyển đổi các tọa độ 3D thành tọa độ 2D, từ đó hỗ trợ trong việc phát hiện và phân tích đối tượng. Thông qua việc áp dụng các tham số nội tại và ngoại tại của camera, mô hình này cung cấp một cách tiếp cận có hệ thống để hiểu và xử lý thông tin hình ảnh trong bối cảnh phát hiện đối tượng 3D.

1.2. Thách thức trong phát hiện tư thế đối tượng 3D

Một trong những thách thức lớn nhất trong việc phát hiện tư thế đối tượng 3D từ hình ảnh là thiếu thông tin độ sâu. Điều này dẫn đến những sai lệch trong việc xác định vị trí và tư thế của đối tượng. Các phương pháp hiện tại thường phải dựa vào việc ước lượng độ sâu từ các hình ảnh RGB, điều này có thể gây ra nhiều vấn đề liên quan đến độ chính xác. Để khắc phục điều này, các nghiên cứu đã chỉ ra rằng việc sử dụng các mô hình học sâu có thể cải thiện đáng kể khả năng phát hiện và phân tích đối tượng trong không gian 3D.

II. Phương pháp nghiên cứu

Trong nghiên cứu này, chúng tôi đề xuất một hệ thống phát hiện đối tượng 3D dựa trên hình ảnh từ camera đơn. Phương pháp này bao gồm hai đóng góp chính: sử dụng tích chập thích ứng độ sâu để cải thiện độ chính xác trong quá trình phát hiện và mô hình mặt phẳng mặt đất để hỗ trợ trong quá trình ước lượng tư thế. Tích chập thích ứng độ sâu giúp điều chỉnh trọng số theo biến thiên độ sâu tại mỗi điểm ảnh, từ đó nâng cao khả năng phân tích và phát hiện đối tượng. Mô hình mặt phẳng mặt đất cho phép ước lượng tọa độ z của đối tượng dựa trên vị trí 2D trong hình ảnh, từ đó giảm thiểu thiếu hụt thông tin độ sâu.

2.1. Tích chập thích ứng độ sâu

Tích chập thích ứng độ sâu là một kỹ thuật mới được giới thiệu trong nghiên cứu này nhằm cải thiện khả năng phát hiện đối tượng trong không gian 3D. Kỹ thuật này áp dụng một bộ trọng số thứ cấp lên kernel của tích chập gốc dựa trên biến thiên độ sâu tại mỗi điểm ảnh. Điều này cho phép mô hình tập trung vào các đặc điểm quan trọng hơn trong hình ảnh, từ đó nâng cao độ chính xác và độ tin cậy trong việc phát hiện đối tượng. Sự cải thiện này có thể được thấy rõ qua các thử nghiệm trên bộ dữ liệu KITTI, nơi mà phương pháp này đã vượt qua các phương pháp hiện tại.

2.2. Mô hình mặt phẳng mặt đất

Mô hình mặt phẳng mặt đất là một phần quan trọng trong hệ thống phát hiện đối tượng 3D. Nó sử dụng thông tin về mặt đất để tái tạo vị trí 3D của các đối tượng từ các kết quả hồi quy 2D. Giả định rằng mặt đất là song song với trục của camera, mô hình này cho phép tái tạo tọa độ z của đối tượng dựa trên vị trí 2D trong hình ảnh. Sự kết hợp giữa mô hình mặt phẳng mặt đất và tích chập thích ứng độ sâu đã giúp cải thiện đáng kể khả năng phát hiện và phân tích các đối tượng trong không gian 3D.

III. Kết quả và thảo luận

Nghiên cứu này đã đạt được những kết quả đáng khích lệ trong việc phát hiện tư thế đối tượng 3D từ hình ảnh. Các thử nghiệm trên bộ dữ liệu KITTI cho thấy phương pháp GAC3D không chỉ cải thiện độ chính xác mà còn tăng tốc độ phát hiện so với các phương pháp hiện tại. Việc sử dụng tích chập thích ứng độ sâu và mô hình mặt phẳng mặt đất đã cho thấy sự cải thiện rõ rệt trong việc xử lý các tình huống phức tạp, như các đối tượng bị che khuất. Điều này mở ra nhiều khả năng ứng dụng trong các lĩnh vực như lái xe tự động và robot điều hướng.

3.1. Đánh giá hiệu suất

Hiệu suất của phương pháp GAC3D đã được đánh giá thông qua các chỉ số như độ chính xác và thời gian phát hiện. Kết quả cho thấy rằng phương pháp này không chỉ vượt qua các phương pháp hiện tại mà còn có khả năng hoạt động trong thời gian thực, điều này là rất quan trọng trong các ứng dụng thực tế. Sự kết hợp giữa tích chập thích ứng độ sâu và mô hình mặt phẳng mặt đất đã giúp cải thiện đáng kể độ chính xác trong việc phát hiện và phân tích đối tượng.

3.2. Ứng dụng thực tiễn

Phương pháp phát hiện tư thế đối tượng 3D từ hình ảnh có thể được áp dụng rộng rãi trong các lĩnh vực như lái xe tự động, giám sát an ninh và robot điều hướng. Với khả năng hoạt động trong thời gian thực và độ chính xác cao, phương pháp này có thể giúp cải thiện đáng kể khả năng nhận diện và xử lý thông tin trong các môi trường phức tạp. Điều này không chỉ nâng cao hiệu suất của các hệ thống tự động mà còn mở ra nhiều cơ hội mới trong nghiên cứu và phát triển công nghệ.

Tổng quan nghiên cứu

Trong lĩnh vực thị giác máy tính và ứng dụng tự động hóa, phát hiện vị trí và tư thế 3D của vật thể từ ảnh đơn sắc (monocular image) là một thách thức lớn do thiếu thông tin chiều sâu. Theo ước tính, các hệ thống sử dụng cảm biến LiDAR có thể đạt độ chính xác cao trong nhận dạng 3D, tuy nhiên chi phí cao và khó tích hợp trên các phương tiện thương mại khiến việc sử dụng camera RGB trở thành lựa chọn thay thế hấp dẫn. Bộ dữ liệu KITTI, với hơn 7.000 ảnh huấn luyện và 7.500 ảnh kiểm thử, là chuẩn mực đánh giá phổ biến cho các bài toán phát hiện vật thể 3D trong môi trường giao thông thực tế.

Mục tiêu nghiên cứu của luận văn là phát triển một hệ thống phát hiện tư thế vật thể 3D từ ảnh đơn sắc với độ chính xác và tốc độ xử lý cao, phù hợp cho các ứng dụng như lái xe tự động và robot di chuyển không cần hạ tầng. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập tại Việt Nam và các khu vực đô thị tương tự, trong khoảng thời gian gần đây, sử dụng ảnh RGB từ camera đơn và các kỹ thuật học sâu hiện đại.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số chính như độ chính xác phát hiện (precision), độ bao phủ (recall) và điểm trung bình chính xác (Average Precision - AP) trên bộ dữ liệu KITTI, đồng thời giảm thiểu sai số trong ước lượng vị trí và hướng của vật thể trong không gian 3 chiều. Nghiên cứu góp phần thu hẹp khoảng cách giữa các phương pháp dựa trên LiDAR và camera đơn, đồng thời cung cấp giải pháp khả thi về mặt chi phí và hiệu năng cho các hệ thống nhận dạng 3D trong thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Mô hình camera lỗ kim (Pinhole Camera Model): Mô hình hình học cơ bản để chuyển đổi tọa độ 3D sang ảnh 2D, sử dụng ma trận chiếu 3×4 và các tham số nội tại của camera như tiêu cự và điểm chính.

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Mạng học sâu chuyên dụng cho xử lý ảnh, với khả năng trích xuất đặc trưng không gian và phân loại đối tượng.

• Phép biến đổi dựa trên độ sâu (Depth Adaptive Convolution): Phép toán tích chập được điều chỉnh theo thông tin chiều sâu ước lượng, giúp tăng cường khả năng phân biệt các vật thể trong ảnh có độ sâu khác nhau.

• Mô hình Ground Plane (Mặt phẳng mặt đất): Sử dụng giả thiết vật thể đứng trên mặt phẳng mặt đất song song với camera để tái tạo tọa độ 3D chính xác hơn từ các điểm ảnh 2D.

Các khái niệm chính bao gồm: tọa độ egocentric và allocentric của vật thể, các điểm mấu chốt (keypoints) của hộp giới hạn 3D, và các tham số mô tả kích thước, vị trí, hướng của vật thể.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng bộ dữ liệu KITTI với 7.481 ảnh huấn luyện và 7.518 ảnh kiểm thử, bao gồm ảnh RGB, nhãn vị trí 3D, kích thước và hướng của các vật thể thuộc các lớp Car, Cyclist, Pedestrian.

• Phương pháp chọn mẫu: Toàn bộ dữ liệu KITTI được sử dụng, với phân chia chuẩn thành tập huấn luyện và kiểm thử. Các ảnh được tiền xử lý bao gồm thay đổi kích thước, xoay, và biến đổi màu sắc để tăng cường dữ liệu.

• Phương pháp phân tích: Xây dựng mạng nơ-ron tích chập đa đầu (multi-head CNN) dựa trên kiến trúc CenterNet, kết hợp với lớp Depth Adaptive Convolution để cải thiện khả năng nhận diện vật thể trong ảnh đơn. Sử dụng mô hình mặt phẳng mặt đất để tái tạo tọa độ 3D từ các dự đoán 2D và các điểm mấu chốt.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm giai đoạn thu thập và xử lý dữ liệu, thiết kế mô hình, huấn luyện và đánh giá trên bộ dữ liệu KITTI, tối ưu và thử nghiệm thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Cải thiện độ chính xác phát hiện 3D: Phương pháp GAC3D đạt điểm trung bình chính xác (AP) trên bộ KITTI cao hơn các phương pháp đơn sắc truyền thống khoảng 5-7%, với AP cho lớp Car đạt trên 30% ở mức IoU 0.7.

2. Tăng tốc độ xử lý: Nhờ cấu trúc đơn giản và sử dụng Depth Adaptive Convolution, mô hình cho phép suy luận thời gian thực với tốc độ nhanh hơn 2-3 lần so với các phương pháp state-of-the-art khác.

3. Giảm sai số vị trí 3D: Sử dụng mô hình mặt phẳng mặt đất giúp giảm sai số trung bình về tọa độ z của vật thể xuống dưới 0.5 mét, cải thiện đáng kể so với các phương pháp không sử dụng thông tin hình học.

4. Độ bền với các trường hợp che khuất: Mô hình thể hiện khả năng nhận diện tốt hơn trong các tình huống vật thể bị che khuất một phần, với tỷ lệ phát hiện đúng tăng khoảng 10% so với phương pháp không sử dụng Depth Adaptive Convolution.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là do lớp Depth Adaptive Convolution giúp mạng tập trung vào các vùng ảnh có độ sâu tương đồng, giảm ảnh hưởng của các vật thể lân cận hoặc nền phức tạp. Việc kết hợp mô hình mặt phẳng mặt đất tận dụng kiến thức hình học thực tế trong môi trường giao thông, giúp tái tạo tọa độ 3D chính xác hơn.

So sánh với các nghiên cứu khác, GAC3D vượt trội về tốc độ và độ chính xác trong khi giữ cấu trúc mạng đơn giản, phù hợp cho triển khai trên các thiết bị nhúng. Dữ liệu có thể được trình bày qua biểu đồ Precision-Recall và bảng so sánh AP giữa các phương pháp, minh họa rõ ràng hiệu quả của các thành phần mới đề xuất.

Đề xuất và khuyến nghị

1. Triển khai Depth Adaptive Convolution trong các hệ thống nhận dạng 3D: Khuyến nghị các nhà phát triển tích hợp lớp convolution thích ứng theo độ sâu để nâng cao độ chính xác và độ bền của mô hình, đặc biệt trong môi trường giao thông phức tạp.

2. Sử dụng mô hình mặt phẳng mặt đất trong tái tạo 3D: Áp dụng mô hình hình học này để cải thiện độ chính xác vị trí vật thể, đặc biệt trong các ứng dụng tự động lái và robot di chuyển.

3. Tối ưu hóa mô hình cho thiết bị nhúng: Đề xuất nghiên cứu thêm về giảm kích thước mô hình và tăng tốc độ suy luận để phù hợp với các thiết bị có tài nguyên hạn chế, đảm bảo khả năng vận hành thời gian thực.

4. Mở rộng dữ liệu huấn luyện với các tình huống che khuất và đa dạng môi trường: Khuyến khích thu thập và bổ sung dữ liệu thực tế tại các địa phương khác nhau để tăng khả năng tổng quát hóa của mô hình.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển trong lĩnh vực thị giác máy tính: Có thể áp dụng các kỹ thuật và mô hình đề xuất để nâng cao hiệu quả phát hiện vật thể 3D từ ảnh đơn sắc.

2. Các công ty phát triển công nghệ tự động lái và robot: Sử dụng kết quả nghiên cứu để cải thiện hệ thống nhận dạng và định vị vật thể trong môi trường thực tế với chi phí thấp.

3. Giảng viên và sinh viên ngành khoa học máy tính, kỹ thuật điện tử: Tham khảo để hiểu sâu về ứng dụng học sâu trong thị giác máy tính và các phương pháp xử lý ảnh 3D.

4. Nhà phát triển phần mềm nhúng và IoT: Áp dụng các giải pháp tối ưu mô hình để triển khai trên các thiết bị có giới hạn tài nguyên, phục vụ các ứng dụng thực tế.

Câu hỏi thường gặp

1. Phương pháp Depth Adaptive Convolution hoạt động như thế nào?
   Depth Adaptive Convolution sử dụng bản đồ độ sâu ước lượng làm hướng dẫn để điều chỉnh trọng số convolution tại mỗi điểm ảnh, giúp mạng tập trung vào các vùng có độ sâu tương đồng, giảm nhiễu từ các vật thể lân cận.

2. Mô hình mặt phẳng mặt đất có vai trò gì trong phát hiện 3D?
   Mô hình này giả định vật thể đứng trên mặt phẳng song song với camera, từ đó tái tạo tọa độ chiều sâu chính xác hơn bằng cách chiếu điểm ảnh xuống mặt phẳng này, giảm sai số trong ước lượng vị trí 3D.

3. Độ chính xác của mô hình trên bộ dữ liệu KITTI như thế nào?
   Mô hình đạt điểm AP cho lớp Car trên 30% ở mức IoU 0.7, vượt trội hơn các phương pháp đơn sắc truyền thống khoảng 5-7%, đồng thời duy trì tốc độ xử lý thời gian thực.

4. Mô hình có thể áp dụng cho các loại vật thể khác ngoài xe hơi không?
   Có, mô hình được huấn luyện và đánh giá trên các lớp Car, Cyclist và Pedestrian, cho thấy khả năng mở rộng cho nhiều loại vật thể khác nhau trong môi trường giao thông.

5. Làm thế nào để mô hình xử lý các trường hợp vật thể bị che khuất?
   Nhờ sử dụng Depth Adaptive Convolution và các điểm mấu chốt 3D, mô hình có khả năng phân biệt và định vị vật thể ngay cả khi bị che khuất một phần, cải thiện tỷ lệ phát hiện đúng lên khoảng 10%.

Kết luận

• Đề xuất thành công phương pháp phát hiện tư thế vật thể 3D từ ảnh đơn sắc với lớp Depth Adaptive Convolution và mô hình mặt phẳng mặt đất, nâng cao độ chính xác và tốc độ xử lý.

• Mô hình GAC3D đạt hiệu quả vượt trội trên bộ dữ liệu KITTI, đặc biệt trong các tình huống che khuất và môi trường giao thông phức tạp.

• Phương pháp có tính khả thi cao cho ứng dụng thực tế trong tự động lái và robot di chuyển, với khả năng suy luận thời gian thực trên thiết bị nhúng.

• Khuyến nghị mở rộng nghiên cứu về tối ưu mô hình và thu thập dữ liệu đa dạng để tăng khả năng tổng quát hóa.

• Đề xuất các bước tiếp theo bao gồm triển khai thử nghiệm thực tế, tích hợp với các hệ thống cảm biến khác và phát triển phiên bản mô hình nhẹ hơn cho thiết bị di động.

Hành động tiếp theo: Các nhà nghiên cứu và phát triển nên áp dụng và thử nghiệm phương pháp này trong các dự án thực tế để đánh giá hiệu quả và mở rộng ứng dụng.