Tài liệu: Luận văn 3d semantic scene completion for autonomous driving

Nghiên cứu hoàn thành cảnh 3D ngữ nghĩa cho lái xe tự động, ứng dụng công nghệ mới nâng cao hiệu quả và độ chính xác trong môi trường giao thông.

• Tác giả: Trần Công Huy Hoàng
• Người hướng dẫn: PTS. Nguyễn Tiến Thịnh
• Trường học: Trường Đại học Bách khoa, Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: 3D Semantic Scene Completion for Autonomous Driving
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan 3D Semantic Scene Completion for Autonomous Driving

Công nghệ xe tự hành đang tạo ra một cuộc cách mạng trong ngành công nghiệp ô tô toàn cầu. Hệ thống này cho phép phương tiện vận hành độc lập thông qua các thuật toán trí tuệ nhân tạo tiên tiến. Để đạt được mức độ tự chủ hoàn toàn, khả năng nhận diện môi trường xung quanh là yếu tố then chốt. 3D Semantic Scene Completion (SSC) giải quyết bài toán này bằng cách tạo ra mô hình môi trường hoàn chỉnh từ dữ liệu cảm biến không đầy đủ. Nhiệm vụ chính của SSC là tái tạo cấu trúc 3D và gán nhãn ngữ nghĩa cho từng voxel từ dữ liệu đám mây điểm thưa thớt. Quá trình này kết hợp giữa việc hoàn thiện cảnh quan và Semantic Segmentation 3D. Autonomous Driving Perception đòi hỏi sự chính xác tuyệt đối để đảm bảo an toàn giao thông và giảm thiểu tắc nghẽn. Các cảm biến như LiDAR hay Camera thường bị hạn chế bởi vật cản hoặc tầm nhìn giới hạn. 3D Semantic Scene Completion (SSC) sử dụng AI để dự đoán các khu vực bị che khuất, cung cấp một bức tranh toàn cảnh về môi trường lái xe. Khả năng hiểu ngữ nghĩa giúp xe phân biệt được các thực thể như mặt đường, xe cộ và người đi bộ. Nghiên cứu này tập trung vào các phương pháp dựa trên LiDAR để tối ưu hóa hiệu suất thực tế. Đây là giải pháp đáng tin cậy nhất cho các ứng dụng tự hành hiện nay.

1.1 Tầm quan trọng của Autonomous Driving Perception hiện nay

Hệ thống nhận diện trong xe tự hành đóng vai trò như đôi mắt và bộ não của phương tiện. Autonomous Driving Perception không chỉ dừng lại ở việc phát hiện vật thể mà còn phải hiểu sâu về ngữ nghĩa không gian. Việc thiếu hụt thông tin do vật cản có thể dẫn đến những quyết định sai lầm trong điều hướng. 3D Semantic Scene Completion (SSC) giúp lấp đầy các khoảng trống dữ liệu, tạo ra một bản đồ 3D dày đặc và giàu thông tin. Điều này hỗ trợ đắc lực cho các tác vụ hạ nguồn như lập kế hoạch quỹ đạo và tránh vật cản.

1.2 Ứng dụng mô hình 3D Semantic Scene Completion SSC thực tế

Trong thực tế, SSC cho phép xe tự hành "nhìn xuyên" qua các vật cản bằng cách suy luận logic dựa trên dữ liệu đã học. Ví dụ, khi một phần của tòa nhà bị che khuất bởi xe tải, mô hình Deep Learning for Computer Vision sẽ dự đoán cấu trúc còn lại. Ứng dụng này giúp giảm tải cho hệ thống cảm biến và tăng cường độ an toàn. Việc sử dụng Voxel-based representation giúp máy tính xử lý không gian 3D một cách có hệ thống và hiệu quả hơn trong các kịch bản giao thông phức tạp.

II. Thách thức LiDAR based scene understanding trong môi trường thực

Dữ liệu LiDAR cung cấp thông tin hình học chính xác nhưng lại đối mặt với nhiều thách thức về cấu trúc. Các đám mây điểm thu được thường không đồng đều và có độ thưa thớt tăng dần theo khoảng cách. LiDAR-based scene understanding đòi hỏi khả năng xử lý dữ liệu thô cực kỳ phức tạp. Các phương pháp truyền thống thường gặp khó khăn khi đối phó với sự biến đổi mật độ điểm này. Ngoài ra, nhiễu từ cảm biến và các yếu tố môi trường như mưa, sương mù làm giảm chất lượng nhãn dữ liệu. Việc thực hiện Occupancy Prediction trên một không gian 3D rộng lớn tiêu tốn rất nhiều tài nguyên tính toán. Các mô hình hiện tại vẫn còn hạn chế trong việc cân bằng giữa độ chính xác và tốc độ xử lý. Thông tin về cấu trúc thẳng đứng thường bị mất mát khi thực hiện các phép chiếu từ 3D sang 2D. Điều này gây khó khăn cho việc tái tạo các vật thể nhỏ như người đi bộ hoặc biển báo giao thông. Các nghiên cứu trước đây thường sử dụng RGB-D data fusion nhưng vẫn chưa đạt được độ tin cậy cần thiết cho ứng dụng thời gian thực. Sự phụ thuộc vào dữ liệu 2D thường gây ra các lỗi do hiện tượng che khuất. Do đó, việc phát triển các kiến trúc mạng nơ-ron chuyên biệt cho dữ liệu 3D là vô cùng cấp thiết.

2.1 Hạn chế của dữ liệu Point Cloud Voxelization truyền thống

Kỹ thuật Point Cloud Voxelization thông thường chia không gian thành các khối lập phương đồng nhất. Tuy nhiên, mật độ điểm LiDAR giảm theo bình phương khoảng cách từ cảm biến. Điều này dẫn đến tình trạng các voxel ở xa thường trống rỗng, gây lãng phí tài nguyên tính toán. Ngược lại, các vùng gần cảm biến lại có quá nhiều điểm, làm mất đi các chi tiết nhỏ do quá trình lấy mẫu không tối ưu. Sự mất cân bằng này ảnh hưởng trực tiếp đến khả năng trích xuất đặc trưng của mô hình.

2.2 Vấn đề mất mát thông tin khi thực hiện Occupancy Prediction

Khi dự đoán trạng thái chiếm chỗ (Occupancy Prediction), các mô hình thường phải nén dữ liệu để tăng tốc độ. Quá trình này vô tình loại bỏ các tín hiệu hình học quan trọng. Đặc biệt, khi chuyển đổi sang dạng Bird's-Eye-View (BEV), thông tin về chiều cao bị triệt tiêu đáng kể. Điều này làm cho việc phân biệt giữa các vật thể có hình chiếu bằng giống nhau trở nên khó khăn. Việc thiếu hụt Geometric constraints dẫn đến các kết quả tái tạo không thực tế và thiếu tính nhất quán.

III. Phương pháp Cylindrical partition voxelization tối ưu dữ liệu

Để giải quyết sự mất cân bằng mật độ điểm, kỹ thuật Cylindrical partition voxelization được đề xuất như một giải pháp đột phá. Thay vì sử dụng lưới lập phương, phương pháp này chia không gian theo hệ tọa độ trụ. Kích thước của các voxel hình trụ thay đổi linh hoạt dựa trên khoảng cách hướng tâm từ cảm biến. Điều này tạo ra một sự phân bổ dữ liệu đồng đều hơn trên toàn bộ cảnh quan. Các vùng ở xa được gán các voxel lớn hơn để bù đắp cho sự thưa thớt của điểm. Trong khi đó, các vùng gần cảm biến vẫn giữ được độ phân giải cao để trích xuất chi tiết. Feature Extraction trên lưới tọa độ trụ giúp mô hình học được các đặc trưng bất biến đối với phép quay. Đây là một đặc tính quan trọng trong môi trường lái xe ngoài trời. Việc áp dụng Neural Networks (CNN, Transformers) trên cấu trúc này mang lại hiệu quả vượt trội về mặt bộ nhớ. Mô hình có thể tập trung vào các vùng có dữ liệu thực tế thay vì xử lý các vùng trống rỗng. Kết quả thực nghiệm trên SemanticKITTI dataset cho thấy sự cải thiện rõ rệt về độ chính xác. Phương pháp này giúp giảm thiểu đáng kể lỗi lượng tử hóa trong quá trình xử lý đám mây điểm. Đây là nền tảng quan trọng để xây dựng các hệ thống nhận diện 3D mạnh mẽ hơn.

3.1 Kỹ thuật Feature Extraction trên lưới tọa độ trụ mới

Quy trình Feature Extraction bắt đầu bằng việc chuyển đổi tọa độ Descartes sang tọa độ cực. Các điểm LiDAR được nhóm vào các voxel hình trụ dựa trên bán kính, góc phương vị và chiều cao. Sau đó, một mạng MLP được sử dụng để trích xuất đặc trưng cấp điểm trước khi tổng hợp thành đặc trưng voxel. Cách tiếp cận này giúp duy trì cấu trúc hình học tự nhiên của dữ liệu quét từ LiDAR quay, tối ưu hóa khả năng học máy trên dữ liệu thô.

3.2 Ưu điểm của phân vùng trụ so với Voxel based representation

So với Voxel-based representation dạng khối lập phương, phân vùng trụ phản ánh chính xác hơn đặc tính vật lý của cảm biến LiDAR. Nó loại bỏ sự phân bố không đều của các điểm trong không gian, giúp các lớp tích chập hoạt động hiệu quả hơn. Khả năng bao phủ không gian của lưới trụ tốt hơn trong việc nắm bắt các cấu trúc cong như lề đường hoặc vòng xuyến. Điều này trực tiếp nâng cao chỉ số mIoU evaluation metric trong các nhiệm vụ phân đoạn và hoàn thiện cảnh.

IV. Cách vận hành Cylinder Cube Features Mapping CCFM hiệu quả

Một thách thức lớn nảy sinh khi kết hợp đặc trưng hình trụ với các đầu ra dạng khối lập phương tiêu chuẩn. Mô hình cần một cơ chế chuyển đổi thông tin mượt mà giữa hai không gian tọa độ này. Cylinder-Cube Features Mapping (CCFM) được thiết kế để đóng vai trò là cầu nối trung gian. Module này thực hiện ánh xạ các đặc trưng từ hệ tọa độ trụ sang lưới tọa độ Descartes một cách chính xác. Quá trình này không chỉ là phép thay đổi tọa độ đơn thuần mà còn kết hợp tinh chỉnh đặc trưng. CCFM sử dụng cơ chế gộp cực đại và rasterization để tạo ra các bản đồ đặc trưng BEV giàu ngữ nghĩa. Việc tích hợp Geometric constraints vào quá trình ánh xạ giúp giảm thiểu sai số vị trí. Đặc trưng cấp điểm được bảo toàn và chuyển đổi thông qua các phép toán nội suy thông minh. Điều này cho phép mô hình tận dụng sức mạnh của mạng 2D CNN nhanh chóng trong khi vẫn giữ được thông tin 3D quý giá. Multi-modal sensor fusion có thể được thực hiện dễ dàng hơn nhờ cấu trúc dữ liệu đã được chuẩn hóa. CCFM giúp bộ giải mã (decoder) nhận được thông tin ngữ nghĩa sâu từ bộ mã hóa (encoder) 3D. Sự kết hợp này tạo ra một hệ thống nhận diện có khả năng hiểu cả cấu trúc cục bộ và bố cục toàn cục. Nhờ đó, hiệu suất Real-time processing được cải thiện đáng kể mà không hy sinh độ chính xác.

4.1 Quy trình Multi modal sensor fusion giữa 2D và 3D

Module CCFM tạo điều kiện cho việc kết hợp dữ liệu từ nhiều nguồn khác nhau. Đặc trưng ngữ nghĩa từ nhánh 3D được chiếu lên không gian 2D để làm giàu thông tin cho nhánh BEV. Quá trình Multi-modal sensor fusion này giúp mô hình bù đắp các khiếm khuyết của từng loại biểu diễn dữ liệu. Sự tương tác giữa các luồng thông tin giúp hệ thống đưa ra dự đoán chính xác hơn về các vật thể bị che khuất một phần hoặc hoàn toàn.

4.2 Tối ưu hóa Geometric constraints qua mô hình CCFM

Bằng cách duy trì các ràng buộc hình học (Geometric constraints), CCFM đảm bảo rằng các vật thể sau khi hoàn thiện không bị biến dạng. Nó sử dụng thông tin vị trí chính xác từ đám mây điểm để điều chỉnh các đặc trưng voxel. Việc ánh xạ ngược từ trụ sang lập phương giúp đồng nhất hóa dữ liệu đầu ra với các nhãn chuẩn trong Waymo Open Dataset. Điều này cực kỳ quan trọng cho việc huấn luyện mô hình với độ hội tụ cao và giảm thiểu nhiễu.

V. Bí quyết dùng BEV Capsule embedding nâng cao độ chính xác

Việc sử dụng các mạng CNN truyền thống trên bản đồ BEV thường dẫn đến mất mát thông tin về hướng và tư thế của vật thể. Để khắc phục điều này, nghiên cứu đề xuất sử dụng BEV Capsule embedding trong kiến trúc UNet. Các Capsule là các nhóm nơ-ron mã hóa các tham số thực thể như vị trí, kích thước và định hướng. Thay vì chỉ phản hồi với sự hiện diện của vật thể, Capsule ghi lại các thuộc tính hình học chi tiết. Kỹ thuật này đặc biệt hiệu quả trong việc duy trì tính tương đương tịnh tiến và quay. Mô hình sử dụng các lớp tích chập nhóm để tạo ra các vector Capsule một cách hiệu quả. Điều này giúp giảm thiểu sự phụ thuộc vào các lớp pooling gây mất mát thông tin. Các đặc trưng Capsule cho phép mô hình hiểu được mối quan hệ bộ phận-tổng thể trong không gian 3D. Ví dụ, nó có thể nhận diện một chiếc xe dựa trên sự sắp xếp hình học của các bánh xe và thân xe. Kết quả là khả năng Occupancy Prediction trở nên chính xác hơn đối với các cấu trúc thẳng đứng. Thử nghiệm cho thấy mô hình đạt kết quả ấn tượng trên SemanticKITTI dataset. Việc không sử dụng các lớp pooling giúp bảo toàn các chi tiết nhỏ trong cảnh quan phức tạp. Đây là bước tiến quan trọng trong việc mô hình hóa ngữ nghĩa không gian một cách toàn diện.

5.1 Sức mạnh của Neural Networks CNN Transformers và Capsule

Sự kết hợp giữa cấu trúc UNet và Neural Networks (CNN, Transformers) với Capsule tạo ra một bộ khung mạnh mẽ. Capsule giúp khắc phục nhược điểm của CNN trong việc nắm bắt quan hệ không gian. Trong khi đó, kiến trúc UNet đảm bảo việc truyền tải đặc trưng đa cấp độ. Sự hiệp đồng này giúp mô hình tái tạo được các chi tiết tinh vi của bề mặt vật thể trong môi trường 3D phức tạp.

5.2 Đánh giá mIoU evaluation metric trên SemanticKITTI dataset

Chỉ số mIoU evaluation metric là thước đo tiêu chuẩn để đánh giá hiệu suất của các mô hình SSC. Trên tập dữ liệu SemanticKITTI dataset, phương pháp sử dụng Capsule cho thấy sự vượt trội ở các lớp vật thể động. Khả năng phân biệt giữa các loại xe và người đi bộ được cải thiện rõ rệt. Điều này chứng minh rằng việc mã hóa tư thế và định hướng đóng vai trò quyết định trong việc hiểu ngữ nghĩa cảnh quan.

VI. Tương lai Real time processing trong lái xe tự hành 3D

Tốc độ xử lý là yếu tố sống còn đối với các hệ thống lái xe tự hành thực tế. Nghiên cứu này hướng tới mục tiêu đạt được Real-time processing mà không làm giảm độ tin cậy của mô hình. Việc sử dụng các mạng 3D thưa thớt (Sparse CNN) giúp giảm đáng kể khối lượng tính toán. Kết hợp với nhánh BEV 2D nhẹ, mô hình có thể vận hành mượt mà trên các phần cứng nhúng. Tương lai của SSC sẽ tập trung vào việc duy trì Spatio-temporal consistency qua các khung hình liên tiếp. Điều này giúp loại bỏ hiện tượng nhấp nháy và không nhất quán trong các dự đoán động. Việc mở rộng nghiên cứu sang Waymo Open Dataset sẽ giúp kiểm chứng khả năng tổng quát hóa của mô hình. Các kỹ thuật tự giám sát cũng hứa hẹn giảm bớt sự phụ thuộc vào dữ liệu gán nhãn thủ công tốn kém. Khả năng tích hợp thêm thông tin từ Radar hoặc bản đồ HD sẽ là những hướng đi tiềm năng. Hệ thống SSC không chỉ phục vụ việc lái xe mà còn hỗ trợ xây dựng bản đồ 3D độ phân giải cao. Sự phát triển của các kiến trúc phần cứng chuyên dụng sẽ thúc đẩy SSC trở thành tiêu chuẩn trong xe tự hành. Cuối cùng, mục tiêu cao nhất là tạo ra một hệ thống nhận diện an toàn, thích ứng tốt với mọi điều kiện giao thông.

6.1 Xu hướng Spatio temporal consistency trong nghiên cứu mới

Tính nhất quán không-thời gian (Spatio-temporal consistency) đảm bảo rằng các dự đoán về môi trường ổn định theo thời gian. Các nghiên cứu mới đang tích hợp các module ghi nhớ hoặc mạng RNN để liên kết thông tin giữa các khung hình. Điều này giúp hệ thống xử lý tốt hơn các vật thể di chuyển nhanh và giảm thiểu sai số do nhiễu cảm biến nhất thời.

6.2 Khả năng mở rộng trên Waymo Open Dataset và thực tế

Việc thử nghiệm trên Waymo Open Dataset cung cấp cái nhìn đa dạng hơn về các kịch bản đô thị. Khả năng mở rộng của mô hình sang các thành phố khác nhau và điều kiện thời tiết khác nhau là rất quan trọng. Các giải pháp dựa trên LiDAR-based đang dần trở nên rẻ hơn và phổ biến hơn. Điều này mở ra cơ hội đưa công nghệ 3D Semantic Scene Completion (SSC) vào các dòng xe thương mại trong tương lai gần.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE & ENGINEERING CAPSTONE PROJECT 3D SEMANTIC SCENE COMPLETION FOR AUTONOMOUS DRIVING M AJOR : COMPUTER SCIENCE Thesis commitee: Computer Science 02 Supervisors: Nguyễn Tiến Thịnh, PhD - HCMUT, Vietnam Băng Ngọc Bảo Tâm, MSc - HCMUT, Vietnam Reviewer: Võ Thanh Hùng - HCMUT, Vietnam Student: Trần Công Huy Hoàng - 2052482 HO CHI MINH CITY - JUNE 2024 D ECLARATION We confirm that this thesis presents our original research work, completed under the guidance of Dr. Nguyễn Tiến Thịnh and Mr. Băng Ngọc Bảo Tâm. To the best of our knowledge, the findings and analysis contained herein represent new contributions that have not been published previously.

The materials and data used to produce this work have been eth- ically collected from various sources, which have been appropri- ately acknowledged and cited in the references. While we have in- corporated existing findings from other researchers in our discus- sion, as is academically expected, these have also been duly at- tributed. As the authors of this work, we take full accountability for its con- tent. In the unexpected case that any part is found to match ex- isting literature beyond reasonable academic practice, we under- stand it is our responsibility.

We exempt Ho Chi Minh City Univer- sity of Technology from any such concerns of copyright infringe- ment pertaining to this thesis. Trần Công Huy Hoàng Hồ Chí Minh City, June 2024 ix A CKNOWLEDGMENT The successful completion of this thesis clearly acknowledges the invaluable guidance and support we have received throughout the journey. We would first like to profoundly thank our advisor, Dr. Nguyễn Tiến Thịnh, and our co-advisor, Mr.

Băng Ngọc Bảo Tâm, for dedicating their time and expertise to mentoring us throughout this journey. Their insights and direction were pivotal in shaping our research and analysis. We also extend our gratitude to all the teachers at the Ho Chi Minh City University of Technology, Faculty of Computer Science and Engineering, for the wealth of knowledge they provided that served as the foundation for this work. We are sincerely appreciative of all that we have learned here.

Finally, this achievement would not have been possible without our families and friends’ unwavering love and reassurance. We are truly grateful for their faith in us, with heartfelt thanks to everyone who contributed to the realization of this thesis. xi A BSTRACT Accurate and reliable perception of the surrounding environment is es- sential for autonomous driving. Semantic Scene Completion (SSC) is crucial in this context, as it reconstructs missing parts of a 3D scene from sensor data to support informed decision-making.

This project ad- dresses the challenges of SSC, emphasizing LiDAR-based approaches as the most practical and dependable solution for real-world applications. The main target of the SSC task is to reconstruct a complete 3D scene oc- cupancy with semantic labels assigned to each voxel from just a sparse and incomplete point cloud input. Specifically, in the context of au- tonomous driving, the SSC task aims to generate a dense and seman- tically rich 3D map of the surrounding environment from the sparse and partial point clouds captured by LiDAR sensors mounted on the vehicle or a sparse 3D voxel grid lifted from the 2D images. This comprehen- sive scene understanding is crucial for various downstream tasks, such as path planning, obstacle avoidance, and decision-making, which re- quire a holistic and semantically meaningful representation of the envi- ronment.

Through our research, though the 2D-based approaches, which use 2D data such as RGB images, have drawn a certain amount of attention for an affordable solution, these models are still not reliable enough for real- life applications since there is a lot of occlusion in 2D data, which make the fully 3D reconstruction much more difficult and risky to use. Hence, in this project, we dive deep into LiDAR-based approaches, which utilize the 3D point cloud as the model input. Although much progress has been made, current 3D-based methods still have some major challenges, for instance: xiii xiv A BSTRACT • Unstructured point cloud data. Point clouds acquired from Li- DAR sensors are inherently unstructured and irregular, posing sig- nificant challenges for SSC models.

• Varying point densities. The point density in LiDAR data can vary significantly across different regions, with nearby objects having higher densities than distant objects. Since SSC tasks involve handling 3D data, a ma- jor challenge lies in making the model efficient without compro- mising its accuracy. Another significant challenge in the SSC task is deal- ing with noisy labels, which can arise from various sources, includ- ing sensor noise, occlusions, and motion artifacts.

In this project, we first explore the theoretical background of the SSC task and the recent methods to have an overview of the problem. Since we encountered limited time and resources, we decided to propose a new method that focus on tackling the first three problems listed above. Our contribution is three-fold: • Cylindrical partition voxelization To deal with the unstructured nature of the point cloud and utilize the efficient Sparse 3D CNN network, we quantize the point-wise feature into the voxel-wise feature for the segmentation branch. Since the density of points varies across the point distance from the sensor, we adopt the cylinder- partition quantization to capture more features in the far, sparse point regions of the LiDAR scan, hence solving the sparsity nature of the LiDAR sensors.

• Cylinder-Cube Features Mapping (CCFM). To map the cylindrical partition voxel-wise feature to cubic partition for the completion task, we introduce a Cylinder-Cube Features Mapping (CCFM) mod- ule. As the label of the SSC task is recorded in cube partition (carte- sian coordinate), this module maps the cylinder feature back to the standard cube partition voxel-wise feature to feed to the com- pletion branch and aid the reconstruction process. A BSTRACT xv • BEV Capsule embedding.

To leverage the efficient, lightweight 2D network and the contextual information from the overhead view, we use the BEV capsule representation for the completion branch. Regular BEV feature provides an effective way to encode spatial in- formation and geometric structures in a compact 2D format. How- ever, information loss when encoding 3D data into 2D space is unavoidable, especially in height variations or vertical structures. To overcome this, we use a set of modified grouped convolutional layers that resemble the Capsule Network mechanism to encode probability, pose, and directional information for all classes within each BEV pixel.

By integrating BEV representation with capsule embeddings, we can utilize lightweight, fast 2D CNN backbones while minimizing information loss. This project paves the way for more robust SSC models in autonomous driving, ultimately contributing to safer and more reliable road naviga- tion. C ONTENTS Declaration ix Acknowledgment xi Abstract xiii List of Figures xix List of Tables xxi 1 Introduction 1 1. 4 2 Theoretical Background Overview 5 2.3 Sign distance function (SDF) .4 Graph-based representaion .3 Bird’s-Eye-View (BEV) perception .5 Sparse convolutional neural network .6 Graph neural network (GNN) .1 RGB images as input .2 LiDAR point clouds as input.3 Multi-sensor data fusion.

25 xvii xviii C ONTENTS 4 Proposed Method 27 4.2 Point-wise feature extraction .3 Cylindrical partition voxelization .4 Asymmetrical Sparse 3D Unet .5 Cylinder-Cube Feature Mapping .6 Bird-eye View Capsule UNet .1 Influence of cylindrical partition .2 Capsule network versus regular CNN and mix CNN- Capsule Network .3 Convolutional layers with a stride of 2 versus max pooling layers. 54 References 57 L IST OF F IGURES 2.1 Example of a 3D LiDAR point cloud .1 Proposed architecture overview .2 Asymmetrical Sparse 3D Unet .3 Cylinder-Cube Feature Mapping (CCFM) module .4 BEV Capsule UNet .5 2D Grouped Conv Capsule layer. 47 xix L IST OF TABLES 5.2 Quantitative results of semantic scene completion algorithms on SemanticKITTI test set .3 Ablation study on cylindrical partition and CCFM module .4 Ablation study on the effectiveness of Capsule Network .5 Ablation study on the effect of Pooling layers. M OTIVATION Self-driving technology is a revolutionary change in the automotive in- dustry.

It enables vehicles to drive and operate independently, without human input, using advanced sensors, artificial intelligence, and sophis- ticated algorithms. The main benefits of self-driving technology are im- proving road safety, reducing traffic congestion, and making transporta- tion more accessible. However, one of the key challenges in achieving full autonomy is how the vehicle can perceive and understand its envi- ronment correctly. Sensors like cameras and LiDAR can capture some aspects of the surroundings but cannot see everything in a 360-degree view.

3D semantic scene completion (SSC) solves this problem by creat- ing a complete environmental model from partial sensory data. 3D semantic scene completion integrates 3D scene completion and 3D semantic segmentation. 3D scene completion is an important problem in computer vision that tries to infer the complete 3D structure of an environment from incomplete observations. 3D semantic segmentation goes further and assigns semantic labels like “building”, “road”, “vegeta- tion”, etc., to different 3D elements.

This ability is crucial for self-driving 1 2 1. I NTRODUCTION cars, allowing them to detect and understand objects beyond their direct 1 vision. Some advantages of 3D semantic scene completion are: • Filling the gaps. Sensors like cameras or LiDAR might not cap- ture everything due to occlusions from other vehicles, buildings, or even the self-driving car itself.

SSC uses AI to analyze the cap- tured data and predict what’s likely in the unseen areas, providing a more complete picture of the scene. • Understanding the scene. SSC goes beyond just seeing objects. It can classify those objects, recognizing a car, pedestrian, or traffic sign.

This semantic understanding helps the car make informed decisions about navigation and potential hazards. • Reduces sensor load. By inferring hidden parts of a scene, scene completion reduces reliance on dense sensor coverage of the en- vironment. This enables more efficient sensor suites.

By predicting what’s around corners or beyond obstacles, SSC allows autonomous vehicles to react more proac- tively to potential dangers. This can significantly improve safety on the road. • Simplifies planning and control. Operating on semantically mean- ingful scene representations enables intuitive formulations of driv- ing policies based on human logic.

This makes the development and verification of autonomous vehicles easier. Semantic scene completion represents a significant stride toward repli- cating human-like scene understanding, contributing to the enhance- ment of safety, adaptability, and efficiency in autonomous driving sys- tems. While this technology holds great promise, the realm of outdoor semantic scene completion is still in its early stages and presents unique challenges. The inherent complexity and vast scale of outdoor environ- ments introduce the demand for innovative solutions.

In the pursuit of perfecting outdoor semantic scene completion, researchers have a wide array of opportunities to explore and contribute to this evolv- ing field. The dynamic nature of outdoor scenes, with factors such as 1. G OALS 3 variable lighting conditions, diverse terrains, and the unpredictability of 1 traffic scenarios, requires comprehensive investigations. By delving into these challenges, we aim to refine existing methodologies and develop novel approaches to address the intricacies posed by the outdoor envi- ronment.

G OALS In this Capstone Project, we first examine recent methodologies em- ployed in addressing SSC problems for autonomous driving, aiming to provide a comprehensive and critical overview of the ongoing progress in SSC development. Furthermore, we also delve into recent state-of- the-art methods, conducting an in-depth analysis to identify their strengths and weaknesses. The ultimate objective of this undertaking is to gain a thorough understanding of the current success in SSC research, as well as the persisting challenges. Additionally, we suggest a novel method that resolves some of the remaining limitations of the prior research.

S COPES For this capstone project, we define our scopes as follows: • Perform a literature review of recent papers on 3D semantic scene completion tailored to autonomous driving scenarios. • Analyze these works’ core technical approaches, innovations, and results.