Luận văn phương pháp RTI3D phát hiện vật thể 3D trong nhà thời gian thực - Trường ĐH SPKT TP.HCM

Khám phá Rit3D, phương pháp xử lý đám mây điểm 3D thời gian thực giúp phát hiện vật thể trong nhà hiệu quả, tối ưu hóa tốc độ và độ chính xác cao.

• Tác giả: Mai Thanh Lam
• Người hướng dẫn: TS. Huỳnh Thế Thiện
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: RTI3D: A Real-Time Indoor 3D Point Cloud Method for Efficient Object Detection
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan nghiên cứu RTI3D tại Trường ĐH SPKT TP

Nghiên cứu RTI3D là đề tài khóa luận tốt nghiệp ngành Kỹ thuật Máy tính tại Trường Đại học Sư phạm Kỹ thuật TP.HCM. Công trình do sinh viên Mai Thanh Lam và Mai Hồng Phong thực hiện dưới sự hướng dẫn của TS. Huỳnh Thế Thiện. Đề tài tập trung giải quyết bài toán phát hiện vật thể 3D từ dữ liệu đám mây điểm trong không gian nội thất. Đây là nhiệm vụ cốt lõi của thị giác máy tính hiện đại. Các hệ thống thực tế như robot di động, thiết bị thực tế tăng cường và môi trường thông minh luôn đòi hỏi khả năng xử lý hình học tức thời. Dữ liệu đám mây điểm 3D thường có dung lượng lớn, phân bố thưa thớt và chứa nhiều nhiễu cảm biến. Các mô hình truyền thống thường tiêu tốn nhiều tài nguyên tính toán. Do đó, việc triển khai trên các thiết bị phần cứng nhúng gặp vô số rào cản kỹ thuật. RTI3D ra đời như một giải pháp cân bằng giữa độ chính xác và tốc độ xử lý. Nghiên cứu khẳng định năng lực sáng tạo của sinh viên ĐH SPKT TP.HCM trong lĩnh vực thị giác máy tính 3D tiên tiến.

1.1. Bối cảnh học thuật và nhóm tác giả HCMUTE

Đề tài tốt nghiệp được thực hiện tại Khoa Đào tạo Quốc tế thuộc Trường Đại học Sư phạm Kỹ thuật TP.HCM vào tháng 7 năm 2025. Nhóm nghiên cứu gồm hai sinh viên Mai Thanh Lam (MSSV 20119137) và Mai Hồng Phong (MSSV 20119192). Cả hai theo học chuyên ngành Kỹ thuật Máy tính. Nghiên cứu nhận được sự cố vấn học thuật trực tiếp từ TS. Huỳnh Thế Thiện cùng sự hỗ trợ kỹ thuật từ Khoa Điện - Điện tử và Bộ môn Điện tử - Viễn thông. Môi trường nghiên cứu chuyên sâu tại HCMUTE đã tạo điều kiện thuận lợi cho nhóm tiếp cận các công nghệ xử lý đám mây điểm tiên tiến. Khóa luận phản ánh tinh thần ứng dụng thực tiễn cao của nhà trường trong đào tạo kỹ sư công nghệ cao.

1.2. Tầm quan trọng của nhận diện vật thể 3D trong nhà

Phát hiện vật thể 3D trong không gian nội thất giữ vai trò sống còn trong việc hiểu cảnh quan không gian số. Khác với ảnh 2D, đám mây điểm 3D cung cấp thông tin hình học, kích thước thực và tọa độ vị trí chuẩn xác của từng vật thể. Hệ thống điều hướng robot cần thông tin này để di chuyển an toàn, tránh va chạm và gắp nhặt đồ vật. Các ứng dụng thực tế ảo và thực tế tăng cường yêu cầu định vị không gian để hiển thị nội dung ảo liền mạch. Ngoài ra, ngôi nhà thông minh cũng cần nhận thức bối cảnh để tự động hóa dịch vụ hỗ trợ con người. Do đó, việc xây dựng các mô hình nhận diện 3D vừa chính xác vừa hoạt động ổn định trong thời gian thực là yêu cầu cấp thiết.

II. Thách thức phát hiện vật thể 3D trong nhà và mô hình FCAF3D

FCAF3D là kiến trúc tiên phong mở ra hướng tiếp cận không sử dụng hộp neo (anchor-free) dạng tích chập hoàn toàn cho thị giác 3D. Mô hình hoạt động trực tiếp trên lưới voxel thưa của đám mây điểm. Cơ chế này loại bỏ hoàn toàn các giả định hình học định sẵn về kích thước hay tỷ lệ vật thể. FCAF3D sử dụng mạng trích xuất đặc trưng phân cấp gồm 4 mức phân giải với số kênh lần lượt là 64, 128, 256 và 512. Mạng cổ chai (neck) sử dụng các phép tích chập chuyển vị sinh (generative transposed convolutions) để khôi phục chi tiết không gian đa tỉ lệ. Dù đạt độ chính xác ấn tượng trên các tập dữ liệu ScanNet và SUN RGB-D, FCAF3D vẫn bộc lộ hạn chế lớn về hiệu năng tính toán. Khối lượng tham số khổng lồ cùng chi phí xử lý tích chập chuyển vị dày đặc khiến mô hình vận hành chậm chạp. Trong môi trường nội thất phức tạp, mật độ điểm biến động mạnh làm gia tăng thời gian trễ. Điều này cản trở nghiêm trọng việc ứng dụng mô hình vào các thiết bị di động có phần cứng hạn chế.

2.1. Hạn chế tính toán của mạng tích chập 3D thưa

Tích chập 3D thưa giúp tiết kiệm bộ nhớ khi làm việc với không gian rỗng, nhưng vẫn đòi hỏi năng lực xử lý ma trận rất lớn. Khi số lượng voxel tăng lên trong các căn phòng rộng, số phép tính nhân cộng tăng theo cấp số nhân. Việc duy trì các đường nối tắt (skip connections) giữa các tầng trích xuất đặc trưng buộc hệ thống lưu trữ nhiều bản đồ đặc trưng trung gian. Điều này dẫn đến tình trạng chiếm dụng bộ nhớ GPU đột biến và nghẽn băng thông truyền tải dữ liệu. Các thiết bị biên với dung lượng VRAM khiêm tốn khó lòng duy trì tốc độ khung hình ổn định. Do đó, việc tinh giản cấu trúc mạng là bước đi sống còn để đạt khả năng thời gian thực.

2.2. Điểm nghẽn độ trễ trong các ứng dụng thời gian thực

Độ trễ xử lý cao gây nguy hiểm trực tiếp cho các hệ thống robot tự hành trong nhà. Robot cần nhận biết vật cản tức thì với tốc độ trên 15 đến 20 khung hình mỗi giây để đưa ra quyết định di chuyển an toàn. Nếu thuật toán phản hồi chậm, nguy cơ va chạm với con người và đồ nội thất sẽ tăng cao. Ngoài ra, kính thực tế tăng cường yêu cầu độ trễ dưới 20 mili giây nhằm ngăn ngừa hiện tượng say chuyển động cho người sử dụng. Các mô hình nhận diện 3D nặng nề khiến pin thiết bị cạn kiệt nhanh chóng và phát sinh nhiệt lượng lớn. Đây chính là động lực thôi thúc nhóm tác giả HCMUTE nghiên cứu kiến trúc RTI3D gọn nhẹ hơn.

III. Giải pháp kiến trúc RTI3D tối ưu phát hiện vật thể 3D

Kiến trúc RTI3D được nhóm nghiên cứu HCMUTE thiết kế nhằm tối ưu hóa toàn diện ba thành phần chính: xương sống (backbone), cổ chai (neck) và đầu phát hiện (detection head). Thay vì giữ nguyên mạng FCAF3D cồng kềnh, RTI3D loại bỏ các đường nối tắt không cần thiết để giảm thiểu chi phí lưu trữ bộ nhớ đệm. Nhóm tác giả tích hợp các khối One-Shot Aggregation (OSA) tiên tiến vào phần xương sống mạng. Khối OSA kết hợp các đặc trưng đa tỉ lệ trong một lượt gom duy nhất, vừa gia tăng trường tiếp nhận vừa ngăn ngừa lãng phí tài nguyên tính toán. Tại mạng cổ chai, RTI3D áp dụng kỹ thuật tỉa thưa có chọn lọc sau các tầng tích chập chuyển vị. Kỹ thuật này loại bỏ các voxel không mang thông tin ngữ nghĩa hữu ích trước khi chuyển sang bước tiếp theo. Đồng thời, cấu trúc tích chập nhẹ lấy cảm hứng từ MobileNet được triển khai tại các đầu dự đoán anchor-free. Sự tinh chỉnh này giúp mô hình giảm mạnh số lượng tham số nhưng vẫn duy trì độ chính xác phát hiện biên dạng hộp bao 3D.

3.1. Tích hợp One Shot Aggregation và loại bỏ skip connection

Việc loại bỏ các kết nối tắt (skip connections) phức tạp là cải tiến đột phá giúp RTI3D tối ưu hóa tốc độ truy cập bộ nhớ. Các đường truyền truyền thống buộc thiết bị phải giữ lại bản đồ đặc trưng ở các tầng thấp, gây phân mảnh bộ nhớ RAM. Khối One-Shot Aggregation (OSA) giải quyết triệt để điểm yếu này. Cơ chế OSA tiến hành gom gộp trực tiếp tất cả các đặc trưng trung gian ở bước cuối cùng của khối. Thiết kế này vừa bảo toàn thông tin chi tiết đa tầng vừa giảm số lượng phép tính tích chập lặp lại. Nhờ đó, luồng xử lý dữ liệu qua xương sống trở nên thông suốt và gia tăng đáng kể thông lượng xử lý khung hình trên giây.

3.2. Đầu phát hiện tối ưu lấy cảm hứng từ MobileNet

Đầu phát hiện đóng vai trò phân loại và hồi quy hộp bao 3D định vị vật thể trong không gian ba chiều. Thay vì sử dụng các lớp tích chập chuẩn dày đặc, RTI3D vận dụng nguyên lý phân tách kênh và tích chập theo chiều sâu tương tự dòng mạng MobileNet. Cải tiến này giúp tách rời việc lọc không gian và kết hợp đặc trưng kênh, giảm thiểu hàng triệu phép tính dấu phẩy động không cần thiết. Quá trình dự đoán tâm vật thể, kích thước và góc quay diễn ra với độ trễ tối thiểu. Sự kết hợp giữa cơ chế không dùng hộp neo và tích chập siêu nhẹ giúp RTI3D đạt tốc độ thời gian thực ấn tượng trên phần cứng thử nghiệm.

IV. Đánh giá ứng dụng thực tế của mô hình RTI3D tại HCMUTE

Nghiên cứu RTI3D của sinh viên Đại học Sư phạm Kỹ thuật TP.HCM mở ra tiềm năng ứng dụng to lớn trong thời đại tự động hóa. Bằng cách tái cấu trúc hiệu quả mạng tích chập 3D thưa, mô hình chứng minh khả năng vận hành thời gian thực mà không phải hy sinh độ chính xác nhận diện. Kết quả này mang ý nghĩa thiết thực cho việc triển khai các hệ thống robot tự hành trong nhà kho thông minh, bệnh viện và gia đình. Robot trang bị cảm biến LiDAR hoặc camera độ sâu có thể nhận diện chính xác bàn, ghế, cửa và vật cản để tự vạch lộ trình di chuyển mượt mà. Bên cạnh robot, công nghệ này còn hỗ trợ đắc lực cho các thiết bị kính thực tế ảo và thiết bị bay không người lái trong nhà. Thành công của đề tài khẳng định tính đúng đắn của phương pháp tối ưu hóa kiến trúc mạng nơ-ron thay vì phụ thuộc hoàn toàn vào việc nâng cấp phần cứng. Đây là đóng góp học thuật giá trị cho cộng đồng thị giác máy tính Việt Nam.

4.1. Ứng dụng trong robot thông minh và môi trường IoT

Khả năng phát hiện vật thể tức thời của RTI3D mang lại lợi thế vượt trội cho hệ sinh thái robot dịch vụ và thiết bị IoT. Robot lau dọn hoặc robot chuyển hàng nội bộ cần lập bản đồ và nhận dạng đồ đạc theo thời gian thực để tránh va chạm. Nhờ giảm tải tài nguyên tính toán, RTI3D có thể chạy trực tiếp trên các chip xử lý AI biên như NVIDIA Jetson mà không cần kết nối máy chủ đám mây. Điều này giảm thiểu triệt để độ trễ mạng và bảo mật dữ liệu không gian riêng tư của người dùng. Mô hình hỗ trợ tích cực cho việc xây dựng nhà thông minh và văn phòng thông minh hiện đại.

4.2. Hướng phát triển và mở rộng nghiên cứu trong tương lai

Mô hình RTI3D đặt nền tảng vững chắc cho nhiều nghiên cứu mở rộng trong tương lai tại Trường ĐH SPKT TP.HCM. Hướng đi tiếp theo có thể tập trung vào việc kết hợp dữ liệu đám mây điểm 3D với hình ảnh RGB đa kênh nhằm tăng cường độ chính xác phân loại trong điều kiện thiếu sáng. Ngoài ra, việc áp dụng các kỹ thuật lượng tử hóa trọng số (quantization) và chưng cất tri thức sẽ hỗ trợ tối đa việc triển khai trên các dòng vi xử lý công suất cực thấp. Nhóm nghiên cứu cũng có thể mở rộng thử nghiệm sang môi trường không gian ngoài trời phục vụ xe tự hành dân dụng. Những cải tiến này hứa hẹn nâng cao tính cạnh tranh của giải pháp công nghệ Việt trên trường quốc tế.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION THESIS RIT3D: A REAL-TIME INDOOR 3D POINT CLOUD METHOD FOR EFFICIENT OBJECT DETECTION COMPUTER ENGINEERING Student: MAI THANH LAM Student ID: 20119137 MAI HONG PHONG Student ID: 20119192 Major: COMPUTER ENGINEERING HO CHI MINH CITY, 07/2025 Advisor: Ph. HUYNH THE THIEN HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION THESIS RIT3D: A REAL-TIME INDOOR 3D POINT CLOUD METHOD FOR EFFICIENT OBJECT DETECTION COMPUTER ENGINEERING Student: MAI THANH LAM Student ID: 20119137 MAI HONG PHONG Student ID: 20119192 Major: COMPUTER ENGINEERING HO CHI MINH CITY, 07/2025 Advisor: Ph. HUYNH THE THIEN ACKNOWLEDGE First and foremost, we would like to express our deepest gratitude to our advisor, Ph. Huynh The Thien, for his invaluable guidance, encouragement, and constant support throughout the duration of this thesis.

His expertise and insights have been instrumental in shaping the direction and quality of our research. We are also thankful to the lecturers and staff of the Faculty of Electrical Engineering and the Department of Electronics and Telecommunications at Ho Chi Minh City University of Technology and Education for providing us with a solid academic foundation and a supportive learning environment. Special thanks go to our families and friends for their unwavering support, understanding, and encouragement during the challenging periods of our study. This thesis would not have been possible without the knowledge and resources made available by the academic and research community in the field of 3D computer vision.

STUDENT (Sign and clearly state the full name) Mai Thanh Lam Mai Hong Phong DECLARATION We hereby declare that this graduation thesis is the result of our own independent work, conducted under the supervision of Ph. Huynh The Thien. All sources of information and references used in this thesis have been appropriately acknowledged. We confirm that the content of this thesis has not been submitted for any other degree or qualification at this university or any other institution.

We take full responsibility for the content and results presented in this research. STUDENT (Sign and clearly state the full name) Mai Thanh Lam Mai Hong Phong ABSTRACT 3D object detection in point cloud data is a foundational task for indoor scene understanding in applications such as robotics, augmented reality, and smart environments. However, most existing approaches for indoor 3D detection face major challenges in computational efficiency and scalability, limiting their deployment in real-time or resource-constrained settings. In this thesis, we introduce RTI3D, a lightweight and efficient architecture for real-time indoor 3D object detection.

RTI3D systematically optimizes the backbone, neck, and detection head of the FCAF3D baseline by removing skip connections, adopting One-Shot Aggregation blocks, applying MobileNet-inspired pointwise convolutions, and streamlining the detection head. Extensive experiments on the S3DIS dataset demonstrate that RTI3D achieves up to 30× reduction in parameters, 28× lower memory usage, and a 5.4× increase in inference speed with only a minor reduction in detection accuracy. The results confirm the effectiveness of the proposed architectural optimizations for practical, real-time 3D object detection in complex indoor environments. The source code and experimental protocols are made available to facilitate future research and applications in the field.

Keywords: Real-time 3D object detection, point cloud, indoor scene understanding, sparse convolutional network, lightweight architecture, memory efficiency, deep learning, S3DIS dataset.1 Motivation for the Study .2 Research Objectives and Scope .3 Methodology and key contributions .1 3D Object Detection in Point Clouds .2 CNN-based Object Detection .1 Overview of CNN-based Object Detection .2 Classification of CNN-based Object Detection Methods .3 Distinctive Characteristics, Limitations, and Performance Comparison of CNN-based Object Detection Methods .4 Rationale for Selecting FCAF3D as Baseline .3 Sparse Convolution for Efficient 3D Feature Learning .4 Justification for Using Minkowski Engine in RTI3D .1 Foundation Analysis of FCAF3D .2 RTI3D Architecture Design .1 Backbone Architecture Optimization .2 Neck Architecture Simplification .3 Head Architecture Streamlining .3 Loss Function Optimization .3 Hardware and Training Strategy .6 Results and Analysis .7 Comparison with State-of-the-art Methods .8 Discussion and Analysis. 33 5 Conclusion and Future Work 34 5. 34 ii List of Tables 2.1 Comparison of CNN-based Object Detection Methods .