Báo Cáo Nghiên Cứu Khoa Học: Tái Cấu Trúc Vật Thể 3D Từ Hình Ảnh Stereo Camera

Tài liệu nghiên cứu Đề tài tái cấu trúc vật thể 3d từ cặp hình ảnh stereo camera, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Tấn Lộc
• Người hướng dẫn: PGS.TS Lê Mỹ Hà
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Điều Khiển Và Tự Động Hóa
• Đề tài: Nghiên Cứu Tái Cấu Trúc Vật Thể 3D Từ Hình Ảnh Stereo Camera
• Loại tài liệu: Báo cáo
• Năm xuất bản: 2021
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• 1. TÀNG QUAN
• 1.1. Phương pháp nghiên cứu
• 1.2. Nguyên lý phương pháp tái cấu trúc vật thể 3D
• 1.3. Các mô hình biến thể kỹ thuật trong phương pháp tái cấu trúc vật thể 3D
• 1.4. Tìm hiểu về stereo camera
• 1.5. Mô hình pinhole camera
• 1.6. Cân bằng sáng (histogram equalization)
• 1.7. Hiệu chỉnh máy ảnh (camera calibration)
• 1.8. Hiệu chỉnh stereo camera
• 1.9. Geometry of image formation
• 1.10. Phương pháp Semi-global matching
• 2. XÂY DỰNG MÔ HÌNH 3D VẬT THỂ
• 2.1. Khái lấy dữ liệu ảnh từ camera
• 2.2. Khái hiệu chỉnh
• 2.3. Khái tính toán độ sâu ảnh
• 2.4. Khái hiện thị mô hình 3D
• 3. CHƯƠNG TRÌNH VÀ HỆ THỐNG SỬ DỤNG
• 3.1. Chương trình
• 3.2. Chương trình
• 3.3. Chương trình
• 3.4. Chương trình
• 4. THÍ NGHIỆM VÀ KẾT QUẢ THU ĐƯỢC
• 4.1. Thí nghiệm 1: Kết quả tất nhất nhóm đặt đặc
• 4.2. Thí nghiệm 2: Kết quả cùng phương pháp, cùng độ sáng nhưng vật thể khác
• 4.3. Thí nghiệm 3: Kết quả cùng phương pháp, khác độ sáng, khác vật thể
• 4.4. Thí nghiệm 4: Kết quả cùng phương pháp, khác độ sáng, khác vật thể
• 4.5. Thí nghiệm 5: Kết quả so sánh phương pháp tìm bản đồ chênh lệch (disparity maps)
• 5. KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tái Cấu Trúc 3D từ Stereo Camera Tổng Quan Chi Tiết 55 ký tự

Nghiên cứu tái cấu trúc 3D từ hình ảnh stereo camera là một lĩnh vực quan trọng trong thị giác máy tính. Nó cho phép chúng ta tạo ra các mô hình 3D từ hình ảnh 2D thu được từ hai camera được đặt ở vị trí tương đối khác nhau, tương tự như cách mắt người cảm nhận thế giới. Quá trình này bao gồm nhiều bước, từ calibration stereo camera đến xử lý ảnh stereo và cuối cùng là tái cấu trúc 3D. Nghiên cứu này có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm robot, thực tế ảo, và kiểm tra chất lượng sản phẩm. Theo tài liệu gốc, “Tái cấu trúc vật thể 3D có ý nghĩa rất lớn trong nhiều lĩnh vực của cuộc sống và các ngành khoa học kỹ thuật như hệ thống tự hành, công nghệ in nổi 3D...”.

1.1. Giới thiệu về Hệ thống Stereo Camera và Ưu Điểm

Hệ thống stereo camera bao gồm hai camera được đặt song song hoặc hội tụ một góc nhỏ. Sự khác biệt về vị trí của hai camera tạo ra sự chênh lệch (disparity) trong hình ảnh mà chúng thu được. Sự chênh lệch này chứa thông tin về độ sâu của các điểm trong cảnh. Ưu điểm chính của stereo vision so với các phương pháp tái tạo 3D khác là tính đơn giản, độ tin cậy cao và khả năng hoạt động trong điều kiện ánh sáng tự nhiên. Tuy nhiên, độ chính xác của kết quả tái cấu trúc 3D phụ thuộc vào chất lượng của calibration stereo camera và hiệu quả của các thuật toán xử lý ảnh stereo.

1.2. Ứng dụng Tiềm năng của Tái Cấu Trúc 3D từ Ảnh Stereo

Các ứng dụng tiềm năng của tái cấu trúc 3D từ ảnh stereo camera là rất lớn. Trong lĩnh vực robot, nó có thể được sử dụng để điều hướng robot trong môi trường không quen thuộc và nhận dạng đối tượng. Trong thực tế ảo, nó có thể được sử dụng để tạo ra các môi trường 3D chân thực hơn. Trong kiểm tra chất lượng sản phẩm, nó có thể được sử dụng để phát hiện các khuyết tật nhỏ nhất trên bề mặt sản phẩm. Ngoài ra, ứng dụng tái cấu trúc 3D còn có thể phục vụ trong tái tạo các di sản văn hóa. Như tài liệu gốc đề cập, “Ứng dụng phù hợp cho các hệ thống tự hành, ứng dụng trong thực tế ảo (VR)”.

II. Thách Thức Vấn Đề Trong Tái Cấu Trúc 3D 58 ký tự

Mặc dù tái cấu trúc 3D từ stereo camera có nhiều ưu điểm, nhưng cũng có một số thách thức cần phải vượt qua. Một trong những thách thức lớn nhất là tìm ra điểm ảnh tương ứng giữa hai hình ảnh stereo camera. Sự khác biệt về góc nhìn, ánh sáng và biến dạng có thể làm cho việc này trở nên rất khó khăn. Ngoài ra, độ chính xác của kết quả tái cấu trúc 3D cũng bị ảnh hưởng bởi nhiễu và sai số trong quá trình calibration stereo camera và xử lý ảnh stereo. Cần có các thuật toán mạnh mẽ và hiệu quả để giải quyết những vấn đề này.

2.1. Vấn Đề Tìm Điểm Ảnh Tương Ứng Chính Xác Correspondence

Tìm điểm ảnh tương ứng (correspondence problem) là một trong những thách thức cốt lõi của tái cấu trúc 3D. Các thuật toán thường dựa vào đặc điểm của điểm ảnh, như màu sắc, độ sáng hoặc các đặc trưng cục bộ (SIFT, SURF), để tìm kiếm sự tương ứng. Tuy nhiên, sự thay đổi về ánh sáng, góc nhìn hoặc sự xuất hiện của vật thể có thể gây ra sai sót trong quá trình tìm kiếm này, dẫn đến kết quả tái cấu trúc 3D không chính xác. Việc áp dụng các kỹ thuật lọc nhiễu và các thuật toán mạnh mẽ hơn là cần thiết.

2.2. Ảnh Hưởng của Calibration Stereo Camera đến Độ Chính Xác

Calibration stereo camera là quá trình xác định các thông số nội tại (intrinsic parameters) và ngoại tại (extrinsic parameters) của hệ thống stereo camera. Các thông số này mô tả vị trí và hướng của hai camera so với nhau. Sai số trong quá trình calibration có thể dẫn đến sai số lớn trong kết quả tái cấu trúc 3D. Do đó, việc sử dụng các phương pháp calibration chính xác và tin cậy là rất quan trọng. Cần sử dụng các mẫu chuẩn và các thuật toán tối ưu hóa để đạt được kết quả tốt nhất.

2.3. Khó khăn trong việc xử lý các vùng không có đặc trưng

Các vùng đồng nhất (ví dụ: tường trắng, bầu trời) thiếu các đặc trưng rõ ràng, gây khó khăn cho các thuật toán xử lý ảnh stereo. Điều này dẫn đến việc ước tính độ sâu không chính xác hoặc không thể ước tính được. Các giải pháp có thể bao gồm sử dụng thông tin ngữ cảnh từ các vùng lân cận hoặc kết hợp với các kỹ thuật bổ sung khác như ánh sáng có cấu trúc. Như tài liệu gốc đề cập, “việc nghiên cứu thu thập được mô hình 3D về hình dáng, kích thước chính xác của đối tượng từ nhiều góc nhìn và các thuật toán xử lý dữ liệu rất quan trọng”.

III. Phương Pháp Ước Tính Độ Sâu Hiệu Quả từ Ảnh Stereo 59 ký tự

Việc ước tính độ sâu là một bước quan trọng trong tái cấu trúc 3D từ stereo camera. Có nhiều phương pháp khác nhau để ước tính độ sâu, bao gồm các phương pháp dựa trên tương quan (correlation-based methods), các phương pháp dựa trên đồ thị cắt (graph-cut methods) và các phương pháp dựa trên học sâu (deep learning stereo). Mỗi phương pháp đều có ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào ứng dụng cụ thể.

3.1. Thuật Toán Tương Quan Cổ Điển Block Matching và SSD

Các thuật toán tương quan như Block Matching và Sum of Squared Differences (SSD) là những phương pháp đơn giản và dễ thực hiện để ước tính độ sâu. Chúng tìm kiếm sự tương ứng giữa các khối điểm ảnh trong hai hình ảnh stereo camera bằng cách so sánh sự khác biệt về cường độ điểm ảnh. Tuy nhiên, các phương pháp này rất nhạy cảm với nhiễu và sự thay đổi về ánh sáng. Cần áp dụng các kỹ thuật tiền xử lý ảnh để cải thiện độ chính xác.

3.2. Phương Pháp Semi Global Matching SGM Cho Độ Chính Xác Cao

Semi-Global Matching (SGM) là một phương pháp ước tính độ sâu mạnh mẽ và hiệu quả. Nó tính toán năng lượng cho tất cả các khả năng độ sâu có thể và sau đó tìm độ sâu tối ưu bằng cách sử dụng kỹ thuật tối ưu hóa toàn cục. SGM có khả năng xử lý tốt các vùng không có đặc trưng và cho kết quả tái cấu trúc 3D với độ chính xác cao hơn so với các phương pháp tương quan đơn giản. Theo tài liệu, Phương pháp Semi-global matching được nhắc đến và áp dụng trong quá trình nghiên cứu tái cấu trúc 3D.

3.3. Sử Dụng Deep Learning cho Ước Tính Độ Sâu Chính Xác

Học sâu tái cấu trúc 3D đã mang lại những tiến bộ đáng kể trong lĩnh vực ước tính độ sâu. Các mạng nơ-ron sâu có thể học các đặc trưng phức tạp từ hình ảnh stereo camera và ước tính độ sâu với độ chính xác cao hơn so với các phương pháp truyền thống. Tuy nhiên, các mô hình học sâu đòi hỏi lượng dữ liệu lớn để huấn luyện và có thể khó triển khai trên các thiết bị có tài nguyên hạn chế.

IV. Xây Dựng Mô Hình 3D Từ Đám Mây Điểm Point Cloud 54 ký tự

Sau khi ước tính độ sâu, bước tiếp theo là xây dựng mô hình 3D từ đám mây điểm (point cloud). Đám mây điểm là một tập hợp các điểm ảnh 3D, mỗi điểm ảnh có tọa độ (x, y, z) trong không gian 3D. Có nhiều phương pháp khác nhau để xây dựng mô hình 3D từ đám mây điểm, bao gồm các phương pháp tạo lưới đa giác (polygon mesh) và các phương pháp dựa trên bề mặt (surface-based methods).

4.1. Tạo Lưới Đa Giác Polygon Mesh Từ Đám Mây Điểm

Tạo lưới đa giác là một phương pháp phổ biến để xây dựng mô hình 3D từ đám mây điểm. Phương pháp này tạo ra một bề mặt bằng cách kết nối các điểm ảnh trong đám mây điểm bằng các đa giác, thường là tam giác. Các thuật toán như Marching Cubes và Poisson Reconstruction có thể được sử dụng để tạo ra lưới đa giác mịn và chính xác.

4.2. Phương Pháp Dựa Trên Bề Mặt Surface Based Methods

Các phương pháp dựa trên bề mặt trực tiếp tạo ra một bề mặt 3D từ đám mây điểm mà không cần tạo lưới đa giác trung gian. Các phương pháp này thường sử dụng các hàm bề mặt, chẳng hạn như B-splines hoặc NURBS, để mô tả bề mặt. Các phương pháp dựa trên bề mặt có thể tạo ra các mô hình 3D mịn và chính xác hơn so với các phương pháp tạo lưới đa giác, đặc biệt đối với các bề mặt phức tạp.

4.3. Tối Ưu Hóa và Lọc Đám Mây Điểm để Cải Thiện Chất Lượng

Trước khi xây dựng mô hình 3D, việc tối ưu hóa và lọc đám mây điểm là rất quan trọng. Điều này giúp loại bỏ nhiễu và các điểm ảnh ngoại lai (outliers), đồng thời làm mịn bề mặt đám mây điểm. Các kỹ thuật như lọc trung bình (median filtering), lọc Gaussian và RANSAC có thể được sử dụng để cải thiện chất lượng đám mây điểm và kết quả tái cấu trúc 3D.

V. Ứng Dụng Thực Tế Robot VR và Kiểm Tra Chất Lượng 57 ký tự

Tái cấu trúc 3D từ stereo camera có nhiều ứng dụng tái cấu trúc 3D thực tế trong nhiều lĩnh vực khác nhau. Trong lĩnh vực robot, nó có thể được sử dụng để điều hướng robot trong môi trường không quen thuộc và nhận dạng đối tượng. Trong thực tế ảo, nó có thể được sử dụng để tạo ra các môi trường 3D chân thực hơn. Trong kiểm tra chất lượng sản phẩm, nó có thể được sử dụng để phát hiện các khuyết tật nhỏ nhất trên bề mặt sản phẩm.

5.1. Điều Hướng Robot và Nhận Dạng Đối Tượng Tự Động

Tái cấu trúc 3D từ stereo camera cho phép robot nhận biết và tương tác với môi trường xung quanh một cách tự động. Robot có thể sử dụng mô hình 3D để lập kế hoạch đường đi, tránh chướng ngại vật và thao tác với các đối tượng. Điều này có nhiều ứng dụng trong các lĩnh vực như sản xuất, logistics và dịch vụ.

5.2. Tạo Môi Trường 3D Chân Thực Trong Thực Tế Ảo

Tái cấu trúc 3D từ stereo camera có thể được sử dụng để tạo ra các môi trường 3D chân thực hơn trong các ứng dụng thực tế ảo (VR). Bằng cách tái cấu trúc các đối tượng và cảnh thật thành các mô hình 3D, người dùng có thể tương tác với chúng trong môi trường ảo một cách tự nhiên và trực quan. Điều này có nhiều ứng dụng trong các lĩnh vực như giải trí, giáo dục và đào tạo.

5.3. Kiểm Tra Chất Lượng Sản Phẩm và Phát Hiện Khuyết Tật

Tái cấu trúc 3D từ stereo camera có thể được sử dụng để kiểm tra chất lượng sản phẩm và phát hiện các khuyết tật nhỏ nhất trên bề mặt sản phẩm. Bằng cách so sánh mô hình 3D của sản phẩm với mô hình tham chiếu, các sai lệch và khuyết tật có thể được phát hiện một cách nhanh chóng và chính xác. Điều này có nhiều ứng dụng trong các lĩnh vực như sản xuất ô tô, hàng không vũ trụ và điện tử.

VI. Kết Luận Hướng Phát Triển Tái Cấu Trúc 3D 52 ký tự

Tái cấu trúc 3D từ stereo camera là một lĩnh vực đầy tiềm năng với nhiều ứng dụng thực tế. Mặc dù đã có nhiều tiến bộ trong những năm gần đây, vẫn còn nhiều thách thức cần phải vượt qua. Các hướng nghiên cứu trong tương lai bao gồm phát triển các thuật toán mạnh mẽ hơn để tìm điểm ảnh tương ứng, cải thiện độ chính xác của calibration stereo camera và khám phá các phương pháp mới để ước tính độ sâu và xây dựng mô hình 3D.

6.1. Phát Triển Thuật Toán Tìm Điểm Tương Ứng Mạnh Mẽ Hơn

Phát triển các thuật toán mạnh mẽ hơn để tìm điểm ảnh tương ứng là một trong những ưu tiên hàng đầu trong nghiên cứu tái cấu trúc 3D. Các thuật toán này cần phải có khả năng xử lý tốt các sự thay đổi về ánh sáng, góc nhìn và biến dạng. Các phương pháp dựa trên học sâu và các kỹ thuật kết hợp thông tin từ nhiều nguồn khác nhau có thể mang lại những tiến bộ đáng kể.

6.2. Cải Thiện Độ Chính Xác của Calibration Stereo Camera

Cải thiện độ chính xác của calibration stereo camera là rất quan trọng để đạt được kết quả tái cấu trúc 3D chính xác. Các phương pháp calibration mới cần phải có khả năng tự động phát hiện và sửa chữa các sai số. Ngoài ra, việc sử dụng các cảm biến bổ sung, chẳng hạn như cảm biến quán tính (inertial measurement units), có thể giúp cải thiện độ chính xác của calibration.

6.3. AI Tái Cấu Trúc 3D Tích Hợp Trí Tuệ Nhân Tạo vào Quy Trình

Tích hợp AI tái cấu trúc 3D - trí tuệ nhân tạo vào quy trình tái cấu trúc 3D hứa hẹn mang lại những đột phá lớn. Các mô hình học sâu có thể được sử dụng để tự động học các đặc trưng phức tạp từ hình ảnh stereo camera và ước tính độ sâu với độ chính xác cao. Ngoài ra, AI có thể được sử dụng để tự động phát hiện và sửa chữa các sai số trong quá trình tái cấu trúc 3D, giúp cải thiện đáng kể hiệu quả và độ tin cậy của quy trình. Theo đó, trí tuệ nhân tạo sẽ tiếp tục đóng vai trò quan trọng trong sự phát triển của lĩnh vực này.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP HÌNH ẢNH STEREO CAMERA S K C 0 0 3 9 5 9 Mà SỐ: SV2021-125 S KC 0 0 7 3 7 2 Tp. Hồ Chí Minh, tháng 10/2021 Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M Kþ THUÀT TPHCM ö÷ BÁO CÁO TàNG K¾T ĐÀ TÀI NGHIÊN CĄU KHOA HâC CĂA SINH VIÊN TÁI CÂU TRÚC VÀT TH 3D TĆ C¾P HÌNH ÀNH STEREO CAMERA SV2021-125 Chă nhiám đÁ tài: Nguyßn TÃn Lčc TP Hß Chí Minh, 10/2021 Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M Kþ THUÀT TPHCM ö÷ BÁO CÁO TàNG K¾T ĐÀ TÀI NGHIÊN CĄU KHOA HâC SINH VIÊN TÁI CÂU TRÚC VÀT TH 3D TĆ C¾P HÌNH ÀNH STEREO CAMERA SV2021-125 Chă nhiám đÁ tài: Nguyßn TÃn Lčc Thuác nhóm ngành khoa học: Kỹ thuÃt SV thďc hián: Nguyßn TÃn Lďc Nam, Nč: Nam Dân tác: Kinh Lãp, khoa: 18151CL3B, khoa Đào t¿o ChÃt l°āng cao Năm thć: 3 Sá năm đào t¿o: 4 Ngành học: Công nghá kỹ thuÃt điÁu khiÃn và tď đáng hoá Ng°ßi h°ãng dÁn: PGS.TS Lê Mỹ Hà TP Hß Chí Minh, 10/2021 MĂC LĂC DANH MĂC HÌNH ÀNH .3 DANH MĂC NHČNG TĈ VI¾T TÄT .6 THÔNG TIN K¾T QUÀ NGHIÊN CĆU CĄA ĐÀ TÀI. Ph°¢ng pháp nghiên cću. Nguyên lý ph°¢ng pháp tái cÃu trúc vÃt thà 3D.

Các mô hình bi¿n thà kỹ thuÃt trong ph°¢ng pháp tái cÃu trúc vÃt thà 3D. Tìm hiÃu vÁ stereo camera. Mô hình pinhole camera. Cân bằng sáng ̣(histogram equalization).

Hiáu chßnh máy Ánh (camera calibration). Hiáu chßnh stereo camera. Geometry of image formation. Ph°¢ng pháp Semi-global matching: .34 Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 1/90 2.36 XÂY DĎNG MÔ HÌNH 3D VÂT THÂ.

Khái lÃy dč liáu Ánh tĉ camera. Khái hiáu chßnh. Khái tính toán đá sâu Ánh. Khái hiÃn thá mô hình 3D.42 CH¯¡NG TRÌNH VÀ H¯âNG DÀN SĊ DĂNG.

Ch°¢ng trình <captures. Ch°¢ng trình <Calibration_Rectification. Ch°¢ng trình <sgm_disparity. Ch°¢ng trình <pointCloud_visualize.46 THĎC NGHIàM VÀ K¾T QUÀ THU Đ¯ĀC.

Thďc nghiám 1: K¿t quÁ tát nhÃt nhóm đ¿t đ°āc. Thďc nghiám 2: K¿t quÁ cùng ph°¢ng pháp, cùng đá sáng nh°ng vÃt thà khác. Thďc nghiám 3: K¿t quÁ cùng ph°¢ng pháp, khác đá sáng, khác vÃt thÃ. Thďc nghiám 4: K¿t quÁ cùng ph°¢ng pháp, khác đá sáng, khác vÃt thÃ.

Thďc nghiám 5: K¿t quÁ so sánh ph°¢ng pháp tìm bÁn đ÷ chênh lách (disparity maps): .53 K¾T LUÂN VÀ KI¾N NGHà .55 TÀI LIàU THAM KHÀO .58 Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 2/90 DANH MĀC HÌNH ÀNH Hình 1: Stereo camera.10 Hình 2 T¿o mô hình 3D tĉ nhiÁu Ánh khác nhau .13 Hình 3 K¿t quÁ chÃt l°āng tái cÃu trúc 3D .14 Hình 5 K¿t quÁ tĉ PMVS .14 Hình 6 Mesh model.14 Hình 7 C¿p hình Ánh trái phÁi tĉ stereo camera.15 Hình 8 Mô hình 3D vÃt thà .15 Hình 9 K¿t quÁ công trình cąa Christian Teutsch, Dirk Berndt, Andreas Sobotta, Silvio Sperling .16 Hình 10 C¿p Ánh left và right theo nghiên cću cąa Josef Bigun .16 Hình 11 K¿t quÁ cąa viác tìm điÃm t°¢ng đ÷ng và °ãc tính, táo t¿i mô hình 3D m¿t ng°ßi .16 Hình 12 Ành trái .17 Hình 13 Ành phÁi .17 Hình 14 K¿t quÁ đá sáng chß đá sâu .17 Hình 15: Mô hình pinhole .18 Hình 16 Mô hình Pinhole.19 Hình 17 Radial distortion .20 Hình 18 Sď méo d¿ng ti¿p tuy¿n .21 Hình 20 Ành ch°a cân bằng .23 Hình 21 Ành đã cân bằng sáng .23 Hình 22 Đ÷ thá Ánh ch°a cân bằng sáng .23 Hình 23 Đ÷ thá Ánh đã cân bằng sáng .23 Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 3/90 Hình 24 Ành tr°ãc và sau khi dùng bá lọc Gaussian blur .24 Hình 25 ĐiÃm Q = (X, Y, Z) chi¿u trên m¿t phẳng Ánh .26 Hình 26 Hiáu chßnh stereo camera .28 Hình 27 To¿ đá trong không gian .28 Hình 28 ChuyÃn đÿi tĉ kích th°ãc sang to¿ đá pixel .30 Hình 29 To¿ đá điÃm principal .30 Hình 30 Phép chi¿u to¿ đá 3D đ¿n to¿ đá 3D .32 Hình 31 Bi¿n đÿi census.33 Hình 32 Dč liáu sau bi¿n đÿi census.34 Hình 33 Hamming Distance.34 Hình 34 Phương pháp semi-global matching .35 Hình 35 Ví dă vÁ ho¿t đáng cąa bá lọc trung vá.37 Hình 37 Ành đã đ°āc lọc .37 Hình 38 S¢ đ÷ khái cąa quá trình xây dďng mô hình 3D .38 Hình 39 L°u đ÷ thu thÃp dč liáu tĉ stereo camera .39 Hình 40 Các lo¿i méo d¿ng Ánh .40 Hình 41 Disparity tr°ãc khi lọc trung vá .42 Hình 42 Disparity sau khi lọc trung vá.42 Hình 43 Ví dă vÁ mô hình 3D d¿ng .43 Hình 44 S¢ đ÷ khái mái liên há giča các ch°¢ng trình .44 Hình 45 Há tháng k¿t nái stereo camera vãi máy tính .45 Hình 46 Ch¿y ch°¢ng trình Calibration Rectification.45 Hình 47 Quá trình tính toán disparity .46 Hình 48 Ch¿y ch°¢ng trình pointCloud_visualize.47 Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 4/90 Hình 49 Giao dián cċa sÿ đà xem mô hình 3D cąa vÃt thÃ.47 Hình 50 Ành trái .48 Hình 51 Ành phÁi .48 Hình 52 So sánh Ánh sau khi hiáu chßnh .49 Hình 53 Ành đã cân bằng sáng .49 Hình 54 Disparity tr°ãc khi lọc trung vá .49 Hình 55 Disparity thà hián đá sâu Ánh.50 Hình 56 Mô hình 3D cąa vÃt thà .50 Hình 57 Ành disparity thďc nghiám 2 .51 Hình 58 Đám mây điÃm Ánh thďc nghiám 2 .51 Hình 59 Disparity vÃt thà thďc nghiám 3.52 Hình 60 Đám mây điÃm Ánh thďc nghiám 3 .52 Hình 61 Disparity vÃt thà thďc nghiám 4.52 Hình 62 Đám mây điÃm Ánh thďc nghiám 4 .53 Hình 63 Ành cones trái.53 Hình 64 Ành cones phÁi.53 Hình 65 Groud truth .53 Hình 66 Ph°¢ng pháp Block matching opencv .54 Hình 67 Disparity ph°¢ng pháp SSD stereo matching.54 Hình 68 Disparity ph°¢ng pháp semi-global matching.54 Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 5/90 DANH MĀC NHĊNG TĆ VI¾T TÂT 2D 2-Dimension (Không gian 2 chiÁu) 3D 3-Dimension (Không gian 3 chiÁu) CNC Computer Numerical Control HD High Definition NCC Normalized Cross Correlation RGB <red, green, blue= - đß, xanh lăc và xanh lam SAD Sum of Absolute Differences SSD Sum of Squared Differences SGM Semi-global matching USB Universal Serial Bus (mát chu¿n k¿t nái tuÅn tď đa dăng trong máy tính) USD United States dollar (đ÷ng đô la Mỹ) VR Virtual Reality (Thďc t¿ Áo) Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 6/90 Bà GIÁO DĂC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M Kþ THUÀT TPHCM THÔNG TIN K¾T QUÀ NGHIÊN CĄU CĂA ĐÀ TÀI 1. Thông tin chung: - Tên đÁ tài: TÁI CÂU TRÚC VÂT TH 3D TĈ C¾P HÌNH ÀNH STEREO CAMERA - Chą nhiám đÁ tài: Nguyßn TÃn Lďc Mã sá SV: 18151093 - Lãp: 18151CL3B Khoa: Đào t¿o ChÃt l°āng cao - Thành viên đÁ tài: Stt Hã và tên MSSV Láp Khoa 1 Nguyßn Thanh Nhã 18151098 18151CL3A Đào t¿o CLC 2 Phan Thanh TruyÁn 18151139 18151CL2B Đào t¿o CLC - Ng°ßi h°ãng dÁn: PGS.TS Lê Mỹ Hà 2. Māc tiêu đÁ tài: - Tìm hiÃu nguyên lí cÃu t¿o và xây dďng mô hình Stereo camera tĉ hai camera logitech C310 HD. - T¿o mô hình 3D tĉ c¿p hình Ánh stereo camera.

- Tính toán khoÁng cách tĉ vÃt thà tãi camera. Tính mái và sáng t¿o: - Áp dăng các giÁi thuÃt mãi trong viác tính toán bÁn đ÷ chênh lách. K¿t quÁ nghiên cąu: - K¿t quÁ thu đ°āc đ¿t khoÁng 90% so vãi măc tiêu đÁ ra. - Point cloud mô tÁ vÃt thà t°¢ng đái rõ ràng và có thà nhÃn bi¿t khoÁng cách tr°ãc sau, có màu sÅc rõ ràng nh° thďc t¿.

Đóng góp vÁ m¿t giáo dāc và đào t¿o, kinh t¿ - xã hßi, an ninh, quốc phòng và khÁ năng áp dāng căa đÁ tài: - Áp dăng trong lĩnh vďc robot đà tìm thông tin và trích xuÃt vá trí cąa các vÃt thà 3D trong không gian thďc. - Ćng dăng phù hāp cho các há tháng tď hành. - Ćng dăng trong thďc t¿ Áo (VR). Công bố khoa hãc căa SV tć k¿t quÁ nghiên cąu căa đÁ tài: Không Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 7/90 Ngày 10 tháng 10 năm 2021 SV cháu trách nhiám chính thčc hián đÁ tài (kí, họ và tên) X Luc Nguyen Tan Student NhÁn xét căa ng°ãi h°áng d¿n vÁ nhċng đóng góp khoa hãc căa SV thčc hián đÁ tài: Ngày 10 tháng 10 năm 2021 Ng°ãi h°áng d¿n (kí, họ và tên) X Ha Le My Teacher Sá hiáu: HD/QT-PKHCN-QHQT-NCKHSV/00 LÅn soát xét: 00 Ngày hiáu lďc: 01/4/2020 Trang: 8/90 Mä ĐÄU Tái cÃu trúc vÃt thà 3D có ý nghĩa rÃt lãn trong nhiÁu lĩnh vďc cąa cuác sáng và các ngành khoa học kỹ thuÃt nh° há tháng tď hành, công nghá in nÿi 3D, công nghá thßi trang, y học, xây dďng tái t¿o các di sÁn văn hoá, khÁo cÿ, & là mát trong nhčng khâu quan trọng trong công nghiáp tď đáng hoá.

à Viát Nam hián nay, chą đÁ tái t¿o 3D vÁn còn mãi và đang trong quá trình nghiên cću phát triÃn. à các tr°ßng đ¿i học, có nhiÁu đÁ tài đã tĉng nghiên cću vÁ t¿o dďng Ánh 3D tĉ mát c¿p hay nhiÁu Ánh 2D ghép l¿i vãi nhau, tĉ đó thu đ°āc dč liáu đám mây điÃm, tái t¿o l¿i hình 3D cąa đái t°āng. Tĉ đó, t¿o mô hình 3D cąa đái t°āng có thà áp dăng trong giÁng d¿y thay vì phÁi h°ãng dÁn trďc ti¿p trên vÃt thà vãi sá l°āng ít. Đái vãi doanh nghiáp, nhà máy, nÁn sÁn xuÃt công nghiáp c¢ khí đang phát triÃn đ¿c biát là công nghá gia công trên máy CNC dďa vào viác xác đánh khái vÃt thà 3D có thà phăc vă đ°āc nhiÁu ngành công nghiáp nh°: sÁn xuÃt ô tô, xe máy, gia công chi ti¿t, công nghá khuôn mÁu, & Vãi các doanh nghiáp trong n°ãc đà đÅu t° vài trăm nghìn USD cho mát thi¿t bá có thà t¿o dďng mô hình 3D chính xác là khá khó khăn.

H¢n nča thi¿t bá nhÃp kh¿u thì tính năng kỹ thuÃt không đ°āc khai thác h¿t do phă thuác vào phÅn mÁm cąa hãng cũng cung cÃp, bÁo d°ÿng sċa chča cũng khó khăn vÁ m¿t kỹ thuÃt lÁn kinh t¿. Viác nghiên cću tìm hiÃu lo¿i thi¿t bá đo này giúp cho sċ dăng hiáu quÁ h¢n và có khÁ năng tď ch¿ t¿o t¿i Viát Nam tĉ đó cho phép ćng dăng ráng rãi, nâng cao chÃt l°āng cũng nh° sď phát triÃn cąa ngành tď đáng hoá sÁn xuÃt. ĐÃ làm đ°āc điÁu đó, viác nghiên cću thu thÃp đ°āc mô hình 3D vÁ hình dáng, kích th°ãc chính xác cąa đái t°āng tĉ nhiÁu góc nhìn và các thuÃt toán xċ lí dč liáu rÃt quan trọng.