Ứng Dụng Giải Thuật ICP Kết Hợp Tái Tạo Mô Hình 3D Của Vật Thể Từ Ảnh Depth Map

Chuyên khảo phân tích Ứng dụng giải thuật icp kết hợp tái tạo mô hình 3d của vật thể từ ảnh depth map, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Trần Trường Sơn
• Người hướng dẫn: PGS.TS Lê Tiến Thường
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Viễn Thông
• Đề tài: Ứng Dụng Giải Thuật ICP Trong Tái Tạo Mô Hình 3D Từ Ảnh Depth Map
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2012
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Mục tiêu Luận văn
• 1.2. Phƣơng pháp thực hiện
• 1.3. Sơ lƣợc về nội dung luận văn
• 1.4. Những nghiên cứu liên quan
• 2. CHƯƠNG 2: TÌM HIỂU VỀ CAMERA KINECT
• 2.1. Giới thiệu tổng quan về camera Kinect
• 2.2. Những thành phần chính của camera Kinect
• 2.3. Tính toán thông tin độ sâu
• 2.3.1. Thu thập thông tin độ sâu
• 2.3.2. Độ chính xác của giá trị độ sâu
• 2.4. Một số đặc tính khác
• 2.4.1. Hạn chế từ ánh sáng cấu trúc
• 2.4.2. Tiêu cự, góc mở IR camera và RGB camera
• 2.4.3. Công suất tiêu thụ và nguồn cung cấp
• 2.4.4. Môi trƣờng hoạt động
• 3. CHƯƠNG 3: CÁC THƢ VIỆN HỖ TRỢ
• 3.1. APIs hỗ trợ Kinect
• 3.2. So sánh Kinect SDK và OpenNI
• 3.3. Thƣ viện PCL
• 4. CHƯƠNG 4: TÁI TẠO MÔ HÌNH 3D
• 4.2. Cấu trúc của dữ liệu đám mây điểm
• 4.3. Giai đoạn tiền xử lý đám mây điểm
• 4.3.1. Lọc dữ liệu
• 4.3.1.1. Bộ lọc không gian
• 4.3.1.2. Bộ lọc lƣới
• 4.3.2. Phân đoạn và phân nhóm vật thể
• 4.4. Giai đoạn liên kết đám mây điểm
• 4.4.1. Giải thuật ICP
• 4.4.2. Phƣơng pháp ghép thô SAC-IA
• 4.4.2.1. Ƣớc lƣợng vector pháp tuyến bề mặt
• 4.4.2.2. Ƣớc lƣợng đặc tính đám mây điểm
• 4.4.2.3. Giải thuật đồng nhất mẫu ngẫu nhiên SAC-IA
• 4.4.3. Quá trình liên kết từng cặp đám mây điểm thành vật thể hoàn chỉnh
• 4.5. Giai đoạn cải thiện chất lƣợng đám mây điểm sau liên kết
• 4.5.1. Loại bỏ các phần tử nhiễu sử dụng phƣơng pháp thống kê
• 4.5.2. Xử lý bề mặt dùng phƣơng pháp Moving Least Squares
• 5. CHƯƠNG 5: TÁI TẠO BỀ MẶT VẬT THỂ
• 5.1. Giới thiệu các phƣơng pháp tái tạo bề mặt
• 5.2. Các phƣơng pháp xây dựng lƣới đa giác
• 5.2.1. Cấu trúc dữ liệu lƣới đa giác
• 5.2.2. Hình dạng Alpha
• 5.2.3. Phƣơng pháp chiếu tam giác hóa
• 5.3. Các phƣơng pháp tái tạo bề mặt
• 5.3.1. Phƣơng pháp chiếu lƣới
• 5.3.2. Thuật toán Marching Cubes
• 5.4. Nhận xét các thuật toán tái tạo
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN
• Tài liệu tham khảo
• Phụ lục A – Sample Consensus
• Phụ lục B - Các khái niệm cơ bản về hình dạng Alpha

Tóm tắt

I. Tổng Quan Ứng Dụng Giải Thuật ICP Tái Tạo Mô Hình 3D

Bài viết này tập trung vào ứng dụng giải thuật ICP (Iterative Closest Point) trong việc tái tạo mô hình 3D từ dữ liệu ảnh Depth Map, một lĩnh vực đang ngày càng phát triển mạnh mẽ. Mục tiêu chính là cung cấp một cái nhìn tổng quan về quy trình, từ thu thập dữ liệu đến xử lý và xây dựng mô hình 3D hoàn chỉnh. Việc sử dụng ảnh Depth Map kết hợp với thuật toán ICP mở ra nhiều tiềm năng trong các ứng dụng thực tế như computer vision, robotics, và SLAM. Nghiên cứu này khám phá các phương pháp cải thiện độ chính xác và hiệu suất của quá trình tái tạo, đồng thời đề xuất các giải pháp để giải quyết các thách thức liên quan đến dữ liệu đầu vào và các ràng buộc tính toán. Dữ liệu từ camera Kinect, một thiết bị thu thập ảnh Depth Map giá rẻ, được sử dụng rộng rãi. Tuy nhiên, dữ liệu từ Kinect có thể không ổn định, đòi hỏi các giải thuật tối ưu hóa để tăng độ chính xác.

1.1. Giới thiệu về Giải Thuật ICP và Ứng Dụng

Giải thuật ICP là một giải thuật tối ưu hóa quan trọng trong lĩnh vực xử lý ảnh 3D và tái tạo mô hình 3D. Nó được sử dụng để đăng ký điểm đám mây, tức là tìm phép biến đổi tốt nhất để khớp hai hoặc nhiều điểm đám mây lại với nhau. Ứng dụng ICP rất đa dạng, từ robotics (định vị và lập bản đồ đồng thời - SLAM) đến y học (tái tạo mô hình cơ thể người từ ảnh chụp CT hoặc MRI). Thuật toán ICP là một quy trình lặp đi lặp lại, trong đó tìm các cặp điểm gần nhất giữa hai điểm đám mây, sau đó tính toán và áp dụng phép biến đổi để giảm thiểu khoảng cách giữa chúng. Quá trình này lặp lại cho đến khi đạt được sự hội tụ. Theo luận văn tốt nghiệp Đại học Bách Khoa TP.HCM, giải thuật ICP tỏ ra hiệu quả khi góc lệch giữa các điểm đám mây nhỏ.

1.2. Vai Trò của Ảnh Depth Map trong Tái Tạo 3D

Ảnh Depth Map (bản đồ độ sâu) đóng vai trò quan trọng trong quá trình tái tạo mô hình 3D. Ảnh Depth Map cung cấp thông tin về khoảng cách từ camera đến các điểm trên bề mặt vật thể, cho phép tạo ra điểm đám mây biểu diễn hình dạng 3D của vật thể. Các thiết bị như camera Kinect của Microsoft có khả năng tạo ra ảnh Depth Map một cách hiệu quả và chi phí thấp. Dữ liệu từ ảnh Depth Map có thể được sử dụng trực tiếp để tái tạo mô hình 3D, hoặc kết hợp với các thông tin khác như hình ảnh 3D màu để tạo ra mô hình 3D chi tiết hơn. Tuy nhiên, ảnh Depth Map thu được từ các thiết bị như Kinect thường chứa nhiều nhiễu và sai sót, đòi hỏi các phương pháp xử lý tiền xử lý để cải thiện chất lượng trước khi tái tạo.

II. Thách Thức Độ Chính Xác Dữ Liệu Ảnh Depth Map Từ Kinect

Một trong những thách thức lớn nhất trong việc sử dụng giải thuật ICP để tái tạo mô hình 3D từ ảnh Depth Map là độ chính xác của dữ liệu đầu vào, đặc biệt khi sử dụng các thiết bị giá rẻ như Kinect. Ảnh Depth Map từ Kinect thường bị ảnh hưởng bởi nhiễu, sai số do ánh sáng, và giới hạn về độ phân giải. Điều này có thể dẫn đến kết quả tái tạo không chính xác hoặc không hoàn chỉnh. Các vấn đề khác bao gồm sự chồng chéo và lỗ hổng trong điểm đám mây, làm phức tạp thêm quá trình đăng ký điểm đám mây. Vì thế, các biến thể ICP như ICP point-to-plane và ICP generalized được đưa ra để tăng độ chính xác alignment.

2.1. Các Loại Nhiễu Thường Gặp Trong Ảnh Depth Map

Ảnh Depth Map thu được từ các thiết bị như Kinect thường chứa nhiều loại nhiễu khác nhau. Nhiễu có thể do nhiều yếu tố gây ra, bao gồm nhiễu hồng ngoại, nhiễu do ánh sáng môi trường, và nhiễu do đặc tính của bề mặt vật thể. Các loại nhiễu này có thể dẫn đến sai số trong giá trị độ sâu, làm giảm chất lượng của điểm đám mây và ảnh hưởng đến quá trình tái tạo mô hình 3D. Việc loại bỏ nhiễu là một bước quan trọng trong quá trình tiền xử lý ảnh Depth Map, đòi hỏi các phương pháp lọc và làm mịn dữ liệu hiệu quả. Phải đảm bảo độ chính xác của mô hình 3D sau khi tái tạo.

2.2. Ảnh Hưởng Của Ánh Sáng Đến Dữ Liệu Depth Sensing

Ánh sáng là một yếu tố quan trọng ảnh hưởng đến chất lượng dữ liệu depth sensing, đặc biệt đối với các thiết bị sử dụng công nghệ ánh sáng cấu trúc như Kinect. Ánh sáng môi trường quá mạnh hoặc quá yếu có thể gây ra sai số trong giá trị độ sâu. Ánh sáng hồng ngoại từ các nguồn khác cũng có thể gây nhiễu cho cảm biến của Kinect. Do đó, cần phải kiểm soát điều kiện ánh sáng khi thu thập ảnh Depth Map để đảm bảo độ chính xác của dữ liệu. Các phương pháp xử lý ảnh có thể được sử dụng để giảm thiểu ảnh hưởng của ánh sáng lên dữ liệu depth sensing.

III. Giải Pháp Thuật Toán ICP Kết Hợp SAC IA Cho Alignment Tối Ưu

Để giải quyết các thách thức về độ chính xác và hiệu suất, bài viết này tập trung vào việc sử dụng giải thuật ICP kết hợp với SAC-IA (Sample Consensus Initial Alignment). SAC-IA là một phương pháp ghép đồng nhất mẫu ban đầu, giúp cải thiện khả năng hội tụ của giải thuật ICP bằng cách cung cấp một ước lượng ban đầu tốt cho phép biến đổi. Bằng cách kết hợp hai phương pháp này, ta có thể đạt được kết quả tái tạo chính xác hơn và giảm thiểu thời gian tính toán. Các kỹ thuật ước tính chuyển động được áp dụng để cải thiện khả năng đăng ký điểm đám mây.

3.1. Ưu Điểm Của SAC IA Trong Việc Ghép Nối Thô Điểm Đám Mây

SAC-IA (Sample Consensus Initial Alignment) là một phương pháp mạnh mẽ để ghép nối thô các điểm đám mây. SAC-IA sử dụng một quy trình đồng nhất mẫu để tìm các cặp điểm tương ứng giữa hai điểm đám mây, sau đó ước tính phép biến đổi để khớp chúng lại với nhau. Ưu điểm của SAC-IA là khả năng hoạt động tốt ngay cả khi có nhiều nhiễu và ngoại lệ trong dữ liệu. Việc sử dụng SAC-IA làm bước tiền xử lý cho giải thuật ICP giúp cải thiện đáng kể khả năng hội tụ của ICP và giảm thời gian tính toán. Nhờ vậy, thuật toán giảm sai số ban đầu đáng kể.

3.2. Tối Ưu Hóa ICP Với Thông Tin Vector Pháp Tuyến Bề Mặt

Một phương pháp khác để cải thiện độ chính xác của giải thuật ICP là sử dụng thông tin về vector pháp tuyến bề mặt. Vector pháp tuyến bề mặt cung cấp thông tin về hướng của bề mặt tại mỗi điểm, giúp ICP tìm các cặp điểm tương ứng chính xác hơn. Các phương pháp ước tính vector pháp tuyến bề mặt có thể được sử dụng để tính toán vector pháp tuyến cho mỗi điểm trong điểm đám mây, sau đó sử dụng thông tin này để hướng dẫn quá trình tối ưu hóa ICP. Phương pháp ICP point-to-plane sử dụng thông tin vector pháp tuyến để tìm khoảng cách từ một điểm đến mặt phẳng tiếp xúc tại điểm tương ứng, từ đó cải thiện độ chính xác alignment.

IV. Ứng Dụng Thực Tế Tái Tạo Mô Hình 3D Vật Thể Từ Camera Kinect

Phương pháp tái tạo mô hình 3D từ ảnh Depth Map bằng giải thuật ICP kết hợp SAC-IA có nhiều ứng dụng thực tế, đặc biệt trong lĩnh vực computer vision và robotics. Ví dụ, có thể sử dụng phương pháp này để tái tạo mô hình 3D của các vật thể trong môi trường thực tế, cho phép robot tương tác với chúng một cách thông minh hơn. Ngoài ra, phương pháp này có thể được sử dụng để tạo ra các mô hình 3D ảo của các đối tượng lịch sử hoặc văn hóa, phục vụ cho mục đích giáo dục và bảo tồn. Phương pháp kết hợp giảm số lượng ảnh Depth Map cần thiết để tái tạo, tiết kiệm thời gian và công sức.

4.1. Tái Tạo Mô Hình 3D Cho Robotics Và SLAM

Trong lĩnh vực robotics, việc tái tạo mô hình 3D của môi trường xung quanh là một nhiệm vụ quan trọng. Mô hình 3D có thể được sử dụng để lập kế hoạch đường đi cho robot, tránh chướng ngại vật, và tương tác với các đối tượng trong môi trường. Giải thuật ICP kết hợp SAC-IA có thể được sử dụng để tái tạo mô hình 3D từ dữ liệu thu được bởi các cảm biến trên robot, cho phép robot hoạt động một cách tự động và thông minh hơn. Bên cạnh đó, ứng dụng rộng rãi trong SLAM (Simultaneous Localization and Mapping), giúp robot định vị bản thân và xây dựng bản đồ môi trường đồng thời.

4.2. Ứng Dụng Trong Y Học Mô Hình Hóa Cơ Thể Người

Trong lĩnh vực y học, việc tái tạo mô hình 3D của cơ thể người có nhiều ứng dụng tiềm năng. Ví dụ, mô hình 3D có thể được sử dụng để lập kế hoạch phẫu thuật, tạo ra các thiết bị y tế tùy chỉnh, hoặc theo dõi sự tiến triển của bệnh tật. Giải thuật ICP kết hợp SAC-IA có thể được sử dụng để tái tạo mô hình 3D từ ảnh Depth Map hoặc hình ảnh 3D chụp CT hoặc MRI, cung cấp cho các bác sĩ thông tin chi tiết và chính xác về cấu trúc cơ thể người. Từ đó, có thể chẩn đoán và điều trị bệnh hiệu quả hơn.

V. Đánh Giá Độ Chính Xác Và Hiệu Suất Của Giải Thuật ICP

Độ chính xác và hiệu suất là hai yếu tố quan trọng cần xem xét khi đánh giá giải thuật ICP và các biến thể ICP. Độ chính xác đề cập đến khả năng của giải thuật trong việc đăng ký điểm đám mây chính xác, trong khi hiệu suất đề cập đến thời gian tính toán cần thiết để đạt được kết quả. Các nghiên cứu đã chỉ ra rằng giải thuật ICP kết hợp SAC-IA có thể đạt được độ chính xác và hiệu suất tốt hơn so với giải thuật ICP truyền thống, đặc biệt khi xử lý dữ liệu ảnh Depth Map có nhiều nhiễu và ngoại lệ. Sai số và độ chính xác là hai yếu tố then chốt để đánh giá chất lượng.

5.1. Các Yếu Tố Ảnh Hưởng Đến Độ Hội Tụ Của Giải Thuật ICP

Có nhiều yếu tố có thể ảnh hưởng đến độ hội tụ của giải thuật ICP, bao gồm chất lượng dữ liệu đầu vào, ước lượng ban đầu của phép biến đổi, và các tham số của giải thuật. Dữ liệu ảnh Depth Map có nhiều nhiễu và ngoại lệ có thể làm chậm quá trình hội tụ hoặc dẫn đến kết quả không chính xác. Ước lượng ban đầu của phép biến đổi càng gần với giá trị thực tế, giải thuật càng nhanh chóng hội tụ. Các tham số của giải thuật, chẳng hạn như số lần lặp tối đa và ngưỡng dừng, cũng có thể ảnh hưởng đến độ hội tụ.

5.2. So Sánh Hiệu Suất Tính Toán Giữa Các Biến Thể ICP

Có nhiều biến thể ICP khác nhau đã được đề xuất để cải thiện độ chính xác và hiệu suất của giải thuật ICP. Các biến thể này khác nhau về cách chúng tính toán khoảng cách giữa các điểm, cách chúng ước tính phép biến đổi, và cách chúng xử lý nhiễu và ngoại lệ. So sánh hiệu suất tính toán giữa các biến thể ICP là một nhiệm vụ quan trọng để lựa chọn giải thuật phù hợp cho một ứng dụng cụ thể. Các biến thể có thể kể đến là ICP point-to-point, ICP point-to-plane và ICP generalized, mỗi loại có ưu nhược điểm riêng.

VI. Kết Luận Và Hướng Phát Triển Tái Tạo 3D Tương Lai

Bài viết này đã trình bày một cái nhìn tổng quan về ứng dụng giải thuật ICP trong việc tái tạo mô hình 3D từ ảnh Depth Map, đặc biệt là khi sử dụng các thiết bị giá rẻ như Kinect. Việc kết hợp giải thuật ICP với SAC-IA giúp cải thiện đáng kể độ chính xác và hiệu suất của quá trình tái tạo. Trong tương lai, có nhiều hướng phát triển tiềm năng cho lĩnh vực này, bao gồm việc sử dụng các kỹ thuật học sâu để cải thiện khả năng xử lý nhiễu và ngoại lệ, cũng như việc phát triển các giải thuật tái tạo thời gian thực cho các ứng dụng robotics và SLAM. Các phương pháp Surface Reconstruction sẽ được nghiên cứu sâu hơn.

6.1. Tiềm Năng Của Học Sâu Trong Xử Lý Ảnh Depth Map

Học sâu (Deep Learning) đang trở thành một công cụ mạnh mẽ trong nhiều lĩnh vực của computer vision, và xử lý ảnh Depth Map cũng không phải là ngoại lệ. Các mạng nơ-ron sâu có thể được sử dụng để học cách lọc nhiễu, phục hồi dữ liệu bị thiếu, và cải thiện độ phân giải của ảnh Depth Map. Ngoài ra, học sâu có thể được sử dụng để trích xuất các đặc trưng hữu ích từ ảnh Depth Map, giúp cải thiện hiệu suất của các giải thuật tái tạo mô hình 3D. Phương pháp học sâu giúp cải thiện hiệu suất và độ chính xác của quá trình xử lý.

6.2. Ứng Dụng Tái Tạo 3D Thời Gian Thực Cho Robotics

Việc tái tạo mô hình 3D thời gian thực là một yêu cầu quan trọng đối với nhiều ứng dụng robotics, chẳng hạn như điều khiển robot từ xa, điều hướng robot tự động, và tương tác người-robot. Các giải thuật tái tạo thời gian thực cần phải có khả năng xử lý dữ liệu ảnh Depth Map với tốc độ cao và độ trễ thấp, đồng thời vẫn đảm bảo độ chính xác của mô hình 3D. Các nghiên cứu hiện tại đang tập trung vào việc phát triển các giải thuật tái tạo song song và phân tán, cũng như việc sử dụng các phần cứng chuyên dụng để tăng tốc quá trình tính toán.

Trích đoạn nội dung tài liệu

Đặt vấn đề Tái tạo bề mặt 3D của các vật thể nhỏ trong điều kiện giới hạn về không gian, thiết bị, chất lƣợng… đã đƣợc nghiên cứu và áp dụng vào nhiều lĩnh vực nhƣ thiết kế và tạo mẫu ảo, kiểm định chất lƣợng, trò chơi điện tử, tạo mô hình thế giới ảo, mô hình hóa sản phẩm, mô phỏng mặt ngƣời làm hình đại diện,… Kỹ thuật quét hình 3D hiện hành thƣờng dựa trên những thiết bị cảm biến phức tạp và chuyên nghiệp nhƣ hệ thống camera/máy chiếu dùng công nghệ ánh sáng cấu trúc (structured light) hoặc laser định tầm. Mặc dù dữ liệu thu đƣợc có chất lƣợng cao nhƣng các thiết bị trên tốn kém và thƣờng đòi hỏi ngƣời sử dụng có kiến thức chuyên môn để có thể vận hành. Vì thế ngƣời dùng bán chuyên nghiệp không đƣợc sử dụng những công nghệ đó. Mặt khác, nếu máy quét 3D giá rẻ và dễ vận hành trở nên phổ biến hơn thì mô hình vật thể 3D có thể đƣợc sử dụng rộng rãi hơn giống nhƣ hình ảnh và video hiện nay.

Điều này có thể mở rộng sự phát triển của nhiều ứng dụng mới, ví dụ nhƣ trong lĩnh vực hội họa và điêu khắc, trong các nền tảng web cộng đồng hoặc mua sắm trực tuyến. Camera độ sâu (depth camera) nhƣ cảm biến Microsoft Kinect là một loại thiết bị mới phát triển trong thời gian gần đây đã thu hút sự chú ý của đông đảo giới giải trí và cộng đồng khoa học. So với các loại máy quét 3D thông thƣờng, camera độ sâu có thể thu thập đƣợc dữ liệu màu và chiều sâu của vật thể (khoảng cách từ vật thể đến camera) ở tốc độ khung hình khá tốt, ít phụ thuộc vào điều kiện ánh sáng và hoa vân bề mặt (texture). Camera Kinect nhỏ gọn, giá rẻ và dễ dùng nhƣ một máy quay video thích hợp cho ngƣời dùng phổ thông.

Kinect đã đƣợc dùng nhƣ là một máy quét 3D, tuy nhiên độ phân giải X/Y và độ chính xác của thông tin độ sâu trong dữ liệu thu đƣợc còn tƣơng đối thấp. Do đó, luận văn này sẽ khắc phục các vấn đề trên, tái tạo mô hình 3D của vật thể với chất lƣợng tốt trên máy tính chỉ với camera Kinect cầm tay.2 Mục tiêu Luận văn Luận văn này sử dụng phƣơng pháp ghép nối, tái tạo mô hình từ các đám mây điểm thu đƣợc từ camera Kinect dƣới các góc nhìn khác nhau thỏa mãn điều kiện các đám mây điểm phải có miền phủ chồng lên nhau đủ lớn, tức là góc nhìn vật thể giữa các đám mây điểm kế cận không chênh lệch quá lớn. Ngƣời dùng có thể thu đƣợc các đám mây điểm này bằng cách di chuyển camera Kinect tự do xung quanh vật thể. Chuyển động hoặc thiết lập của camera không nhất thiết phải xác định cụ thể.

Từ đó, các đám mây điểm đƣợc ghép lại với nhau tạo thành một mô hình đám mây điểm hoàn chỉnh, số điểm của đám mây điểm cuối bằng tổng số điểm của các đám mây điểm ghép lại, có thể lấy mẫu downsample hoặc upsample bằng thuật Chƣơng 1: Giới thiệu 2 SVTH: T.com Ứng dụng ICP kết hợp - tái tạo mô hình 3D GVHD: PGS.TS Lê Tiến Thƣờng toán để cải thiện độ phân giải (mật độ). Thuật toán tái tạo mô hình 3D thích hợp sẽ tạo đƣợc bề mặt 3D từ mô hình đám mây điểm hoàn chỉnh này. Quá trình quét và xử lý này đơn giản đối với ngƣời dùng phổ thông, chỉ với máy vi tính và camera Kinect. Các kết quả thực nghiệm cho thấy kết quả đảm bảo tốt hình dạng của vật thể trong giới hạn cho phép.

Với chi phí cho camera khoảng 150$, phƣơng pháp này rẻ hơn nhiều so với phƣơng pháp sử dụng máy quét 3D truyền thống. Mục tiêu của Luận văn này đƣợc tóm gọn lại nhƣ sau:  Thu dữ liệu đám mây điểm từ camera Kinect, tiền xử lý dữ liệu bằng các thuật toán lọc để chuẩn bị tốt cho công đoạn ghép nối và tái tạo vật thể.  Sử dụng giải thuật liên kết các đám mây điểm (registration) dùng giải thuật ICP kết hợp bao gồm giải thuật ghép thô (coarse alignment) và ghép tinh chỉnh (fine alignment) khôi phục mô hình 3D của vật thể.  Thực thi các giải thuật cải thiện chất lƣợng bề mặt tối ƣu sau quá trình ghép nối các đám mây điểm.

 Tái tạo lại bề mặt của vật thể.3 Phƣơng pháp thực hiện Hai giai đoạn chính của quá trình xử lý là liên kết các đám mây điểm (registration) và tái tạo bề mặt (reconstruction). Trƣớc khi các đám mây điểm đƣợc liên kết, chúng đƣợc tiền xử lý thông qua các bộ lọc nhiễu và vật thể xung quanh không cần thiết. Giai đoạn liên kết các đám mây điểm đƣợc chia làm hai tác vụ kết hợp một cách hợp lý là ghép nối thô và ghép nối tinh chỉnh. Sau đó, các giải thuật cải thiện chất lƣợng bề mặt gồm có giải thuật làm trơn bề mặt, upsampling sẻ đƣợc thực thi.

Giai đoạn cuối cùng là tái tạo bề mặt. Các giải thuật tái tạo bề mặt gồm có chiếu tam giác hóa với ƣu điểm bảo toàn màu sắc của vật thể, dạng alpha có ƣu điểm tạo đƣợc bề mặt chi tiết, chiếu lƣới tạo bề mặt trơn và marching cubes với giải thuật không quá phức tạp, thời gian thực thi ngắn và đƣợc sử dụng rộng rãi từ lâu, chất lƣợng bề mặt chấp nhận đƣợc.4 Sơ lƣợc về nội dung luận văn Luận văn gồm có các chƣơng: • Chƣơng 1 – Giới thiệu: Sơ lƣợc về tái tạo bề mặt 3D, những vấn đề hiện tại và tổng quan về nội dung luận văn. Chƣơng 1: Giới thiệu 3 SVTH: T.com Ứng dụng ICP kết hợp - tái tạo mô hình 3D GVHD: PGS.TS Lê Tiến Thƣờng • Chƣơng 2 – Tìm hiểu camera Kinect: phân tích chuyên sâu về cấu tạo và nguyên tắc hoạt động của camera Kinect. • Chƣơng 3 – Các thƣ viện hỗ trợ: giới thiệu về API OpenNI và Thƣ viện đám mây điểm (PCL) dùng trong luận văn này.

• Chƣơng 4 – Tái tạo mô hình 3D: chƣơng này phân tích lý thuyết, phƣơng pháp thực hiện và kết quả của các giải thuật xử lý liên kết đám mây điểm. • Chƣơng 5 – Tái tạo bề mặt 3D: chƣơng này phân tích lý thuyết, phƣơng pháp thực hiện và kết quả của các thuật toán tái tạo bề mặt. • Chƣơng 6 – Kết luận và hƣớng phát triển.5 Những nghiên cứu liên quan 1 Dự án KinectFusion của Microsoft [38] hợp tác với các trƣờng ở Anh và Canada cho phép tái tạo không gian 3D thời gian thực. Quá trình tái tạo 3D đƣợc thực hiện ở tốc độ khung hình cao nhƣng không dùng phƣơng pháp liên kết các đám mây điểm có lƣới tam giác, cho phép tái tạo chi tiết cụ của vật thể do bề mặt luôn đƣợc cải thiện chất lƣợng khi có thêm nhiều góc quay.

Điều này cho phép tích hợp các tƣơng tác đồ họa máy tính vào môi trƣờng quét ngay trong quá trình quét và tái tạo bề mặt. Viện nghiên cứu Intel thực hiện một hệ thống tái tạo 3D tinh vi và phức tạp dùng Kinect vào năm 2010. Hệ thống này dùng kĩ thuật tái tạo 3D quy mô lớn dùng vòng lặp kín, một ký thuật cực tiểu hóa lỗi toàn cục, vƣợt xa tầm của luận văn này. Nicolas Burrus, ngƣời nghiên cứu Kinect đã công bố thông tin lý thuyết và thực nghiệm về camera này trƣớc khi driver OpenNI xuất hiện, đã viết phần mềm RGBDemo dựa vào ý tƣởng trên của Intel vào tháng 1 năm 2011.

Tháng 4 năm 2011, Burrus đã cập nhật quá trình liên kết đám mây điểm tối ƣu hóa trên GPU cho chƣơng trình này. Chƣơng 1: Giới thiệu 4 SVTH: T.com Ứng dụng ICP kết hợp - tái tạo mô hình 3D GVHD: PGS.TS Lê Tiến Thƣờng Chƣơng 2 – Tìm hiểu về camera Kinect ___________________________________________________________________________ Chƣơng 2: Tìm hiểu về camera Kinect 5 SVTH: T.com Ứng dụng ICP kết hợp - tái tạo mô hình 3D GVHD: PGS.TS Lê Tiến Thƣờng Chƣơng này mô tả công nghệ cốt lõi liên quan đến quá trình thu thập các đám mây điểm. Một cách thông dụng để thu thập các đám mây điểm là sử dụng stereo camera. Mô tả tóm tắt công nghệ sử dụng stereo camera đƣợc trình bày dƣới đây: Hình 2.1: Camera thu ảnh 3D – stereo camera màn Stereo camera có hơn 2 thấu kính và một cảm biến ảnh hoặc màng film tách biệt cho mỗi thấu kính, cho phép camera mô phỏng cơ quan thị giác hai mắt của ngƣời, do đó nó có thể chụp đƣợc ảnh 3D, quá trình này đƣợc gọi là stereo photography.

Tuy nhiên nhƣ đã giới thiệu ở chƣơng 1, stereo camera là một thiết bị đắt tiền và phức tạp, độ linh động còn hạn chế mặc dù độ chính xác của đám mây điểm rất cao. Vào ngày 4 tháng 11 năm 2010, thiết bị cảm biến chuyển động thiết Microsoft Kinect cho máy chơi game Xbox 360 đƣợc phát hành. Kinect là sản phẩm của Microsoft dựa trên công nghệ camera đƣợc phát triển bởi PrimeSense, Kinect là thiết bị phần cứng chi phí thấp và giá cả phải chăng đƣợc sử dụng trong Luận văn này với mục đích chính là thu dữ liệu đám mây điểm của vật thể.1 Giới thiệu tổng quan về camera Kinect Kinect đƣợc coi nhƣ là một thiết bị ngoại vi cho Xbox 360, cho phép giao tiếp với con ngƣời thông qua các cử chỉ, đem lại những cảm giác thú vị cho ngƣời chơi game trên Xbox. Khả năng hiểu đƣợc cử chỉ con ngƣời của Kinect dựa trên hai đặc tính chính sau: thông tin về độ sâu ảnh (depth map), khả năng phát hiện và bám theo đặc tính cơ thể ngƣời (body skeleton tracking).

Bên cạnh phục vụ cho mục đích chơi game, sản phẩm Kinect còn đƣợc dùng vào mục đích nghiên cứu xử lý ảnh 3D, phát hiện cử chỉ (gesture recognition), bám theo ngƣời Chƣơng 2: Tìm hiểu về camera Kinect 6 SVTH: T.com Ứng dụng ICP kết hợp - tái tạo mô hình 3D GVHD: PGS.TS Lê Tiến Thƣờng (body tracking) đƣợc dùng trong các ứng dụng điều khiển robot tự động và nhiều mục đích khác. Kinect đang giữ kỷ lục Guiness thế giới về “Thiết bị điện tử đƣợc tiêu thụ nhanh nhất” với 8 triệu sản phẩm trong 60 ngày. Mƣời triệu sản phẩm Kinect đã đƣợc phân phối trên thế giới vào ngày 9 tháng 3 năm 2011. Lý do chính cho sự thành công của sản phẩm Kinect là giá cả khá rẻ (khoảng 140$ trên 1 sản phẩm) cho thiết bị có khả năng cung cấp các thông tin 3D với chất đủ tốt để nghiên cứu và phát triển.

Ngoài ra, nhờ khả năng theo giỏi và phát hiện cử chỉ của Kinect, ngƣời ta ví Kinect nhƣ là “mắt thần” trong những ứng dụng liên quan đến thị giác máy tính.