Luận văn thạc sĩ về lọc nhiễu dữ liệu cảm biến độ sâu

Luận văn thạc sĩ nghiên cứu máy tính lọc nhiễu dữ liệu cảm biến độ sâu, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Nguyễn Ngọc Lễ
• Người hướng dẫn: TS. Lê Ngọc Minh
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Lọc Nhiễu Dữ Liệu Cảm Biến Độ Sâu
• Loại tài liệu: luận văn
• Năm xuất bản: 2013
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: TỔNG QUAN
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 4. NGHIÊN CỨU LIÊN QUAN
• 5. TRÍCH ĐỐI TƯỢNG
• 6. PHƯƠNG PHÁP KHỬ NHIỄU
• 7. KẾT QUẢ VÀ KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Chương này đưa ra một giới thiệu chung về chủ đề lọc nhiễu dữ liệu từ thiết bị cảm biến độ sâu, tập trung vào việc đảm bảo đặc tính hình học. Động lực của nghiên cứu này xuất phát từ sự phát triển nhanh chóng của công nghệ quét 3D, đặc biệt là thiết bị Kinect for Xbox. Thiết bị này không chỉ có chi phí thấp mà còn cho phép thu thập dữ liệu với độ chính xác cao. Tuy nhiên, dữ liệu thu được thường bị nhiễu, ảnh hưởng đến chất lượng của mô hình 3D. Do đó, việc xử lý tín hiệu và khử nhiễu là rất cần thiết trước khi tiến hành các bước tiếp theo trong việc tạo mô hình bề mặt. Phương pháp Moving Least Squares (MLS) kết hợp với kỹ thuật Non-Local được đề xuất như một giải pháp hiệu quả để xử lý dữ liệu này. Mục tiêu chính của luận văn là phát triển một phương pháp lọc nhiễu hiệu quả, giữ lại các đặc tính hình học của bề mặt trong quá trình khôi phục dữ liệu.

II. Tổng quan về thiết bị Kinect

Thiết bị cảm biến Kinect được phát hành vào năm 2010, cho phép người dùng tương tác với trò chơi video mà không cần sử dụng các thiết bị điều khiển truyền thống. Kinect sử dụng công nghệ Time-of-Flight và Structured Light để thu thập dữ liệu, tạo ra các đám mây điểm (point clouds) từ bề mặt quét. Tuy nhiên, dữ liệu thu được thường không hoàn hảo và chứa nhiều nhiễu. Việc hiểu rõ về cách thức hoạt động của Kinect và các yếu tố ảnh hưởng đến chất lượng dữ liệu là rất quan trọng. Các yếu tố như khoảng cách giữa thiết bị và bề mặt, điều kiện ánh sáng, và thuộc tính bề mặt có thể dẫn đến việc thu thập dữ liệu không chính xác. Do đó, việc thu thập dữ liệu và phân tích dữ liệu là bước đầu tiên trong quá trình khử nhiễu, nhằm đảm bảo rằng các đặc tính hình học của bề mặt được bảo tồn.

III. Cơ sở lý thuyết

Chương này giới thiệu các lý thuyết cơ bản liên quan đến lọc nhiễu dữ liệu từ thiết bị cảm biến độ sâu. Phương pháp Moving Least Squares (MLS) được trình bày như một kỹ thuật chính trong việc khôi phục bề mặt từ đám mây điểm. MLS cho phép ước lượng bề mặt mịn từ các điểm dữ liệu không đồng nhất, giúp giảm thiểu nhiễu mà vẫn giữ lại các đặc tính hình học quan trọng. Ngoài ra, các phương pháp khác như Robust Moving Least Squares và Non-Local denoising cũng được thảo luận, nhấn mạnh tầm quan trọng của việc kết hợp nhiều kỹ thuật để đạt được kết quả tốt nhất. Việc áp dụng các lý thuyết này vào thực tiễn sẽ giúp cải thiện chất lượng của mô hình 3D được tạo ra từ dữ liệu thu thập.

IV. Phương pháp khử nhiễu

Chương này trình bày chi tiết về phương pháp khử nhiễu được áp dụng cho dữ liệu đám mây điểm. Phương pháp kết hợp giữa MLS và Non-Local nhằm tối ưu hóa quá trình xử lý dữ liệu. Kỹ thuật Non-Local cho phép xử lý các điểm dữ liệu dựa trên thông tin từ các điểm lân cận, giúp loại bỏ nhiễu mà không làm mất đi các đặc tính hình học của bề mặt. Các bước thực hiện bao gồm thu thập dữ liệu, phân tích và áp dụng các thuật toán khử nhiễu. Kết quả thực nghiệm cho thấy phương pháp đề xuất có khả năng cải thiện đáng kể chất lượng dữ liệu đầu ra, từ đó tạo ra các mô hình 3D chính xác hơn. Việc áp dụng phương pháp này không chỉ có giá trị trong lĩnh vực đồ họa máy tính mà còn trong nhiều ứng dụng thực tiễn khác.

V. Kết quả và kết luận

Chương cuối cùng tổng hợp các kết quả thực nghiệm từ việc áp dụng phương pháp khử nhiễu đã đề xuất. Kết quả cho thấy rằng phương pháp kết hợp giữa MLS và Non-Local mang lại hiệu quả cao trong việc xử lý dữ liệu đám mây điểm. Các mô hình 3D được tạo ra từ dữ liệu đã khử nhiễu cho thấy độ chính xác và tính chân thực cao hơn so với các phương pháp truyền thống. Kết luận rút ra từ nghiên cứu này nhấn mạnh tầm quan trọng của việc xử lý tín hiệu trong việc cải thiện chất lượng dữ liệu thu thập từ thiết bị cảm biến độ sâu. Nghiên cứu mở ra hướng đi mới cho các ứng dụng trong lĩnh vực khoa học máy tính, đặc biệt là trong các lĩnh vực liên quan đến đồ họa máy tính và robot.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ cảm biến 3D, việc xử lý dữ liệu đám mây điểm thu thập từ các thiết bị cảm biến độ sâu như Kinect ngày càng trở nên quan trọng. Thiết bị Kinect for Xbox của Microsoft, với khả năng thu thập dữ liệu điểm 3D ở tốc độ khoảng 30 frames/giây và độ phân giải cảm biến độ sâu 320x240 pixels, đã mở ra nhiều cơ hội ứng dụng trong các lĩnh vực như đồ họa máy tính, robot và tương tác người-máy. Tuy nhiên, dữ liệu thu được từ Kinect thường chứa nhiều nhiễu do các yếu tố như đặc tính bề mặt, khoảng cách cảm biến, điều kiện ánh sáng và giới hạn kỹ thuật của thiết bị. Nhiễu này ảnh hưởng trực tiếp đến chất lượng mô hình 3D được tái tạo, đặc biệt khi dữ liệu được sử dụng để xây dựng lưới tam giác, vốn rất nhạy cảm với nhiễu.

Luận văn tập trung nghiên cứu phương pháp lọc nhiễu dữ liệu đám mây điểm 3D thu thập từ thiết bị Kinect, nhằm giữ lại đặc tính hình học quan trọng của bề mặt trong khi loại bỏ nhiễu không mong muốn. Mục tiêu cụ thể là phát triển một thuật toán kết hợp kỹ thuật Moving Least Squares (MLS) và phương pháp lọc nhiễu không cục bộ (Non-Local) để xử lý dữ liệu đám mây điểm, đặc biệt phân biệt giữa vùng có đặc tính (cạnh, góc, độ cong cao) và vùng không có đặc tính. Phạm vi nghiên cứu tập trung vào dữ liệu quét bề mặt hình hộp tại một góc nhìn cụ thể, với thời gian thu thập và xử lý trong khoảng năm 2012-2013 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh.

Việc cải thiện chất lượng dữ liệu đám mây điểm không chỉ nâng cao độ chính xác của mô hình 3D mà còn góp phần quan trọng trong các ứng dụng thực tế như nhận dạng cử động, tái tạo hình ảnh và robot tự động. Các chỉ số đánh giá hiệu quả của phương pháp được đo bằng khoảng cách Euclidean giữa điểm dữ liệu đã lọc và bề mặt gốc, với các tham số như bán kính tìm kiếm và ngưỡng góc được điều chỉnh để tối ưu hóa kết quả.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính để phát triển phương pháp lọc nhiễu:

1. Moving Least Squares (MLS): Đây là kỹ thuật nội suy và xấp xỉ bề mặt mịn từ dữ liệu điểm không có cấu trúc. MLS sử dụng phép chiếu điểm lên mặt phẳng tham chiếu cục bộ được xác định bằng cách tối thiểu hóa sai số bình phương có trọng số, giúp làm mịn dữ liệu và giảm nhiễu trong vùng không có đặc tính. Phương pháp này được phát triển dựa trên công trình của Levin (1998) và được mở rộng bởi nhiều nghiên cứu sau đó.

2. Phương pháp lọc nhiễu không cục bộ (Non-Local Denoising): Lấy cảm hứng từ kỹ thuật lọc nhiễu ảnh 2D của Buades et al. (2005), phương pháp này dựa trên giả định về sự tự tương đồng trong dữ liệu, sử dụng trọng số dựa trên sự tương tự của các vùng lân cận để ước lượng giá trị điểm bị nhiễu. Trong luận văn, kỹ thuật này được mở rộng sang dữ liệu 3D, áp dụng cho các vùng có đặc tính như cạnh sắc hoặc góc nhọn, nhằm giữ lại các đặc điểm hình học quan trọng.

Ba khái niệm chuyên ngành quan trọng được sử dụng bao gồm:

• Đám mây điểm (Point Cloud): Tập hợp các điểm 3D không có cấu trúc, mỗi điểm có tọa độ (x, y, z) và có thể kèm theo các thuộc tính như màu sắc và vector pháp tuyến (normal vector).

• Vector pháp tuyến (Normal Vector): Hướng vuông góc với bề mặt tại một điểm, được ước lượng từ các điểm lân cận bằng phương pháp phân tích thành phần chính (PCA).

• Phân cụm (Clustering): Kỹ thuật gom nhóm các điểm dựa trên khoảng cách Euclidean và sự tương đồng của vector pháp tuyến để phân biệt vùng có đặc tính và vùng không có đặc tính.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là đám mây điểm 3D thu thập từ thiết bị cảm biến độ sâu Kinect for Xbox, với tổng số điểm khoảng 307,200 điểm cho mỗi lần quét. Dữ liệu được thu thập tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh trong năm 2012.

Phương pháp nghiên cứu bao gồm các bước chính:

• Tiền xử lý dữ liệu: Sử dụng bộ lọc Pass Through để loại bỏ các điểm nằm ngoài phạm vi khoảng cách xác định, giảm dữ liệu dư thừa và loại bỏ các điểm không thuộc đối tượng hình hộp.

• Phân đoạn và trích đối tượng: Áp dụng thuật toán RANSAC để tìm mô hình mặt phẳng phù hợp, tách các điểm thuộc đối tượng hình hộp ra khỏi nền và các đối tượng khác. Tiếp theo, sử dụng kỹ thuật phân cụm dựa trên khoảng cách Euclidean và góc giữa các vector pháp tuyến để phân biệt vùng có đặc tính và vùng không có đặc tính.

• Ước lượng vector pháp tuyến: Dùng phương pháp phân tích thành phần chính (PCA) trên các điểm lân cận được xác định bằng kd-tree để tính toán vector pháp tuyến cho từng điểm.

• Lọc nhiễu: Áp dụng thuật toán kết hợp MLS cho vùng không có đặc tính và phương pháp lọc nhiễu không cục bộ cho vùng có đặc tính. Các tham số như bán kính tìm kiếm (radius) và ngưỡng góc (tolerance) được điều chỉnh dựa trên kết quả thực nghiệm.

• Đánh giá kết quả: So sánh khoảng cách Euclidean giữa các điểm đã lọc và bề mặt gốc, tính các chỉ số MIN, AVG, MAX để đánh giá hiệu quả lọc nhiễu. Thời gian xử lý cũng được ghi nhận để đánh giá tính khả thi của phương pháp.

Timeline nghiên cứu kéo dài từ tháng 7 đến tháng 11 năm 2012, bao gồm các giai đoạn thu thập dữ liệu, phát triển thuật toán, thực nghiệm và phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả lọc nhiễu của phương pháp kết hợp MLS và Non-Local: Kết quả thực nghiệm trên dữ liệu Double-Torus2 cho thấy phương pháp đề xuất giảm đáng kể sai số khoảng cách Euclidean so với chỉ sử dụng MLS. Cụ thể, sai số trung bình (AVG) giảm khoảng 15-20%, trong khi sai số tối đa (MAX) giảm đến 25%, chứng tỏ khả năng giữ lại đặc tính hình học trong vùng có đặc tính.

2. Ảnh hưởng của bán kính tìm kiếm (radius): Khi tăng bán kính từ 0.8 đến 3, thời gian xử lý tăng từ khoảng 1.4 giây lên 3.2 giây, đồng thời sai số giảm nhẹ. Bán kính khoảng 1-2 được xác định là tối ưu cân bằng giữa hiệu quả lọc và thời gian xử lý.

3. Phân biệt vùng có đặc tính và không có đặc tính: Thuật toán phân cụm dựa trên khoảng cách Euclidean và góc vector pháp tuyến cho phép phân loại chính xác các vùng trên bề mặt. Vùng có đặc tính được xử lý bằng phương pháp Non-Local giúp bảo tồn các cạnh sắc và góc nhọn, trong khi vùng không có đặc tính được làm mịn bằng MLS.

4. So sánh với các phương pháp truyền thống: Phương pháp đề xuất vượt trội hơn so với các kỹ thuật lọc nhiễu đơn lẻ như bilateral filtering hay chỉ MLS, đặc biệt trong việc giữ lại các đặc điểm hình học phức tạp mà không làm mờ bề mặt.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả lọc nhiễu đến từ việc kết hợp linh hoạt hai phương pháp phù hợp với đặc tính vùng dữ liệu. MLS làm mịn hiệu quả vùng phẳng và ít biến đổi, trong khi phương pháp Non-Local dựa trên sự tương tự vùng giúp bảo tồn các đặc điểm hình học quan trọng như cạnh sắc và góc nhọn. Kết quả này phù hợp với các nghiên cứu trước đây về lọc nhiễu đám mây điểm và mở rộng thành công kỹ thuật lọc ảnh không cục bộ sang dữ liệu 3D.

Biểu đồ so sánh sai số AVG và MAX theo các bán kính tìm kiếm minh họa rõ ràng xu hướng giảm sai số khi tăng bán kính, đồng thời bảng thời gian xử lý cho thấy tính khả thi của thuật toán trong ứng dụng thực tế. So sánh trực quan giữa đám mây điểm gốc, đám mây điểm nhiễu và đám mây điểm sau lọc cũng cho thấy sự cải thiện rõ rệt về chất lượng dữ liệu.

Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao chất lượng dữ liệu đầu vào cho các ứng dụng tái tạo mô hình 3D, nhận dạng hình dạng và tương tác người-máy, đặc biệt với các thiết bị cảm biến giá rẻ như Kinect.

Đề xuất và khuyến nghị

1. Triển khai thuật toán lọc nhiễu kết hợp MLS và Non-Local trong phần mềm xử lý đám mây điểm: Động từ hành động là "áp dụng", mục tiêu là giảm sai số khoảng cách Euclidean trung bình xuống dưới 0.01 đơn vị, thời gian thực hiện trong vòng 6 tháng, chủ thể thực hiện là các nhóm nghiên cứu và phát triển phần mềm xử lý hình học 3D.

2. Tối ưu tham số bán kính tìm kiếm và ngưỡng góc: Đề xuất điều chỉnh tham số bán kính trong khoảng 1-2 và ngưỡng góc phù hợp để cân bằng giữa hiệu quả lọc và thời gian xử lý, thực hiện trong 3 tháng, chủ thể là nhóm nghiên cứu và kỹ sư phần mềm.

3. Mở rộng ứng dụng cho các thiết bị cảm biến khác và các đối tượng phức tạp hơn: Khuyến nghị nghiên cứu thêm trên dữ liệu từ các thiết bị Time-of-Flight hoặc stereo camera, cũng như các hình dạng phức tạp hơn như bề mặt cong đa dạng, thời gian nghiên cứu dự kiến 1 năm, chủ thể là các viện nghiên cứu và doanh nghiệp công nghệ.

4. Phát triển giao diện trực quan hỗ trợ người dùng điều chỉnh tham số và quan sát kết quả lọc: Động từ hành động là "phát triển", mục tiêu nâng cao trải nghiệm người dùng và tăng tính ứng dụng thực tế, thời gian thực hiện 6 tháng, chủ thể là nhóm phát triển phần mềm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Kỹ thuật Điện tử: Luận văn cung cấp kiến thức chuyên sâu về xử lý dữ liệu đám mây điểm 3D, kỹ thuật lọc nhiễu và ứng dụng thư viện PCL, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Kỹ sư phát triển phần mềm xử lý hình học 3D và mô hình hóa: Các giải pháp và thuật toán được trình bày giúp cải thiện chất lượng dữ liệu đầu vào, từ đó nâng cao hiệu quả các ứng dụng tái tạo mô hình và nhận dạng hình dạng.

3. Chuyên gia trong lĩnh vực robot và tương tác người-máy: Phương pháp lọc nhiễu nâng cao độ chính xác dữ liệu cảm biến Kinect, hỗ trợ các hệ thống nhận dạng cử động và điều khiển robot chính xác hơn.

4. Doanh nghiệp phát triển thiết bị cảm biến và ứng dụng thực tế: Luận văn cung cấp cơ sở lý thuyết và thực nghiệm để cải tiến phần mềm xử lý dữ liệu cảm biến, giúp nâng cao chất lượng sản phẩm và dịch vụ.

Câu hỏi thường gặp

1. Phương pháp lọc nhiễu kết hợp MLS và Non-Local có ưu điểm gì so với các phương pháp truyền thống?
   Phương pháp này vừa làm mịn hiệu quả vùng phẳng bằng MLS, vừa bảo tồn đặc tính hình học vùng có cạnh sắc nhờ lọc không cục bộ, giúp giảm sai số trung bình khoảng 15-20% so với chỉ dùng MLS.

2. Thiết bị Kinect có những hạn chế gì khi thu thập dữ liệu đám mây điểm?
   Kinect sử dụng công nghệ Structured Light, dữ liệu thu được thường bị nhiễu do điều kiện ánh sáng, khoảng cách và đặc tính bề mặt, gây ra các điểm lỗi và khoảng trống trong đám mây điểm.

3. Làm thế nào để phân biệt vùng có đặc tính và không có đặc tính trong đám mây điểm?
   Sử dụng kỹ thuật phân cụm dựa trên khoảng cách Euclidean và góc giữa các vector pháp tuyến, vùng có đặc tính thường có nhiều cụm con và biến đổi lớn về góc pháp tuyến.

4. Tham số bán kính tìm kiếm ảnh hưởng thế nào đến kết quả lọc nhiễu?
   Bán kính lớn giúp thu thập nhiều điểm lân cận hơn, làm mịn tốt hơn nhưng tăng thời gian xử lý; bán kính nhỏ giữ chi tiết tốt nhưng có thể lọc nhiễu kém hơn. Bán kính từ 1 đến 2 được khuyến nghị.

5. Phương pháp này có thể áp dụng cho các thiết bị cảm biến khác ngoài Kinect không?
   Có thể, tuy nhiên cần điều chỉnh tham số và kiểm tra lại hiệu quả trên dữ liệu từ các thiết bị khác như Time-of-Flight hoặc stereo camera do đặc tính dữ liệu khác nhau.

Kết luận

• Đã phát triển thành công phương pháp lọc nhiễu đám mây điểm 3D kết hợp Moving Least Squares và lọc nhiễu không cục bộ, giữ được đặc tính hình học quan trọng của bề mặt.
• Phương pháp cải thiện đáng kể sai số khoảng cách Euclidean so với các kỹ thuật truyền thống, đặc biệt trong vùng có đặc tính như cạnh sắc và góc nhọn.
• Tham số bán kính tìm kiếm và ngưỡng góc đóng vai trò quan trọng trong việc cân bằng hiệu quả lọc và thời gian xử lý.
• Kết quả thực nghiệm trên dữ liệu Kinect cho thấy tính khả thi và ứng dụng rộng rãi trong các lĩnh vực đồ họa máy tính, robot và tương tác người-máy.
• Đề xuất các bước tiếp theo bao gồm tối ưu tham số, mở rộng ứng dụng cho các thiết bị và đối tượng phức tạp hơn, cũng như phát triển giao diện người dùng trực quan.

Áp dụng phương pháp vào các dự án thực tế, nghiên cứu mở rộng và phát triển phần mềm hỗ trợ để nâng cao hiệu quả xử lý dữ liệu đám mây điểm.

Trích đoạn nội dung tài liệu

Chương 1. GIỚI THIỆU Chương 2. TONG QUAN Trình bày về thiết bị Kinect, một số thuật ngữ liên quan đến vẫn dé lọc nhiễu dữ liệu, Point Cloud Library (PCL) để có được sự hiểu biết rõ ràng hơn về vấn đề đang được tìm hiểu để có hướng tiếp cận đúng Chương 3. CO SỞ LÝ THUYET Giới thiệu một số lý thuyết co bản can thiết để có liên quan hay được sử dụng trong luận văn.

NGHIÊN CỨU LIÊN QUAN Trinh bày tông quan vệ các công trình liên quan đên bài toán lọc nhiêu dữ liệu thiệt bi cảm biên độ sâu. TRÍCH DOI TƯỢNG Trình bày các bước để có thể trích đối tượng cần khảo sát ra khỏi cảnh vật, để sau đó đối tượng sẽ được dùng như là đầu vào cho phương pháp khử nhiễu. PHƯƠNG PHÁP KHU NHIÊU Trinh bày độ đo cho phương pháp khử nhiễu và phương pháp khử nhiễu cho dữ liệu đám mây. KẾT QUÁ VÀ KẾT LUẬN Đây là phan để trình bày kết quả thực nghiệm giữa phương pháp dé xuất và phương pháp Moving Least Squares (MLS).

Từ kết quả thu được và những nhận xét trên kết quả đó dé đưa ra kết luận về phương pháp đã được đề xuất. TÔNG QUAN Chương này bắt đầu bằng việc mô tả tổng quát thiết bị Kinect, bên cạnh đó cũng mô tả cách tính những thuộc tính điểm như: tính normal, 2 phương pháp PFH và FPFH được dùng dé tìm điểm tương xứng trong đăng ký (registration) 2 tập điểm.1 Kinect Thiét bi cam bién Kinect Thiết bi cảm ứng Microsoft Kinect được phát hành cho Microsoft Xbox 360 video game vào cuối năm 2010. Thiết bi nay cho phép người dùng tương tác trò chơi video bang cách di chuyển co thé của mình trong một cách tự nhiên và do đó cho phép chơi game mà không cần dùng bat kỳ phím điều khiến nào. Ngoài ra, cảm biến Kinect với Xbox cũng nhận biết khi người dùng nói, nên cho người dùng tìm những chương trình tivi, thé thao,.

Bên cạnh những thành công trong công nghiệp trò chơi. Với chi phí thấp cho một thiết bị Kinect, nhiều nhà nghiên cứu và các sinh viên, học viên trong các lĩnh vực khoa học máy tính, kỹ thuật điện tử và ứng dụng robot đã tận dụng công nghệ cảm biến để phát triển những cách mới trong tương tác và thực hiện nhiều công việc khác nhau. Cảm biến Kinect bao gồm một camera màu, một cảm biến độ sâu (depth sensor) được tạo bởi Microsoft hay còn gọi là RGB-D camera. Công nghệ cảm biến theo chiều sâu được tạo bởi công ty PrimeSense Israel, chi tiết bên trong chưa được tiết lộ vẫn còn là bí mật nhưng nguyên lý hoạt động dựa trên nên tảng “structured light”.

Bộ phận chiếu hồng ngoại (infrared (IR) projector) cua thiét bi Kinect phong ra cac diém sang va tối liên tục vào mỗi bề mặt đồi tượng. Các điểm mẫu đó sẽ được thu giữ bởi bộ phận camera hồng ngoại (IR camera). Cam biến Kinect dùng vi trí tương đối của những đốm nhỏ để tính khoảng cách tại mỗi vị trí pixel. Thông số kỹ thuật: Góc nhìn Góc nhìn ngang : 57” (1.8m) Góc nhìn đứng: 43° Pham vi nghiên vat lý: + 27° Phạm vi cảm biến độ sâu: 1.5m Dòng dữ liệu Tốc độ dữ liệu: xấp xỉ 30 frames/sec Cảm biến độ sâu: 320x240 pixels 16-bit độ sâu RGB Camera: 640x480 pixels 32-bit mau Audio: 16-bit @ 16 kHz Hệ thống theo dõi khung xương Theo dõi lên đến 6 người, bao gdm 2 người choi Theo đõi 20 khớp trên người, 33ms thời gian trả lời Khả năng ánh xạ người chơi đến LIVE Avatars Hệ thống Audio Trò chuyện nhóm trực tiếp và trò chuyện trong game (yêu cầu là thành viên Xbox LIVE Gold) Hệ thống loại bỏ tiếng vọng: nhận dạng lời nói trong môi trường nhiều giọng nói Kết nối thiết bi Công USB và nguồn bên ngoài IR Projector i, IR Sensor t= Hình 2-1: Lay dữ liệu độ sâu của Kinect 2.

Một số thuật ngữ m_ Occlusion Những phần của thực thể không được thay bởi IR camera mặc dù được chiếu bởi IR projector » Shadow Những phan của thực thé không được chiếu bởi IR projector nhưng hình anh đó được bắt giữ bởi IR camera = Nhiéu (Noise) Nhiéu (noise): lỗi trong phép đo (độ sâu). Ví du nếu đo một mặt phăng tại một khoảng cách 3 m. Ta sẽ không lay được tat cả các điêm đu có giá tri là 3 m mà sẽ có giá tri xung quanh 3 m theo phan bố Gaussian với một độ lệch chuẩn nhất định. Độ lệch chuẩn được xem như là nhiễu trong phép đo m.

Outliers (big errors) Một outliers là một phép đo mà sai lệch quá nhiều so với những phép khác. Chúng là những phép đo không tuân theo hình học bề mặt cục bộ.2 Đám mây điểm (Point Clouds) Phương pháp lọc nhiễu dữ liệu 3 chiều (3D) được tạo ra từ thiết bị Kinect, được gọi là đám mây điểm 3D. Đám mây điểm 3D là một tập điểm 3 chiều không liên thông thể hiện thế giới được thu giữ bởi thiết bị cảm biến Kinect. Thể hiện đơn giản của mỗi điểm trong đám mây điểm 3D có toa độ (x, y, z), nhưng chúng vẫn có thé chứa các thuộc tính khác màu và hướng normal vector.

Đám mây điểm 3D được sinh ra từ những ảnh độ sâu (depth image) hay bản đồ độ sâu (depth map). Ảnh độ sâu là một ma trận pixels, mỗi pixel chứa một giá tri độ sâu trong đó giá trị độ sâu chính là khoảng cách từ bé mặt của đối tượng trong thế giới thực đến camera, sau đó ảnh độ sâu được chuyên đôi sang thê hiện 3D. Một đám mây điểm là một cấu trúc dữ liệu được sử dung dé thé hiện một tập hợp các điểm đa chiều và thường được sử dụng để biểu diễn dữ liệu ba chiều. Trong một đám mây điểm 3D, các điểm thường được biểu diễn với tọa độ hình học X, Y, và Z của một bé mặt mẫu.

Khi có thêm thông tin màu sắc, các đám mây trở thành điểm 4D.3 Point Cloud Library (PCL) Point Cloud Library (PCL) là thư viện mã nguồn mở được viết trong ngôn ngữ C++, miễn phí trong thương mai và trong nghiên cứu, được sử dụng trong xử lý hình học 3D và đám mây điểm n-D. PCL đã hỗ trợ trên nhiều hệ điều hành như: Windows, MacOS, Linux, và Android đang được cộng đồng sử dụng. Do dữ liệu đám mây (PCD) là lớn và phải thực hiện các tính toán hình học phức tap nên tốc độ xử lý chậm. PCL đã dùng tập lệnh Streaming SIMD Extensions (SSE) cho ö việc tính toán nhanh trên những CPU hiện đại.

Bên cạnh PCL cung cấp OpenMP và thư viện Intel Threading Building Blocks (TBB) trong việc xử lý song song. Truyền Hình 2-2: Sơ đồ Class của PCL 2.1 Một số thư viện module C++: e libpcl features: chứa các cấu trúc dữ liệu và các kỹ thuật ước lượng dặc tính 3D từ dữ liệu đám mây điểm. Vi du normal, độ cong (curvatures), những diém bién (boundary points), Point Feature Histograms (PFH), Fast PFH. e libpcl_surface: gồm những kỹ thuật xây dựng lại bề mặt như meshing, convex hulls, Moving Least Squares,.

e libpcl filters: gồm những kỹ thuật lọc nhiễu, outliers, nó cũng chứa một số phương pháp trích tập con của đám mây điểm, hay loại bỏ những phần của đám mây điêm như downsampling, outlier removal, indices extraction, projections, e libpcl_io: xử lý việc đọc ghi dữ liệu (files: PCD, PLY) e libpcl_segmentation: những xử lý lay đoạn dữ liệu gồm có cluster extraction, Sample Consensus model fitting, polygonal prism extraction,. e libpcl_registration: những phương pháp đăng ký dam may dữ liệu Iterative Closest Point (CP), non linear optimizations, .2 Bộ loc (filter) e Giới hạn phạm vi (PassThrough) Lọc ra các điểm năm ngoài phạm vi được chỉ định e Giảm mẫu (Voxel Grid) Đám mây dữ liệu được thé hiện dưới dạng lưới 3D. Mỗi phan tử của lưới 3D là những hộp (box) hay còn gọi là “voxel” chứa các điểm dữ liệu. Mỗi voxel mà hoàn toàn bị chiếm giữ thì được lấy thay thế bởi tâm của những điểm bên trong nó.

e Loại bỏ Outliers (StatisticalOutlierRemoval / RadiusOutlierRemoval) e Loại ra điểm dựa trên mật độ điểm cục bộ của chúng. Loại bỏ các điểm có thưa thớt so với mật độ điểm trung bình của toàn bộ đám mây 2. Những đặc tính điểm (Point Features) Việc thể hiện Point Features được mô tả như một vector mà nó mô tả thông tin hình học cục bộ xung quanh một điểm đang được xem xét. Công thức của một thé hiện đặt tính cho một điểm Py là điểm đang được truy vẫn và P là tập k hàng xóm xung quanh điểm P, được thể hiện như sau: F(pạ, P*) ={#l,X¿,., Xa} Với n thê hiện vector kêt quả có n chiều.

10 Feature BoundaryPoint NormalTBB NormalOMP Hình 2-4: So đồ class đặc tính điểm 2.4 Uớc lượng Normal Những van đê sử lý dữ liệu điêm, bước ước lượng normal thường di trước nhiệm vụ chính. Về cơ bản có 2 cách tiếp cận trong việc ước lượng normal của bề mặt: cách truyền thống là từ dữ liệu đám mây điểm xây dựng mô hình bề mặt cơ bản dùng kỹ thuật chia lưới (meshing) sau đó tính những normal từ đó. Tuy nhiên, khi kích thước dữ liệu lớn, thì hướng tiếp cận này tốn chi phí cao trong việc xây dựng lưới. Một hướng thứ 2 là Hình 2-5: Đám mây điểm 3D Hình 2-6: Tinh normal của dé liệu điểm re k ` ^ „ bd A ` ` “ Kẻ oA AR ` A „ Với P` là tập các diém là hàng xóm của điêm truy van pg, P* được dùng dé ước lượng A A 2 2 ~ d.

k 4 “ một xâp xỉ normal của bê mặt tại điêm truy vân pạ. việc xác định P` có 2 cách sau: e Xác định k hàng xóm gan nhất của điểm truy van (k search) e Xác định các hàng xóm của diém truy vân trong bán kính r (r search) Cho diém truy van pg, một tập các diém hàng xóm cho mục đích ước lượng normal bê mặt được lay mâu quanh điêm truy vân pạ. Vân đề xác định các hệ sô k hoặc r dé chỉ ra 11 những hàng xóm xung quanh điêm truy vân có ảnh hưởng đền việc ước lượng normal tại điểm truy van. Hình phía bên trái cho thay một ước lượng normal hợp lý hon với chọn lựa hệ số k hoặc r là nhỏ so với phía bên phải với các hệ sô là lớn.

Chọn lựa các hệ số phù hợp là một việc khó. Hình 2-7: Ước lượng bề mặt normal a) hệ số tỉ lệ nhỏ (tốt) bên trái; b) hệ số tỉ lệ lớn (xấu) bên phải 2.5 PEH (Point Feature Histogram) PFH là kỹ thuật mạnh đối với dữ liệu nhiễu và chứa outliers trong việc lay dac tinh thông tin.