Luận văn: Nhận diện bề mặt & Phân loại vật thể dùng Camera RGB-D

Nhận diện bề mặt bằng camera RGB-D để phân loại vật thể. Tìm hiểu cách thức hoạt động, ứng dụng thực tế và các phương pháp hiệu quả nhất. Khám phá ngay!

• Tác giả: Nguyễn Sỹ Anh
• Người hướng dẫn: TS. Phạm Minh Triển
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử, Truyền thông
• Đề tài: Nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGB-D
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ
• DANH MỤC BẢNG BIỂU
• DANH MỤC KÍ HIỆU VÀ CHỮ VIẾT TẮT
• 1. Chƣơng 1: Giới thiệu
• 1.1. Giới thiệu về các ứng dụng của robot và đa robot
• 1.2. Camera RGB-D và đám mây điểm
• 1.3. Mục tiêu và đối tƣợng nghiên cứu
• 1.4. Các nghiên cứu liên quan
• 2. Chƣơng 2: Các kỹ thuật xử lý đám mây điểm
• 2.1. Loại bỏ những điểm không liên quan
• 2.2. Phân đoạn và ghép nhóm
• 2.3. Tính toán đặc trƣng điểm
• 2.4. Các điểm lân cận
• 2.5. Tìm kiếm điểm lân cận bằng cây k-d tree
• 2.6. Ƣớc lƣợng véc tơ pháp tuyến
• 2.7. Lƣợc đồ đặc trƣng điểm
• 3. Chƣơng 3: Phân loại đặc trƣng điểm bằng phƣơng pháp học máy SVM
• 3.1. Khái niệm máy véc tơ hỗ trợ
• 3.2. Mô hình phân lớp SVM
• 3.3. Chuyển đổi không gian dữ liệu SVM
• 3.4. Các hàm Kernel phổ biến
• 4. Chƣơng 4: Kết quả thực nghiệm
• 4.1. Thƣ viện mở Point Cloud Library
• 4.2. Thƣ viện mở libsvm
• 4.3. Sơ đồ chƣơng trình
• 4.4. Kết quả trên dữ liệu không nhiễu
• 4.5. Kết quả trên đám mây điểm quét từ Kinect
• 5. Chƣơng 5: Kết luận
• 5.1. Hạn chế và hƣớng phát triển
• Tài liệu tham khảo
• MỞ ĐẦU
• 2.1. Tiền xử lý
• 2.2. Giảm mẫu
• 2.3. Phân đoạn

Tóm tắt

I. Tổng quan về Ứng dụng Camera RGB D để Nhận diện Bề mặt

Camera RGB-D đang ngày càng trở nên quan trọng trong lĩnh vực nhận dạng vật thể 3D và mô hình hóa môi trường 3D. Chúng kết hợp thông tin màu sắc từ camera RGB truyền thống với thông tin độ sâu (Depth), cung cấp dữ liệu toàn diện hơn so với chỉ sử dụng hình ảnh 2D. Điều này mở ra nhiều ứng dụng tiềm năng trong các lĩnh vực như robot, thực tế ảo, và giám sát an ninh. Một trong những ứng dụng quan trọng của camera RGB-D là nhận diện bề mặt. Việc xác định các dạng bề mặt khác nhau (ví dụ: phẳng, cong, lồi, lõm) cho phép phân loại vật thể một cách hiệu quả hơn. Luận văn của Nguyễn Sỹ Anh năm 2016 đã tập trung vào việc nhận diện các dạng bề mặt phục vụ phân loại vật thể sử dụng camera RGB-D. Công trình này là một bước tiến quan trọng trong việc nghiên cứu và phát triển các hệ thống thị giác máy tính tiên tiến. Các phương pháp truyền thống sử dụng cảm biến hồng ngoại và siêu âm có nhiều hạn chế về thông tin, trong khi camera RGB-D cung cấp thông tin chi tiết hơn về môi trường xung quanh. Thông tin độ sâu đặc biệt hữu ích trong việc phân biệt các vật thể có màu sắc tương tự nhưng hình dạng khác nhau. Các bài toán như object detection RGB-D, pose estimation RGB-D và scene understanding được giải quyết hiệu quả hơn khi sử dụng camera RGB-D. Hướng nghiên cứu này không chỉ tập trung vào việc xử lý ảnh màu 2D mà còn phát triển các công cụ xử lý ảnh 3D, đây là xu hướng tất yếu của thị giác máy tính hiện đại. Luận văn tập trung xây dựng một chương trình có khả năng phân biệt, nhận biết các bề mặt vật thể trong ảnh RGB-D. Đề tài này có tiềm năng phát triển thành các ứng dụng trong robot, hệ thống đa robot hoặc trong các ứng dụng thực tế đời sống.

1.1. Camera RGB D Nền tảng cho Thị giác Máy tính 3D Hiện đại

Camera RGB-D là công cụ quan trọng trong computer vision, cho phép robot và các hệ thống thông minh cảm nhận môi trường một cách chi tiết và chính xác. Các hệ thống robot sử dụng camera RGB-D có thể thực hiện các tác vụ phức tạp như autonomous navigation, robotic vision, object recognition và tương tác với môi trường xung quanh một cách tự nhiên hơn. Xử lý ảnh RGB-D giúp hệ thống hiểu được hình dạng, kích thước và vị trí của các đối tượng, từ đó đưa ra quyết định và hành động phù hợp. Việc sử dụng depth sensing cùng với thông tin màu sắc mang lại lợi thế lớn so với chỉ sử dụng hình ảnh 2D, đặc biệt trong các môi trường phức tạp và có nhiều yếu tố gây nhiễu. Một số loại camera RGB-D phổ biến là Kinect của Microsoft và các sản phẩm tương tự từ Intel và Asus. Các dataset RGB-D lớn cũng đóng vai trò quan trọng trong việc huấn luyện và đánh giá hiệu suất nhận diện RGB-D của các thuật toán nhận diện vật thể RGB-D.

1.2. Ứng dụng RGB D trong Robot và Đa Robot Tiềm năng và Thách thức

Trong lĩnh vực robot, camera RGB-D được sử dụng rộng rãi để giải quyết các bài toán như lập bản đồ, định vị và reconstruction 3D. Robot có thể sử dụng thông tin từ camera RGB-D để xây dựng mô hình hóa môi trường 3D xung quanh, cho phép chúng di chuyển và tương tác một cách an toàn và hiệu quả. Trong các hệ thống đa robot, camera RGB-D giúp các robot phối hợp với nhau để thực hiện các nhiệm vụ phức tạp hơn, chẳng hạn như tìm kiếm cứu nạn hoặc giám sát an ninh. Tuy nhiên, việc xử lý dữ liệu từ camera RGB-D cũng đặt ra nhiều thách thức. Dữ liệu point cloud processing thường rất lớn và phức tạp, đòi hỏi các thuật toán hiệu quả để xử lý và phân tích. Ngoài ra, camera RGB-D có thể bị ảnh hưởng bởi các yếu tố môi trường như ánh sáng và vật liệu, gây ra nhiễu và sai số trong dữ liệu. Cần có các phương pháp xử lý ảnh RGB-D robust để giảm thiểu ảnh hưởng của các yếu tố này và đảm bảo độ chính xác của hệ thống. SLAM RGB-D là một ví dụ điển hình cho bài toán này.

II. Thách thức trong Nhận diện Bề mặt Vật thể bằng Camera RGB D

Mặc dù camera RGB-D mang lại nhiều lợi ích, việc nhận diện bề mặt vật thể bằng công nghệ này vẫn đối mặt với nhiều thách thức. Dữ liệu từ camera RGB-D thường chứa nhiễu và sai số, đặc biệt là ở các khu vực có độ tương phản thấp hoặc bị che khuất. Xử lý ảnh RGB-D và point cloud processing đòi hỏi các thuật toán mạnh mẽ để loại bỏ nhiễu và đảm bảo độ chính xác của kết quả. Việc phân loại các dạng bề mặt khác nhau (ví dụ: phẳng, cong, lồi, lõm) cũng không phải là một nhiệm vụ đơn giản. Các bề mặt thực tế thường không hoàn hảo và có thể chứa nhiều chi tiết nhỏ, gây khó khăn cho việc phân loại đối tượng 3D. Ngoài ra, hiệu suất của các thuật toán nhận diện bề mặt có thể bị ảnh hưởng bởi các yếu tố như ánh sáng, góc nhìn và khoảng cách đến vật thể. Cần có các phương pháp nhận dạng vật thể 3D robust và thích ứng để đối phó với các biến thể này. Cuối cùng, việc đánh giá hiệu suất nhận diện RGB-D cũng là một thách thức. Cần có các dataset RGB-D lớn và đa dạng để huấn luyện và kiểm tra các thuật toán, cũng như các metric đánh giá phù hợp để so sánh hiệu suất của các phương pháp khác nhau. Một vấn đề khác là sự đa dạng trong hình dạng và kích thước của các vật thể. Một vật thể có thể có nhiều bề mặt khác nhau và các bề mặt này có thể có kích thước khác nhau. Điều này làm cho việc phân loại bề mặt trở nên khó khăn hơn.

2.1. Ảnh hưởng của Nhiễu và Sai số đến Chất lượng Nhận diện RGB D

Nhiễu và sai số là những vấn đề lớn trong xử lý ảnh RGB-D. Nhiễu có thể xuất phát từ nhiều nguồn khác nhau, bao gồm cảm biến, môi trường và quá trình xử lý. Sai số có thể xảy ra do độ chính xác giới hạn của cảm biến độ sâu, sự khác biệt giữa dữ liệu màu và dữ liệu độ sâu, và các vấn đề liên quan đến hiệu chuẩn. Nhiễu và sai số có thể làm giảm đáng kể chất lượng của dữ liệu point cloud processing, gây khó khăn cho việc nhận diện bề mặt và phân loại đối tượng. Các thuật toán cần phải được thiết kế để loại bỏ hoặc giảm thiểu ảnh hưởng của nhiễu và sai số, chẳng hạn như sử dụng các bộ lọc, mô hình hóa thống kê và các phương pháp machine learning robust. Các phương pháp segmentation RGB-D cũng cần được tối ưu để giảm thiểu ảnh hưởng của nhiễu.

2.2. Đa dạng Hình dạng và Kích thước Rào cản cho Phân loại Vật thể 3D

Sự đa dạng trong hình dạng và kích thước của các vật thể là một thách thức lớn đối với phân loại đối tượng 3D. Một vật thể có thể có nhiều bề mặt khác nhau và các bề mặt này có thể có kích thước khác nhau. Ví dụ, một chiếc ghế có thể có bề mặt phẳng (mặt ghế), bề mặt cong (tựa lưng) và bề mặt trụ (chân ghế). Các thuật toán nhận diện bề mặt cần phải có khả năng xử lý sự đa dạng này để đạt được hiệu suất cao. Một cách tiếp cận là sử dụng các feature invariant với hình dạng và kích thước, chẳng hạn như các mô hình hóa 3D hoặc hình học. Một cách tiếp cận khác là sử dụng machine learning để huấn luyện các mạng nơ-ron RGB-D có khả năng học các đặc trưng quan trọng từ dữ liệu. Các dataset RGB-D lớn và đa dạng là rất cần thiết để huấn luyện các mô hình này.

III. Giải pháp Học sâu và SVM để Nhận diện Bề mặt Camera RGB D

Để giải quyết các thách thức trong nhận diện bề mặt vật thể bằng camera RGB-D, các phương pháp học sâu RGB-D và machine learning đóng vai trò quan trọng. Các phương pháp này cho phép hệ thống tự động học các đặc trưng quan trọng từ dữ liệu và thích ứng với các biến thể khác nhau. Một trong những phương pháp phổ biến là sử dụng mạng nơ-ron RGB-D để phân tích hình ảnh 3D và nhận dạng vật thể. Các mạng nơ-ron này có thể được huấn luyện để nhận biết các dạng bề mặt khác nhau và phân loại đối tượng 3D dựa trên thông tin về bề mặt. Ngoài ra, các phương pháp machine learning như Support Vector Machines (SVM) cũng có thể được sử dụng để phân loại bề mặt dựa trên các feature được trích xuất từ dữ liệu point cloud processing. SVM là một phương pháp mạnh mẽ và hiệu quả cho các bài toán phân loại nhị phân và đa lớp. Kết hợp học sâu và SVM có thể mang lại hiệu suất cao trong nhận diện bề mặt và phân loại vật thể.

3.1. Mạng Nơ ron RGB D Học Đặc trưng Tự động cho Nhận diện Bề mặt

Mạng nơ-ron RGB-D là một công cụ mạnh mẽ cho nhận diện bề mặt và phân loại vật thể. Các mạng nơ-ron này có thể được huấn luyện để học các đặc trưng quan trọng từ dữ liệu point cloud processing và thông tin màu sắc. Các lớp tích chập (convolutional layers) có thể được sử dụng để trích xuất các feature cục bộ từ dữ liệu point cloud processing, trong khi các lớp kết nối đầy đủ (fully connected layers) có thể được sử dụng để phân loại đối tượng 3D dựa trên các feature này. Các mạng nơ-ron RGB-D có thể được huấn luyện end-to-end, từ dữ liệu đầu vào đến kết quả phân loại, cho phép chúng tự động học các đặc trưng quan trọng nhất cho nhiệm vụ. Các dataset RGB-D lớn và đa dạng là rất cần thiết để huấn luyện các mạng nơ-ron này.

3.2. Support Vector Machines SVM Phân loại Bề mặt hiệu quả và tin cậy

Support Vector Machines (SVM) là một phương pháp machine learning mạnh mẽ và hiệu quả cho phân loại bề mặt. SVM tìm kiếm một siêu phẳng (hyperplane) phân chia các lớp dữ liệu với margin lớn nhất, giúp giảm thiểu lỗi phân loại. SVM có thể được sử dụng với các kernel khác nhau để xử lý các dữ liệu phi tuyến tính. Ví dụ, kernel RBF (radial basis function) có thể được sử dụng để phân loại các bề mặt cong và phức tạp. SVM có thể được kết hợp với các feature được trích xuất từ dữ liệu point cloud processing, chẳng hạn như normal estimation, curvature estimation và PFH (Point Feature Histogram). SVM là một phương pháp tin cậy và hiệu quả cho phân loại bề mặt, đặc biệt khi có ít dữ liệu huấn luyện.

3.3. Kết hợp Học Sâu và SVM Tối ưu hóa Hiệu suất Nhận diện

Việc kết hợp học sâu và SVM có thể mang lại hiệu suất cao trong nhận diện bề mặt và phân loại vật thể. Một cách tiếp cận là sử dụng mạng nơ-ron RGB-D để trích xuất các feature và sau đó sử dụng SVM để phân loại dựa trên các feature này. Cách tiếp cận này cho phép tận dụng lợi thế của cả hai phương pháp: học sâu có thể tự động học các đặc trưng quan trọng từ dữ liệu, trong khi SVM có thể phân loại một cách hiệu quả và tin cậy dựa trên các feature này. Một cách tiếp cận khác là sử dụng mạng nơ-ron RGB-D để khởi tạo các tham số của SVM, giúp tăng tốc quá trình huấn luyện và cải thiện hiệu suất phân loại. Việc kết hợp học sâu và SVM là một hướng nghiên cứu đầy hứa hẹn cho nhận diện bề mặt và phân loại vật thể.

IV. Ứng dụng Thực tiễn và Kết quả Nghiên cứu Nhận diện RGB D

Các kết quả nghiên cứu về nhận diện bề mặt bằng camera RGB-D có nhiều ứng dụng thực tiễn quan trọng. Trong lĩnh vực robotic vision, nhận diện bề mặt có thể được sử dụng để giúp robot autonomous navigation, tương tác với môi trường và thực hiện các nhiệm vụ phức tạp. Trong lĩnh vực mô hình hóa môi trường 3D, nhận diện bề mặt có thể được sử dụng để xây dựng các mô hình 3D chính xác và chi tiết từ dữ liệu camera RGB-D. Các mô hình này có thể được sử dụng cho nhiều mục đích khác nhau, chẳng hạn như thiết kế kiến trúc, thực tế ảo và trò chơi điện tử. Ngoài ra, nhận diện bề mặt cũng có thể được sử dụng trong các ứng dụng như kiểm tra chất lượng sản phẩm, giám sát an ninh và hỗ trợ người khuyết tật. Kết quả của luận văn Nguyễn Sỹ Anh cho thấy tiềm năng lớn của các phương pháp học máy trong việc nhận diện các dạng bề mặt từ dữ liệu camera RGB-D.

4.1. Nhận diện Bề mặt Nền tảng cho Điều hướng Tự động của Robot

Nhận diện bề mặt là một nền tảng quan trọng cho điều hướng tự động của robot. Robot có thể sử dụng thông tin về bề mặt để hiểu môi trường xung quanh và di chuyển một cách an toàn và hiệu quả. Ví dụ, robot có thể sử dụng nhận diện bề mặt để tránh các chướng ngại vật, leo lên các bậc thang và đi trên các địa hình khác nhau. SLAM RGB-D thường tích hợp khả năng nhận diện bề mặt để cải thiện độ chính xác và độ robust của bản đồ. Pose estimation RGB-D cũng có thể được cải thiện bằng cách sử dụng thông tin về bề mặt.

4.2. Mô hình hóa Môi trường 3D Từ Camera RGB D đến Thực tế Ảo

Nhận diện bề mặt có thể được sử dụng để xây dựng các mô hình 3D chính xác và chi tiết từ dữ liệu camera RGB-D. Các mô hình này có thể được sử dụng cho nhiều mục đích khác nhau, chẳng hạn như thiết kế kiến trúc, thực tế ảo và trò chơi điện tử. Ví dụ, một kiến trúc sư có thể sử dụng camera RGB-D để quét một tòa nhà và sau đó sử dụng nhận diện bề mặt để tạo ra một mô hình 3D của tòa nhà đó. Mô hình này có thể được sử dụng để thiết kế các cải tiến cho tòa nhà hoặc để tạo ra một trải nghiệm thực tế ảo cho khách hàng.

V. Kết luận và Hướng Phát triển Tương lai Nhận diện Vật thể RGB D

Luận văn này đã trình bày một tổng quan về các phương pháp nhận diện bề mặt bằng camera RGB-D. Các phương pháp học sâu RGB-D và machine learning đã chứng minh được hiệu quả trong việc giải quyết các thách thức liên quan đến nhiễu, sai số và sự đa dạng hình dạng và kích thước. Các ứng dụng thực tiễn của nhận diện bề mặt là rất đa dạng và có tiềm năng mang lại nhiều lợi ích cho các lĩnh vực khác nhau. Trong tương lai, nghiên cứu về nhận diện vật thể 3D sẽ tiếp tục phát triển với sự ra đời của các thuật toán mới và dataset RGB-D lớn hơn. Hướng nghiên cứu AI vào các ứng dụng thực tế sẽ tiếp tục được đẩy mạnh.

5.1. Hướng Nghiên cứu Mới Kết hợp Thông tin Ngữ nghĩa và Hình học

Trong tương lai, một hướng nghiên cứu đầy hứa hẹn là kết hợp thông tin ngữ nghĩa và hình học để cải thiện hiệu suất nhận diện bề mặt. Thông tin ngữ nghĩa có thể được sử dụng để hiểu ngữ cảnh của cảnh và giúp phân loại các bề mặt một cách chính xác hơn. Ví dụ, biết rằng một bề mặt là một phần của một chiếc bàn có thể giúp phân loại nó là một bề mặt phẳng. Thông tin ngữ nghĩa có thể được thu thập từ các nguồn khác nhau, chẳng hạn như dataset RGB-D có chú thích ngữ nghĩa hoặc các mô hình ngôn ngữ tự nhiên.

5.2. Tối ưu hóa Thuật toán cho Ứng dụng Thời gian Thực

Một hướng nghiên cứu quan trọng khác là tối ưu hóa các thuật toán cho các ứng dụng thời gian thực. Nhiều ứng dụng, chẳng hạn như điều hướng tự động của robot và thực tế ảo, đòi hỏi nhận diện bề mặt phải được thực hiện trong thời gian thực. Điều này đòi hỏi các thuật toán phải nhanh chóng và hiệu quả, đồng thời vẫn duy trì được độ chính xác cao. Các kỹ thuật như song song hóa và tăng tốc phần cứng có thể được sử dụng để tối ưu hóa các thuật toán cho các ứng dụng thời gian thực.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Các robot với mục đích sử dụng hàng ngày trước đây thường sử dụng các loại cảm biến truyền thống như cảm biến hồng ngoại, cảm biến siêu âm. Nhược điểm của các loại cảm biến này là thông tin mang lại ít, gây ra nhiều giới hạn cho việc vận hành và khả năng của robot để thực hiện các tác vụ phức tạp. Trong những năm gần đây, với sự đi lên của khoa học kĩ thuật, kĩ thuật xử lý ảnh và các hướng nghiên cứu về thị giác máy tính (Computer Vision) đang được phát triển, trong đó có thị giác máy tính sử dụng trong Robotics. Việc sử dụng camera giúp robot cảm nhận được môi trường xung quanh một cách đầy đủ và chi tiết hơn nhiều so với các loại cảm biến truyền thống.

Từ đó tăng tính khả thi cho các bài toán phức tạp hơn về robot như khả năng nhận diện vật thể (màu sắc, hình khối), giúp phối hợp robot hoạt động bầy đàn (định vị, lập bản đồ, phối hợp tuần tra, tìm kiếm cứu nạn đa mục tiêu), … Hiện nay, hướng nghiên cứu thị giác máy tính không chỉ tập trung vào việc xử lý ảnh màu 2D mà còn phát triển cả các công cụ xử lý ảnh 2. Các loại camera 3D trên thị trường thường sử dụng kết hợp camera màu RGB truyền thống và camera độ sâu (Depth), cho đầu ra là ảnh kết hợp RGB-D. Bài toán nhận diện và phân loại các bề mặt vật thể sử dụng camera RGB-D là một bước khởi đầu cho việc nghiên cứu thị giác máy tính theo xu hướng mới hiện nay. Mục tiêu của luận văn là xây dựng chương trình có khả năng phân biệt, nhận biết các bề mặt vật thể trong ảnh.

Đề tài có thể được phát triển tiếp thành các ứng dụng trong lĩnh vực robot, hệ thống đa robot hay trong đời sống hàng ngày. TIEU LUAN MOI download : [e-mail] 10 Chƣơng 1: Giới thiệu 1. Giới thiệu về các ứng dụng của robot và đa robot Với sự phát triển mạnh mẽ trong những năm gần đây, robot được kì vọng sẽ có vai trò ngày càng quan trọng trong sự phát triển của công nghệ và kĩ thuật. Robot thám hiểm có khả năng giúp ích con người nhiều hơn trong các công việc nguy hiểm như tìm kiếm cứu nạn hay làm việc trong các môi trường đặc biệt như môi trường độc hại.

Robot công nghiệp có thể thay thế con người thực hiện các công nghiệp đơn điệu, lặp đi lặp lại trong nhà máy nhưng vẫn đảm bảo độ chính xác.1: Robot turtle trong nhà được trang bị cảm biến Kinect Robot trong nhà là một trong những chủ đề được nghiên cứu rộng rãi nhất. Ứng dụng của robot trong nhà có thể thấy trong cuộc sống hàng ngày như robot lau nhà trong các hộ gia đình thông thường, robot vận chuyển trong các kho bãi, robot phục vụ trong các bệnh viện … Nhu cầu về robot gia tăng đi kèm với sự phát triển của ngành robot theo nhiều hướng khác nhau. Những nghiên cứu về robot gần đây thường xoay quanh các chủ đề về thăm dò, khám phá những khu vực chưa biết, mô hình hóa môi trường, nhận diện vật thể và con người. Bên cạnh TIEU LUAN MOI download : [e-mail] 11 đó, bài toán đa robot (nhiều robot phối hợp cùng thực hiện một nhiệm vụ) cũng được nghiên cứu rộng rãi.2: Bài toán đa robot phối hợp thực hiện nhiệm vụ [11] Vấn đề nhận biết môi trường xung quanh của robot là chủ đề nghiên cứu rộng rãi nhất hiện nay.

Do các yêu cầu càng ngày càng cao trong việc thực hiện nhiệm vụ thì các cảm biến truyền thống dần dần không đáp ứng được nhu cầu của người phát triển. Robot ngày nay được trang bị nhiều thiết bị cảm nhận môi trường hiện đại hơn trong đó có camera RGB-D hay máy quét laser. Các bài toán robot trong nhà với cảm biến ảnh nhờ đó có thể được cụ thể hóa thành các chủ đề nghiên cứu nhỏ hơn như xây dựng mô hình môi trường từ những hình ảnh thu thập được; định vị robot trong một môi trường đã biết trước; nhận diện, phân loại vật thể/con người trong môi trường xung quanh. Camera RGB-D và đám mây điểm Camera RGB-D là loại camera sử dụng đồng thời hai loại cảm biến: cảm biến ảnh màu thông thường như các loại camera truyền thống, cho ảnh đầu ra là ảnh RGB và một cảm biến độ sâu, cho ảnh đầu ra là ảnh độ sâu (Depth).

Loại camera RGB-D phổ biến nhất trên thị trường là Kinect của Microsoft. Cảm biến độ sâu của Kinect sử dụng một cặp thu phát hồng ngoại. TIEU LUAN MOI download : skknchat@gmail.3: Cảm biến Kinect Bảng 1.1: Các thông số kĩ thuật của cảm biến Kinect Độ phân giải ảnh màu VGA (640x480) Độ phân giải ảnh độ sâu VGA (640x480) Thị trường 43o theo chiều dọc 57o theo chiều ngang Tốc độ ghi hình 30 khung hình/giây Ảnh màu RGB và ảnh độ sâu Depth trên Kinect qua các bước xử lý tạo ra dữ liệu 3D dưới dạng point cloud (đám mây điểm). Đám mây điểm là một bộ các điểm trong không gian ba chiều, mỗi điểm bao gồm tọa độ XYZ của nó.

Ngoài ra, mỗi điểm cũng có thể chứa thêm thông tin về màu. Nói chung, đám mây điểm là kiểu dữ liệu thu được từ các thiết bị quét 3D. Các thiết bị này cảm nhận bề mặt các vật thể theo nguyên tắc phát ra một chùm sóng điện từ (hồng ngoại hoặc laser) và thu về sóng phản xạ. Kết quả của quá trình đo từ máy quét là tập dữ liệu gồm bộ các điểm thu được, dưới dạng đám mây điểm.

Cảm biến RGB-D cũng là một dạng máy quét 3D khi sử dụng cảm biến độ sâu theo nguyên lý quét và kết hợp với cảm biến màu. Ngoài ra, dữ liệu kiểu đám mây điểm cũng có thể được tạo ra từ các mô hình 3D như mô hình CAD. Dữ liệu kiểu đám mây điểm được sử dụng trong robot và đa robot với các cảm biến RGB-D, hay ngành viễn thám với các thiết bị quét 3D địa hình bằng máy quét gắn trên máy bay không người lái. TIEU LUAN MOI download : skknchat@gmail.4: Ảnh đầu ra của Kinect (nguồn: internet) ảnh độ sâu (phía trên bên trái), ảnh màu RGB (phía dưới bên trái) và đám mây điểm kết hợp ảnh độ sâu và RGB (bên phải) 1.

Mục tiêu và đối tƣợng nghiên cứu Mục tiêu của luận văn này là nhận diện các dạng bề mặt khác nhau trong đám mây điểm, với mục đích phân loại vật thể, phục vụ cho các ứng dụng về robot trong nhà. Bài toán nhận dạng và phân loại vật thể trên đám mây điểm đã được nghiên cứu và phát triển trong nhiều năm, với nhiều cách tiếp cận khác nhau. Một trong những phương pháp tiếp cận phổ biến và rõ ràng nhất là trích xuất các đặc trưng (feature) của đối tượng và sau đó dùng phương pháp máy véc tơ hỗ trợ (Support Véc tơ Machine – SVM) để nhận diện đối tượng. Nội dung của luận văn này là giới thiệu phương pháp trích xuất lược đồ đặc trưng điểm (Point Feature Histogram) và sau đó sử dụng SVM để nhận diện bề mặt của điểm.

Nội dung chính của các chương được trình bày như sau: TIEU LUAN MOI download : [e-mail] 14 Chương 2: Nói về các kĩ thuật xử lý đám mây điểm, gồm có tiền xử lý và tính toán đặc trưng điểm. Tiền xử lý gồm có giảm mẫu (downsample), loại bỏ các điểm nhiễu không liên quan, phân đoạn và ghép nhóm. Mục đích của quá trình này là lọc đi những dữ liệu thừa, giảm dung lượng dữ liệu cần xử lý nhằm giảm thời gian tính toán cho các bước sau. Các đặc trưng điểm được sử dụng bao gồm véc tơ pháp tuyến và lược đồ đặc trưng điểm – là đặc trưng cần thiết để xác định bề mặt vật thể.

Chương 3: Khái niệm và phương pháp xây dựng mô hình học máy SVM, cũng như cách thức dùng mô hình SVM để nhận diện, phân loại đặc trưng vật thể. Chương 4: Chương trình và thực nghiệm. Chương trình được thử nghiệm trên dữ liệu sạch (noiseless) và dữ liệu thật chụp bằng cảm biến Kinect. Phân tích và đánh giá hiệu năng khi thay đổi các tham số của giải thuật.

Chương 5: Kết luận và đánh giá, đồng thời đề xuất các hướng phát triển tiếp theo của đề tài. Các nghiên cứu liên quan Các phương pháp trích xuất đặc trưng của đối tượng từ đám mây điểm đã được nghiên cứu rộng rãi trong nhiều năm. Trong đó, hai đặc trưng về mặt hình học của các điểm trong đám mây điểm được sử dụng nhiều nhất là ước lượng pháp tuyến (normal estimation) và ước lượng độ cong (curvature estimation). Đây đều là những đặc trưng mang tính cục bộ bởi nó mô tả thông tin về môi trường (hay các điểm) xung quanh điểm cần khảo sát.

Các đặc trưng mang tính cục bộ này sử dụng phương pháp khảo sát thông qua các điểm lân cận. Đặc điểm chung của các đặc trưng cục bộ là chúng dễ bị ảnh hưởng bởi nhiễu đến từ cảm biến. Trái với các đặc trưng điểm mang tính cục bộ chỉ mô tả mối liên hệ giữa một điểm và các lân cận của nó, các đặc trưng điểm mang tính toàn thể mô tả đặc trưng của cả một nhóm điểm lớn biểu diễn một vật thể và có thể dùng trong các bài toán phân loại, nhận dạng vật thể. Một loại đặc trưng toàn thể liên quan là Viewpoint Feature Histogram (VFH) [12].

Đây là đặc trưng toàn thể có liên quan đến Fast Point Feature Histogram (FPFH) [14]. Với đặc trưng này, các góc sai lệch được tính dựa trên véc tơ pháp tuyến của điểm và véc tơ pháp tuyến của tâm TIEU LUAN MOI download : [e-mail] 15 đám mây điểm. Điều đó khiến cho histogram trở nên hữu ích cho việc nhận diện vật thể và ước lượng tư thế. Một giải thuật mở rộng của VFH là Cluster Viewpoint Feature Histogram (CVFH) được trình bày trong [13].

Giải thuật này dựa trên ý tưởng rằng mỗi vật thể đều có một cấu trúc nhất định cho phép chia vật thể đó ra thành một số N vùng mịn riêng biệt. Mỗi vùng đó lại được sử dụng độc lập để tính ra một bộ N histogram VFH riêng biệt. Global Fast Point Feature Histogram (GFPFH) được trình bày trong [15] là giải thuật tổng quát hóa FPFH ở cấp độ toàn thể để tạo ra một đặc trưng điểm có thể bao gồm mối liên hệ của các phần hình học cục bộ của các vật thể. TIEU LUAN MOI download : [e-mail] 16 Chƣơng 2: Các kỹ thuật xử lý đám mây điểm 2.