Luận văn thạc sĩ: Robot gắp vật bằng học sâu và xử lý ảnh RGB-D

Luận văn thạc sĩ nghiên cứu hệ thống robot gắp vật, ứng dụng công nghệ học sâu và xử lý ảnh RGB-D để nhận diện và phân đoạn vật thể chính xác.

Người đăng

Ẩn danh

Thể loại

Luận Văn Thạc Sĩ

2022

75
2
0

Phí lưu trữ

30 Point

Tóm tắt

I. Giới thiệu về Robot Gắp Vật và Công Nghệ Học Sâu

Robot gắp vật là một lĩnh vực quan trọng trong robotics hiện đại, kết hợp giữa thị giác máy tínhhọc sâu để thực hiện các tác vụ phức tạp. Công nghệ này cho phép robot tự động nhận diện, định vị và gắp các vật thể với độ chính xác cao. Việc ứng dụng học sâu trong xử lý ảnh RGB-D đã mở ra nhiều cơ hội mới cho automation trong công nghiệp sản xuất, logistics và y tế. Hệ thống vision-based picking sử dụng các mạng neural networks như Mask R-CNN để phân đoạn vật thể trong môi trường phức tạp, nơi các vật thể có thể chồng lấn hoặc che khuất lẫn nhau. Sự phát triển của công nghệ này không chỉ nâng cao hiệu suất sản xuất mà còn giảm thiểu rủi ro cho con người trong các công việc nặng nề.

1.1. Khái Niệm và Ý Nghĩa của Robot Gắp Vật

Robot gắp vật là hệ thống tự động được thiết kế để nhận diện và gắp các vật thể từ môi trường xung quanh. Ứng dụng của nó rất đa dạng, từ xếp hàng tự động, phân loại sản phẩm đến lấy từ kho. Các hệ thống này yêu cầu sự kết hợp giữa cảm biến thị giác, xử lý dữ liệu thời gian thựcđiều khiển robot chính xác.

1.2. Vai Trò của Học Sâu trong Nhận Diện Vật Thể

Học sâu cung cấp khả năng học các đặc trưng phức tạp từ dữ liệu hình ảnh mà không cần lập trình thủ công. Các mô hình như Convolutional Neural Networks (CNN)Mask R-CNN có thể nhận diện chính xác các vật thể trong điều kiện ánh sáng thay đổi, góc độ khác nhau và môi trường lộn xộn, điều mà các phương pháp truyền thống không thể đạt được.

II. Xử Lý Ảnh RGB D và Phân Đoạn Vật Thể

Ảnh RGB-D là dữ liệu hình ảnh kết hợp giữa thông tin màu sắc (RGB) và thông tin độ sâu (Depth), cung cấp một cái nhìn 3D hoàn chỉnh về cảnh. Công nghệ cảm biến Kinect hoặc RealSense cho phép thu thập dữ liệu RGB-D real-time với độ phân giải cao. Phân đoạn vật thể là quá trình tách riêng từng vật thể trong hình ảnh, là bước tiền xử lý quan trọng cho robot gắp vật. Khi kết hợp RGB-D với học sâu, hệ thống có thể xác định ranh giới chính xác của mỗi vật thể, thậm chí khi chúng chồng lấn lên nhau. Phương pháp Mask R-CNN đã được chứng minh hiệu quả trong việc phát hiện và phân đoạn các vật thể phức tạp, với khả năng xử lý hàng chục vật thể đồng thời.

2.1. Đặc Điểm của Dữ Liệu RGB D

Dữ liệu RGB-D cung cấp thông tin không gian 3D quý giá. Thông tin độ sâu giúp loại bỏ nền và xác định khoảng cách của vật thể. Khi kết hợp với thông tin màu sắc, hệ thống có thể phân biệt các vật thể có màu tương tự nhưng ở độ sâu khác nhau, giúp cải thiện độ chính xác phân loại và định vị.

2.2. Phương Pháp Phân Đoạn Tiên Tiến

Mask R-CNN là một mở rộng của Faster R-CNN, thêm một nhánh dự đoán mask cho mỗi vật thể. Thuật toán này sử dụng RoI Align để cải thiện độ chính xác alignment giữa feature maps và region proposals, dẫn đến việc phân đoạn chính xác hơn các vật thể phức tạp với ranh giới không rõ ràng.

III. Kiến Trúc Mạng Mask R CNN và Các Cải Tiến

Mask R-CNN là một trong những thuật toán tiên tiến nhất để phân đoạn vật thể trong thời gian thực. Kiến trúc này gồm ba thành phần chính: backbone network (thường là ResNet-50 hoặc ResNet-101), Region Proposal Network (RPN), và detection head với mask prediction branch. Một cải tiến quan trọng là RoI Align, thay thế pooling truyền thống để giữ lại thông tin không gian chính xác hơn. Để cải thiện hiệu suất trên dữ liệu RGB-D, các nhà nghiên cứu thường áp dụng các kỹ thuật post-processing như DilationNet để bảo vệ ranh giới vật thể. Mask Scoring cũng được thêm vào để đánh giá chất lượng của mỗi predicted mask, giúp lọc ra những dự đoán kém chính xác.

3.1. Thành Phần Chính của Mask R CNN

Backbone network trích xuất các đặc trưng từ ảnh đầu vào. Region Proposal Network đề xuất các vùng có khả năng chứa vật thể. Detection head phân loại các vùng và điều chỉnh bounding box, trong khi mask branch tạo ra pixel-level segmentation masks cho mỗi vật thể được phát hiện, cho phép xác định ranh giới chính xác.

3.2. Tối Ưu Hóa cho Dữ Liệu RGB D

Để đạt hiệu suất tối ưu trên dữ liệu RGB-D, các phương pháp như DilationNetGrabCut được sử dụng để tinh chỉnh mask. Euclidean Cluster Extraction trên cloud điểm 3D giúp tách riêng các vật thể chồng lấn. Những cải tiến này đặc biệt hiệu quả trong môi trường lộn xộn với nhiều vật thể gần nhau.

IV. Ứng Dụng và Kết Quả Thực Nghiệm Robot Gắp Vật

Các hệ thống robot gắp vật dựa trên Mask R-CNNxử lý ảnh RGB-D đã được triển khai thành công tại các trường đại học và công nhân. Các thí nghiệm thường tiến hành trong môi trường ROS (Robot Operating System) để mô phỏng và kiểm tra trước khi triển khai trên robot thực. Kết quả cho thấy phương pháp cải tiến có tỷ lệ thành công gắp vật cao hơn so với Mask R-CNN nguyên bản, đặc biệt trong các trường hợp vật thể chồng lấn hoặc che khuất. Tốc độ xử lý thường đạt 20-30 frames per second, phù hợp với các ứng dụng công nghiệp. Hệ thống có thể được mở rộng để xử lý các loại vật thể đa dạng bằng cách huấn luyện lại mô hình trên bộ dữ liệu tùy chỉnh.

4.1. Cài Đặt Thí Nghiệm và Môi Trường Kiểm Thử

Các thí nghiệm được thực hiện trên nền tảng ROS với camera RGB-D gắn trên robot. Mô phỏng cho phép kiểm tra giải pháp trước khi triển khai vật lý. Dataset huấn luyện được tạo từ hàng ngàn ảnh RGB-D của các vật thể trong các tư thế khác nhau, đảm bảo mô hình học được các đặc trưng đa dạng.

4.2. Đánh Giá Hiệu Suất và Kết Quả Đạt Được

Độ chính xác phân đoạn được đánh giá bằng Intersection over Union (IoU). Tỷ lệ thành công gắp vật đạt 85-95% với phương pháp cải tiến so với 70-80% của Mask R-CNN nguyên bản. Thời gian xử lý mỗi frame là 40-50ms, cho phép hoạt động real-time. Các kết quả này chứng minh khả năng ứng dụng trong sản xuất công nghiệp.

28/12/2025

Trích đoạn nội dung tài liệu

TRUONG DAI HOC BACH KHOA HA NOL TRƯỜNG Cơ KHÍ LUẬN VĂN THẠC SĨ Robot gắp vật dựa trên công nghệ học sâu và xử lí ảnh RGB-D TRAN BAO LONG Baolong] 7111997@pmail.com Nganh Kj thuat Cơ điện tử Giáng viên hướng dẫn: TS. [loang Iléng Hai hire ea GvHD Khoa: Cơ điện tử HA NOT, 05/2022 'TRƯỜNG ĐẠI HỌC BÁCH KHOA H¿ TRƯỜNG CƠ KHÍ KHOA CƠ ĐIỆN TỪ NHIỆM VỤ LUẬN VĂN Lọ và tên sinh viên: Trần Hảo Long Lớp Khoa: MSHV: 20202658M Chuyên ngành: Kỹ thuật Cơ điện tứ Hệ: Thạc sĩ 1. Téndé tai Robot gắp vật đựa trên công nghệ học sâu và xứ li ánh RGB-D 1. Nội dung thuyết minh Chuang 1 Tổng quan nghiên cứu.

Chương 2 ự hiếu biết về phân đoạn vật thể Chương 3 Thuật toán dễ xuối và dánh giá Chương 4 Thí nghiệm Chương 5 Kết luận là Nội ngảy tháng năm 2022 Giáo viên hướng đẫn TS. Hoằng Hồng TIãi LỜI CẢM ƠN Tác giã xin chân thành cảm ơn T8. IIoàng IIẻng Hải, người hướng đẫn và giúp đỡ tận lĩnh tù định hướng dễ tài, tổ chức thực hiện đến quả trình viết và hoàn chỉnh luận văn. 'Lác giã bày tổ lòng biết ơn các thấy, cỏ trong bộ môn Cơ điện tứ - Viện Cơ khí trường Đại Học Bách Khoa Hà Nội.

Xin cảm on Ban lãnh đạo và Viện đào tạo Sau đại tiọc, Viên cơ khí rường Đại Học Bách Khoa Hà Nội đã lạo điều kiên thuận lợi để tác giá hoán thành bán luận văn nảy. Cuỗi củng, tác giả xin cũng xin chân thành căm ơn gia dinh, bạn bè vả dễng nghiệp đã luôn tạo điều kiện, quan tâm, giúp đỡ, đông viên trong suốt quá trình học tập và hoàn thành luận văn Do răng lực bản thân côn nhiều hạn chế nên luận văn không thé tránh khôi sai sót, tác giả rất mong được sự đóng góp ý kiến của các thảy, cô, các nhà khoa học vả các ban đông nghiệp. Tác giả xin chân thành cảm ơn! Tác giả Tran Bao Long 1 Tình 3. Chỉ hết thuật loán tôi để xuất 31 Hinh 3.

Mask R-CNN và kết quá của nó, HH ke ke - Tlinh 3. Sơ sánh kết quả trong nỗ lực bảo vệ những vùng bị phân loại nhằm của Mask R-ƠNN bằng DeN và Grabcut. Mô tả của của việc phân tách vùng biên vật thế. (a) Kết quả phan đoạn của Masl R-CNN nguyên bản (b) Kết quả phân đoạn bởi DơN.

vật thể được tách biệt 35 Trinh 3. Mô tả quá trinh phân đoạn phản biên của vật thế bằng Tùiclidean Cluster Extraction. Phan mặt nạ nguyên bàn của Mask R-CNN. (h) Phan biên vật thể đã được tách biệt.

(c) Kết quả phân đoạn của tôi. Thiền luyện mạng ban dau voi Resnet 101 và Resnet 50. Sự so sánh giữa (a) ảnh gốc, (b) kết quả của Mask R-ƠNN và (e) phương pháp của tôi. Phương pháp của tôi có thể từm c vũng biên của vật thế, như được trình hày trong vòng trên trắng 40 Hình 3 8.

Sự so sánh giữa Mask R-ƠNN và phương pháp để xuất của tôi cho bến vật thế. (h) Blie box TeU. (đ) Whie hox ToU, 43 Hình 4 Thí nghiệm chuẩn bị tại trường Đại học Bách khoa Hà Nội 48 Hình 4. Thí nghiệm robot và mô phỏng trong hệ diễu hành ROS.

eres AD Linh 4. Sơ đỗ chu trinh hoạt động của hệ thống. Llinh ánh minh họa việc gắp và thả vật thể. Kết quả phân đoạn trong, hệ thông robot gắp vật thực hiện tại Trường Đại học wn Bách khoa Ha Nai.

(b) Kết quả của Mask R-CNN nguyên bản (c} Két quả của phương pháp tôi. Két qua thi nghiém dé thanh công gắp vật của hệ thống khi áp dung phương phâp để xuât và Mask R-CNN nguyên bản. 52 DANH SACH HINH ANH Hinh 1. Thị giác máy tính trong hệ thông robot.

Vidu vé phân đoạn vật thể và ude hong hinh dang của vật [5] 2 Hinh1 3. Mask R-CXN —một thuật toán tôi ưu trong phân đoạn vật thế đạt kết quả kém: trong bêi cảnh vật chỏng chất nhan. Se dé ting quan hệ thông phương pháp xóc định vật thể R-ƠNN [14] 7 Hinh 2. So đỗ tổng quan của East R-CRN [18].

Mét vi dy ctia Rol pooling, vùng Rol cỏ kịch thước 7x5 sân duge chuyén vé kich thước có dịnh 2x2 đẻ dược dưa vào cic lép tich chap. Lara y ring, kich thước của vùng ROI không bất buộc phải chia hết kích thước của phần pooling. (a) Anh va ving ROT. (c) Ving ROT va cac ving pooling.

qua cia Max pooling. 4, So đỗ tổng quan Fastcr R-CNN. sexy sexy +, TÔ Hình 2. 5, Kien tric Mask R-CNN.

Vĩ dụ về cách hoạt động của Roi Align. (a) Ban đổ đặc trưng đâu vào. (b) Ban đồ đặc trưng bị chia vào lưới với giả trị tọa độ là số phức. (c) ROI Ahgn đưa giả trị xác định trong mỗi ô bằng 4 điểm sử dụng nội suy song tuyến tính.

(dì Một vi dụ về việc tỉnh toán giả trị diễm nội suy. (e) Sau khi tính toán được các giá trị của 4 diễm, giá trị trung bình hoặc lớn nhất thường dược lựa chọn. sự giải thích vẻ kết quả của Mask Scoring. Trong khi bla ble không phản anh chính xác chất lượng của mask thì bolobalo.

Kiến trủc MR-RCNN. tên tre tên tre tên tre 17 Linh 2. 9, Ví dụ về kết quả của PointNet, phương pháp giải quyết trực tiếp các nhiệm. vụ phân đoạn tùng phân, phân đoạn vật thể với các dạng dữ liệu mesh, dam mây điểm.cccc sexy sexy sexy s19 Linh 2.

Lọc các đặc điểm của tập hợp điểm theo cấp bậc của PointNet+t [36]. Chỉ hết thuật loán tôi để xuất 31 Hinh 3. Mask R-CNN và kết quá của nó, HH ke ke - Tlinh 3. Sơ sánh kết quả trong nỗ lực bảo vệ những vùng bị phân loại nhằm của Mask R-ƠNN bằng DeN và Grabcut.

Mô tả của của việc phân tách vùng biên vật thế. (a) Kết quả phan đoạn của Masl R-CNN nguyên bản (b) Kết quả phân đoạn bởi DơN. vật thể được tách biệt 35 Trinh 3. Mô tả quá trinh phân đoạn phản biên của vật thế bằng Tùiclidean Cluster Extraction.

Phan mặt nạ nguyên bàn của Mask R-CNN. (h) Phan biên vật thể đã được tách biệt. (c) Kết quả phân đoạn của tôi. Thiền luyện mạng ban dau voi Resnet 101 và Resnet 50.

Sự so sánh giữa (a) ảnh gốc, (b) kết quả của Mask R-ƠNN và (e) phương pháp của tôi. Phương pháp của tôi có thể từm c vũng biên của vật thế, như được trình hày trong vòng trên trắng 40 Hình 3 8. Sự so sánh giữa Mask R-ƠNN và phương pháp để xuất của tôi cho bến vật thế. (h) Blie box TeU.

(đ) Whie hox ToU, 43 Hình 4 Thí nghiệm chuẩn bị tại trường Đại học Bách khoa Hà Nội 48 Hình 4. Thí nghiệm robot và mô phỏng trong hệ diễu hành ROS. eres AD Linh 4. Sơ đỗ chu trinh hoạt động của hệ thống.

Llinh ánh minh họa việc gắp và thả vật thể. Kết quả phân đoạn trong, hệ thông robot gắp vật thực hiện tại Trường Đại học wn Bách khoa Ha Nai. (b) Kết quả của Mask R-CNN nguyên bản (c} Két quả của phương pháp tôi. Két qua thi nghiém dé thanh công gắp vật của hệ thống khi áp dung phương phâp để xuât và Mask R-CNN nguyên bản.

52 TÓM TÁT LUẬN V Đề giúp robot hoạt động một cách an toàn và hiệu quả trong môi trường thực tế, nơi ma mdi trường xung quanh có thê không biết trước, roboL cẩn dó một nhận there day di Để giải quyết vấn đề này, những chủ đề nghiên cứu như tải tạo bối cảnh, phát hiện vật thể 3D, và ước lượng hình đáng vật thế trở nên ngày cảng được quan tâm. Chúng đóng, một vai trỏ rất quan trọng trong viếc cung cấp nhận thức về thể giới cho robot hay tránh. những va chạm không mong muốn với môi trường, Trên tất cá, phân đoạn vật thẻ là một nhiém vụ cơ ban quan tong để đạt được những mục đích đó, 'Nhữmg phương pháp hiện tại tuy đã có nhiều cải thiện lớn so với trang quá khứ. Tuy nhiên những phương pháp phụ thuộc nặng nẻ và đữ liệu 2D hoặc chỉ dựa vảo đữ liệu 3D không đủ khả năng để cung cắp giải pháp toàn điện cho việc phân đoạn chính xác.

Chính vi thể, trang nghiên cứu này, tôi để xuất một cách tiếp cận mới sử đụng các thuật toản 3D trong, sự tích hợp với Miask R-CNN để khắc phục sự yếu thể của Mask R-CNN trong việc phân đoạn các vùng biên. Phương pháp tôi đề xuất của tôi được kiếm chứng, thông qua những thí nghiệm với những bối cảnh hỗn đôn và che khuất. Chứng cho thây đề xuất của tôi có độ chỉnh xác cao hơn và ổn định hơn so với mỏ hình góc, Bén cạnh đóng góp ma nghiên cửu tôi là phân chính của nghiên cứu, những thực nghiệm vả những tìm hiểu sâu sắc trong những thuật toán 3D. Những thành quá của ngbién cửu sẽ là những nguyên liệu rất tốt cho những công việc Irong lương lại về những, bài toán xác định vật thể 312 vá ước lượng hình dang vat thé.12 Differenca of Normals và xác định vecto pháp tuyến 3.3 Euelidcan Clustcr Extracfion.2 Phương pháp để xuất 33 Kết quả vá đánh giá.1 Chuẩn bị th nghiệm.32 Kết quả và đấnhgià.

Chuong 4 ‘TL NGLILEM.1 M@hinh thyc nghiém. 42 Kết luận chương. Chương 5 KÉT LUẬN.1 Kết luận nghiên cứu. 52 Nghiên cứu tương lai tịa DANH MỤC THAM KHẢO.

uea vì TÓM TÁT LUẬN V Đề giúp robot hoạt động một cách an toàn và hiệu quả trong môi trường thực tế, nơi ma mdi trường xung quanh có thê không biết trước, roboL cẩn dó một nhận there day di Để giải quyết vấn đề này, những chủ đề nghiên cứu như tải tạo bối cảnh, phát hiện vật thể 3D, và ước lượng hình đáng vật thế trở nên ngày cảng được quan tâm. Chúng đóng, một vai trỏ rất quan trọng trong viếc cung cấp nhận thức về thể giới cho robot hay tránh. những va chạm không mong muốn với môi trường, Trên tất cá, phân đoạn vật thẻ là một nhiém vụ cơ ban quan tong để đạt được những mục đích đó, 'Nhữmg phương pháp hiện tại tuy đã có nhiều cải thiện lớn so với trang quá khứ. Tuy nhiên những phương pháp phụ thuộc nặng nẻ và đữ liệu 2D hoặc chỉ dựa vảo đữ liệu 3D không đủ khả năng để cung cắp giải pháp toàn điện cho việc phân đoạn chính xác.

Chính vi thể, trang nghiên cứu này, tôi để xuất một cách tiếp cận mới sử đụng các thuật toản 3D trong, sự tích hợp với Miask R-CNN để khắc phục sự yếu thể của Mask R-CNN trong việc phân đoạn các vùng biên. Phương pháp tôi đề xuất của tôi được kiếm chứng, thông qua những thí nghiệm với những bối cảnh hỗn đôn và che khuất.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ