Luận văn: Tái tạo và biểu diễn đối tượng 3D dùng mạng nơ ron cho robot gắp vật

Khám phá luận văn nghiên cứu ứng dụng mạng nơ ron để tái tạo và biểu diễn vật thể 3D, giúp robot gắp vật chính xác trong môi trường công nghiệp phức tạp.

• Tác giả: Đào Minh Hiến
• Người hướng dẫn: TS. Hoàng Hồng Hải
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật Cơ điện tử
• Đề tài: Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về mạng nơ ron tái tạo 3D trong robot gắp vật

Mạng nơ-ron tái tạo 3D là công nghệ tiên tiến giúp robot có khả năng nhận dạng và tái tạo hình dạng của các vật thể trong không gian ba chiều. Công nghệ này kết hợp giữa thị giác máy tính và học sâu để xử lý dữ liệu hình ảnh và điểm mây 3D. Ứng dụng trong robot gắp vật cho phép hệ thống tự động phân loại, định vị chính xác các sản phẩm trong môi trường sản xuất phức tạp. Robot có thể hoạt động trong các điều kiện khó khăn như vật thể chồng chéo, che khuất, phản xạ ánh sáng hoặc điều kiện ánh sáng kém. Đây là bước tiến quan trọng trong tự động hóa công nghiệp hiện đại, thay thế con người trong các công việc nguy hiểm hoặc lặp đi lặp lại.

1.1. Định nghĩa và khái niệm cơ bản

Mạng nơ-ron tái tạo 3D sử dụng các thuật toán học sâu để xây dựng mô hình ba chiều từ dữ liệu hình ảnh hai chiều hoặc điểm mây. Hệ thống này hoạt động dựa trên các mạng nơ-ron chuyển tiếp đa lớp để nhận dạng và biểu diễn vật thể. Công nghệ cho phép robot hiểu rõ hình dạng, kích thước, định hướng của vật và xác định điểm gắp phù hợp nhất.

1.2. Ứng dụng trong ngành công nghiệp

Trong dây chuyền sản xuất hiện đại, robot gắp vật được tích hợp mạng nơ-ron 3D để thực hiện kiểm tra chất lượng, phân loại sản phẩm, và xếp dỡ hàng hóa tự động. Ứng dụng này đặc biệt hữu ích trong các lĩnh vực logistics, điều khiển công nghiệp và sản xuất tự động hóa.

II. Cơ sở lý thuyết xử lý ảnh và phân đoạn vật thể

Xử lý ảnh và phân đoạn vật thể là những kỹ thuật cốt lõi trong hệ thống vision của robot gắp vật. Thị giác máy tính sử dụng các thuật toán học sâu để phát hiện, định vị và phân loại các đối tượng trong ảnh. Phân đoạn ảnh giúp tách biệt vật thể từ nền và từ nhau, đặc biệt quan trọng khi các vật chồng chéo hoặc che khuất nhau. Các bài toán Object Detection và Image Segmentation cần phải chính xác cao để robot có thể xác định điểm tiếp xúc và định hướng gắp phù hợp. Hệ thống 3D vision phải xử lý được các thử thách như ánh sáng kém, bề mặt phản xạ và các hướng vật thể khác nhau.

2.1. Phát hiện và định vị đối tượng

Object Detection và Object Localization là nền tảng cho robot nhận dạng vật thể. Hệ thống sử dụng mạng nơ-ron convolutional để phát hiện vị trí chính xác của từng vật trong không gian. Bounding box được xác định để đánh dấu ranh giới vật thể, từ đó giúp robot tính toán quỹ đạo gắp tối ưu.

2.2. Phân loại và phân đoạn ảnh

Image Classification cho phép hệ thống nhận dạng loại vật thể, trong khi Image Segmentation chia ảnh thành các vùng nhỏ tương ứng với từng vật. Kỹ thuật Semantic Segmentation và Instance Segmentation giúp phân biệt các vật thể riêng lẻ ngay cả khi chúng chồng chéo nhau.

III. Thiết kế hệ thống robot và tích hợp camera

Hệ thống robot gắp vật hiện đại kết hợp camera 3D depth sensor với cánh tay robot để thực hiện nhiệm vụ gắp tự động. Camera RGB-D hoặc LiDAR cung cấp dữ liệu điểm mây 3D cho mạng nơ-ron xử lý. Hệ thống điều khiển tối ưu hóa quỹ đạo chuyển động dựa trên thông tin từ mô hình 3D được tái tạo. Phần mềm điều khiển tích hợp các thuật toán kiplan điều khiển tối ưu để đảm bảo robot gắp được vật mà không làm hỏng sản phẩm. Việc tích hợp phần cứng và phần mềm đòi hỏi hiệu chuẩn chính xác giữa không gian camera và không gian robot.

3.1. Thành phần phần cứng hệ thống

Robot gắp vật gồm cánh tay robot, khớp cơ-điện tử, end-effector (kẹp) và camera 3D vision. Camera RGB-D hoặc Depth Sensor cung cấp hình ảnh màu và độ sâu. Bộ xử lý trung tâm chạy các mô hình mạng nơ-ron để tái tạo và biểu diễn vật thể 3D trong thời gian thực.

3.2. Phần mềm điều khiển và tích hợp

Phần mềm điều khiển sử dụng thuật toán tối ưu hóa để tính toán quỹ đạo gắp phù hợp nhất từ thông tin 3D. Hệ thống tích hợp API robot với framework học sâu (TensorFlow, PyTorch) để xử lý dữ liệu thời gian thực. Kiểm tra sản phẩm và kiểm soát chất lượng được tự động hóa hoàn toàn.

IV. Đánh giá hiệu quả và ứng dụng thực tiễn

Hiệu quả hệ thống robot gắp vật được đánh giá thông qua độ chính xác gắp, thời gian xử lý, và khả năng thích ứng với các điều kiện khác nhau. Mạng nơ-ron tái tạo 3D đạt được tỷ lệ thành công cao trong việc xác định điểm tiếp xúc chính xác. Hệ thống có thể hoạt động hiệu quả ngay cả với các vật thể che khuất, chồng chéo hoặc có bề mặt phản xạ. Ứng dụng thực tiễn bao gồm kiểm tra chất lượng sản phẩm, phân loại hàng hóa, xếp dỡ tự động trong logistics. Công nghệ này giảm chi phí lao động, tăng tốc độ sản xuất, và cải thiện độ chính xác so với con người.

4.1. Tiêu chí đánh giá hiệu quả hệ thống

Độ chính xác gắp (Grasp Success Rate) là tiêu chí chính, đạt trên 95% trong các thử nghiệm. Thời gian xử lý mỗi khung hình dưới 100ms cho phép hoạt động thời gian thực. Tỷ lệ phát hiện vật thể trong các tình huống phức tạp (chồng chéo, che khuất) được tối ưu hóa. Độ bền của hệ thống trong môi trường sản xuất khắc nghiệt được kiểm chứng.

4.2. Những ứng dụng thực tế và triển khai

Dây chuyền sản xuất sử dụng robot gắp vật để kiểm tra chất lượng tự động và phân loại sản phẩm. Ngành logistics áp dụng công nghệ này để xếp dỡ hàng hóa nhanh chóng. Quản lý kho được tối ưu hóa với hệ thống tự động. Công nghệ mở rộng ứng dụng trong sâu khai thác, xây dựng, và y tế nơi con người khó tiếp cận.

Trích đoạn nội dung tài liệu

Chương 1 giúp tác giả giải quyết được một số vấn đề sau: - Tổng quan về thị giác máy tính và ứng dụng trong cuộc sống cũng như trong công nghiệp. - Đưa ra và làm rõ đầu vào và đầu ra của các bài toán xử lý ảnh. - Nêu được cơ sở lý thuyết xử lý ảnh. 19 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật Chương 2 Phân đoạn vật thể cho Robot gắp vật 2.1 Sự phát triển của thuật toán 2.1 Thuật toán dựa vào dữ liệu 2D Phân đoạn đối tượng là một nhiệm vụ quan trọng và khó khăn, vì nó không chỉ là phân loại, khoanh vùng đối tượng trong ảnh mà còn phân đoạn chính xác lại đối tượng trong ảnh.

Do đó, phân đoạn có thể bao gồm phát hiện và phân đoạn đối tượng. Mạng nơ-ron liên kết dựa trên khu vực (R-CNN) đáp ứng độ chính xác trong việc phát hiện đối tượng bằng cách sử dụng mạng phức hợp sâu để phân loại các đề xuất đối tượng. Trước hết, các đề xuất thu được bằng cách áp dụng toàn bộ hình ảnh đầu vào cho thuật toán Selective Search. Bước này gần như loại trừ 2000 đề xuất khu vực cho mỗi hình ảnh.

Sau đó, mọi đề xuất vùng đơn lẻ được sử dụng làm đầu vào của mạng nơ-ron phức hợp (CNN) để trích xuất đối tượng địa lý và phân loại vùng. Nói cách khác, tất cả khoảng 2000 đề xuất khu vực được tổng hợp riêng biệt mà không tính toán chia sẻ cùng nhau, điều này thực sự mất nhiều thời gian. Không giống như R-CNN, thay vì tính toán từng vùng trong số 2000 vùng, Fast R-CNN chỉ sử dụng một CNN cho toàn bộ hình ảnh đầu vào. Vì vậy, Fast R-CNN cần ít thời gian hơn để lưu trữ phát hiện đối tượng so với R- CNN.

Sau khi vượt qua CNN, Bản đồ đặc trưng có kích thước nhỏ hơn hình ảnh đầu vào ban đầu. Fast R-CNN đã giới thiệu RoI pooling để định hình lại kích thước của các bản đồ đối tượng theo cùng một kích thước. Quá trình này đã giúp tiến trình tính toán dễ dàng chia sẻ với nhau và giảm không gian tính toán. Tuy nhiên, thuật toán Search Selective cần nhiều thời gian để nhận được các đề xuất và thường trích xuất quá nhiều vùng.

Giống như Fast R-CNN, Faster R-CNN đã tính toán bản đồ đối tượng trên toàn bộ hình ảnh nhưng sau đó nó sử dụng Mạng đề xuất khu vực để đề xuất các khu vực, có 20 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật khả năng bao hàm các đối tượng. Nó nâng cao độ chính xác và tốc độ của các nhiệm vụ phát hiện đối tượng một cách đáng kể. Dựa trên Faster R-CNN trong khía cạnh phân loại, Mask R-CNN đã giới thiệu ROI Align thay vì RoI Pooling trong Faster R-CNN. Mặc dù nó không có tác động đáng kể đến hộp giới hạn, RoI Pooling không được căn chỉnh theo pixel một (căn chỉnh pixel- to-pixel) và có tác động tiêu cực lớn đến việc làm mờ trước mặt nạ chính xác pixel.

Độ chính xác của mặt nạ tăng lên đáng kể sau khi sử dụng ROI Align vì ROI Align có thể giải quyết vấn đề mạng không thể xem xét mối quan hệ giữa các pixel ở cạnh đối tượng và các pixel này sẽ bị phân loại sai. Nhãn hiệu phát hiện đối tượng song song, nhãn hiệu mặt nạ được thêm vào chỉ cho các nhiệm vụ phân đoạn ngữ nghĩa. Sau đây là mạng cấu trúc của Mask R-CNN.1 Ứng Mask R-CNN để phân đoạn vật thể Mask R-CNN thường không phân đoạn các vùng đối tượng đầy đủ vì mặt trước ở rìa của các đối tượng bị hiểu nhầm là nền. Đặc biệt là trong lĩnh vực nắm bắt của robot, nơi mà có rất nhiều sự che khuất giữa các vật với nhau, mặt nạ đối tượng được tạo ra 21 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật thường không bao phủ hoàn toàn đối tượng.

Mặt nạ này sẽ được sử dụng làm đại diện của đối tượng, vì vậy mặt nạ sẽ không thể đề xuất một cách kẹp chính xác và một định vị vật thể tốt trong quá trình gắp vật.  Ưu điểm: Tốc độ xử lý ảnh nhanh, mạnh mẽ và đạt hiệu quả cao.  Nhược điểm: Cho kết quả không tốt ở phần biên, cạnh. Đặc biệt khi các vật bị che khuất nhau.2 Thuật toán dựa vào dữ liệu 3D Để giải quyết bài toán phân đoạn vật thể trong ảnh, bên cạnh các phương pháp sử dụng dữ liệu ảnh 2D, còn có các phương pháp sử dụng dữ liệu đám mây điểm 3D.

PointNet đã đề xuất một cấu trúc mạng nơ-ron hoàn toàn mới vào năm 2017, trực tiếp xử lí các điểm ảnh trong đám mây điểm cho các nhiệm vụ như xác định vật thể, phân đoạn các phần của vật thể. Cấu trúc mạng nơ ron hoàn toàn mới này đã đạt được những kết quả tốt hơn so với những kiến trúc tốt nhất trong cùng tiêu chuẩn. Để đạt được các kết quả đó, ngoài xem xét những thông tin tọa độ x, y, z trong không gian, mạng PoinNet còn sử dụng thêm các kích thước bổ sung như vecto pháp tuyến hay những đặc tính nội bộ cũng như tổng thể của các điểm. Với dữ liệu đầu vào dạng point cloud, các điểm của vật, các thông tin chi tiết ở vùng biên, cạnh của vật thể không bị mất mát bởi sự che khuất hay độ kém về ánh sáng.

Tuy nhiên chỉ dựa vào những đặc điểm 3D này dẫn đến một lỗ hổng trong sự thể hiện của mô hình đó là không thể phân đoạn toàn bộ vật mà chỉ có thể phân đoạn từng phần của vật. Ngoài ra, mạng nơ ron này hoạt động với dữ liệu point cloud, lưới đa dạng hay lưới khối 3D, những dạng dữ liệu đều là dạng dữ liệu không phổ biến. Điều đó gây ra sự khó 22 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật khăn trong việc triển khai và phát triển mô hình trong một ứng dụng cụ thể. Vì thế, chúng tôi kết hợp ảnh màu và ảnh độ sâu để vượt qua những thiếu sót của cả hai cách tiếp cận.

Nó sẽ cho phép những ưu điểm của những thành tự trong tốc độ xử lí là độ chính xác của các mạng nơ ron dựa trên các đặc tính 2D. Đồng thời có thể nghiên cứu những điểm nằm ở khu vực biên khó xử lí bằng các phương pháp 3D.  Ưu điểm: Không bị phụ thuộc vào điều kiện chiếu sáng, vật thể bị che khuất. Có thể lấy được hết phần biên cạnh.

 Nhược điểm: Dữ liệu đầu vào phức tạp. Khó khăn trong việc chuẩn bị dữ liệu. Thời gian tính toán lâu.2 Phân đoạn vùng biên cạnh của vật thể - Nội dung: Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật. + Đầu vào: Các đối tượng 3D được đặt ngẫu nhiên.

+ Đầu ra: Tách vật và tạo 3D trong đống vật.1 Thu thập dữ liệu Sử dụng Camera RGB-D (Kinect của Microsoft): Là loại camera sử dụng đồng thời hai loại cảm biến: cảm biến ảnh màu thông thường như các loại camera truyền thống, cho ảnh đầu ra ra là ảnh màu RGB và ảnh độ sâu (Depth). Qua các bước xử lý của camera Kinect tạo ra dữ liệu 3D dưới dạng point cloud (đám mây điểm). +B1: Thu thập ảnh RGB, RGB-D (ảnh depth) 23 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật +B2: Calib ảnh RGB và RGB-D: Sử dụng thư viện Kinect SDK V1.2 Dữ liệu thu được từ camera Kinect V1 (a) Ảnh RGB, (b) Ảnh Gray scale, (c) Ảnh RGB-D, (d) Ảnh Depth 2. Tái tạo đám mây điểm 3D (Generate 3D point cloud) Sau khi ảnh RGB và RGB-D đã được cập nhập thì mỗi điểm trên ảnh RGB-D biểu thị khoảng cách từ camera đến vật tương ứng với điểm có cùng vị trí trên RGB.

Kết hợp hai dữ liệu với nhau thu được point cloud của vật thể xung quanh. Phân đoạn (Segmentation) và ghép nhóm (Clustering) Phân đoạn là quá trình ghép các điểm trong một đám mây điểm vào mô hình học đơn giản như mặt phẳng, mặt trụ, mặt cầu… sao cho các điểm trong đám mây điểm có khoảng cách đến mô hình nằm trong khoảng cho phép. Các điểm thuộc mô hình sau đó sẽ được đánh dấu để từ đó có thể thay thế các điểm bằng một mô hình đơn giản. Quá 24 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật trình này có tác dụng đơn giản hoá dữ liệu đám mây điểm, giúp nâng cao hiệu quả xử lý của hệ thống.

Ghép nhóm là phương pháp phân chia các điểm trong một đám mây điểm thành các nhóm nhỏ, qua đó giảm đáng kể thời gian để xử lý toàn bộ lượng dữ liệu ban đầu. Phân đoạn Một cảnh ảnh P được thu thập từ cảm biến RGB-D sẽ thể hiện các vật thể được quét qua dưới dạng đám mây điểm. Trong điều kiện lý tưởng, với các mô hình vật thể đều đã có trong cơ sở dữ liệu P sau khi thu thập từ cảm biến sẽ có thể được đơn giản hoá đi đáng kể. Các điểm trong P thể hiện một mô hình (hay một phần của mô hình) sẽ được thay thế bởi mô hình đó với các thông số thể hiện vị trí, tư thế (hay góc nhìn) và kích cỡ thực tế.

Điều này được thực hiện với tất cả các điểm trong tập dữ liệu P và sau đó dẫn đến một kết quả thay vì lưu trữ một đám mây điểm P thì ta chỉ cần lưu trữ một bộ các thông số thể hiện những mô hình xuất hiện trong P với vị trí, góc nhìn và kích cỡ của chúng. Tuy nhiên một cảnh ảnh quét từ cảm biến (2.5D hoặc 3D) bao giờ cũng xuất hiện nhiễu. Nhiễu lượng tử tác động lên cảm biến khiến cho từng điểm bị lệch đi so với giá trị thực tế của chúng một khoảng σ dao động tùy theo các loại cảm biến, khoảng cách từ vật đến cảm biến. Hơn nữa, với những khung cảnh phức tạp, chứa nhiều đồ vật thì việc các đồ vật che khuất nhau hay gây ra các hiện tượng vật lý như phản xạ, tán xạ ánh sáng làm cho việc kết hợp ảnh RGB và ảnh Depth được thực hiện không chính xác tại một số nơi.

Các khung cảnh phức tạp còn khiến cho đa số các vật thể không xuất hiện đầy đủ dưới cảm biến mà chỉ xuất hiện một phần, một phía. 25 Tái tạo và biểu diễn đối tượng 3D sử dụng Mạng nơ-ron ứng dụng cho robot gắp vật Hình 2.