Tiểu luận đồ án tốt nghiệp phát triển mô hình học máy phát hiện và định vị vật thể ứng dụng trong điều khiển cánh tay robot

Tiểu luận trình bày mô hình học máy phát hiện và định vị vật thể, ứng dụng trong điều khiển cánh tay robot, góp phần nâng cao hiệu suất công việc.

• Tác giả: Bùi Việt Hoàng
• Người hướng dẫn: TS. Nguyễn Xuân Hạ
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Cơ điện tử
• Đề tài: Phát Triển Mô Hình Học Máy Phát Hiện Và Định Vị Vật Thể Ứng Dụng Trong Điều Khiển Cánh Tay Robot
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Tổng quan về cánh tay robot
• 1.2. Ứng dụng của thị giác máy trong hệ robot
• 1.3. Bài toán phát hiện và phân loại sản phẩm
• 1.4. Bài toán lắp ráp và đóng gói sản phẩm
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Học máy, học sâu
• 2.2. Các khái niệm cơ bản
• 2.3. Phân loại các bài toán trong thị giác máy
• 2.4. Phương pháp huấn luyện các mô hình học sâu
• 2.5. Bài toán phát hiện vật thể (object detection)
• 2.6. Bài toán định vị điểm (keypoint detection)
• 2.7. Các mạng xương sống phổ biến trong mô hình học sâu
• 2.8. Multi-task Learning
• 2.9. Bài toán động học ngược
• 3. CHƯƠNG 3: CÁC BƯỚC TRIỂN KHAI ĐỀ TÀI
• 3.1. Thiết lập các điều kiện làm việc
• 3.2. Thiết kế hệ thống robot
• 3.3. Xây dựng mô hình huấn luyện
• 3.4. Lựa chọn và thiết kế mô hình
• 3.5. Chuẩn bị dữ liệu
• 3.6. Huấn luyện mô hình
• 3.7. Giải bài toán động học ngược
• 3.8. Điều khiển robot
• 3.9. Phương thức giao tiếp
• 3.10. Điều khiển động cơ
• 3.11. Triển khai thuật toán trên robot thật và đánh giá
• 4. CHƯƠNG 4: KẾT LUẬN
• 4.1. Hướng phát triển của đồ án trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về cánh tay robot

Cánh tay robot là một thiết bị cơ học được lập trình để thực hiện các nhiệm vụ tương tự như cánh tay con người. Thiết kế của cánh tay robot cho phép nó thực hiện các thao tác chính xác và nhanh chóng trong quy trình sản xuất. Các ứng dụng của cánh tay robot rất đa dạng, từ tự động hóa công nghiệp đến lĩnh vực hóa thực phẩm. Trong tự động hóa công nghiệp, cánh tay robot có thể tham gia vào quá trình sản xuất và lắp ráp mà không cần sự giám sát của con người. Điều này giúp tiết kiệm chi phí và nâng cao hiệu quả sản xuất. Trong lĩnh vực hóa thực phẩm, cánh tay robot hỗ trợ phân loại sản phẩm, đảm bảo độ chính xác cao nhờ vào công nghệ thị giác máy tính. Cánh tay robot cũng có thể thực hiện các công việc nguy hiểm, như hàn hay lắp đặt linh kiện, giúp bảo vệ an toàn cho người lao động.

II. Ứng dụng của thị giác máy trong hệ robot

Công nghệ thị giác máy tính đã trở thành một phần quan trọng trong các hệ thống robot hiện đại. Thị giác máy cho phép robot nhận diện và phân loại vật thể, định vị chính xác các đối tượng trong không gian. Các ứng dụng phổ biến của thị giác máy bao gồm phát hiện đối tượng, đo lường kích thước, và phát hiện khuyết tật sản phẩm. Nhờ vào sự phát triển của trí tuệ nhân tạo, thị giác máy đã trở nên chính xác và hiệu quả hơn trong việc xử lý hình ảnh. Điều này giúp robot có khả năng hoạt động trong các môi trường sản xuất tự động, từ đó nâng cao năng suất và chất lượng sản phẩm. Việc áp dụng thị giác máy vào robot không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu sai sót trong quá trình sản xuất.

III. Bài toán phát hiện và phân loại sản phẩm

Trong các nhà máy, cánh tay robot thường được sử dụng để phân loại sản phẩm. Hệ thống phân loại này giúp thay thế con người trong việc phân loại sản phẩm theo các đặc tính nhất định. Việc áp dụng trí tuệ nhân tạo vào bài toán phân loại đã mang lại nhiều lợi ích, bao gồm độ chính xác cao và khả năng tổng quát hóa. Các mạng học sâu được sử dụng để phân loại sản phẩm, giúp tiết kiệm chi phí thiết kế hệ thống. Hệ thống phân loại không chỉ phân loại sản phẩm thông thường mà còn phát hiện sản phẩm lỗi, từ đó nâng cao chất lượng sản phẩm và giảm thiểu lãng phí trong sản xuất.

IV. Bài toán lắp ráp và đóng gói sản phẩm

Cánh tay robot cũng đóng vai trò quan trọng trong quá trình lắp ráp và đóng gói sản phẩm. Để thực hiện các thao tác này, robot cần có khả năng định vị chính xác vật thể. Các phương pháp định vị hiện nay bao gồm định vị trong khung cố định, định vị 3D và định vị bằng ảnh 2D. Mỗi phương pháp có ưu điểm và nhược điểm riêng. Định vị trong khung cố định mang lại độ chính xác cao nhưng hạn chế về khả năng gắp các vật thể không theo chiều cố định. Định vị 3D cho phép gắp các vật thể có hình dáng phức tạp nhưng yêu cầu dữ liệu phức tạp hơn. Định vị bằng ảnh 2D nhanh chóng và hiệu quả nhưng có thể gặp khó khăn với các vật thể phức tạp. Việc áp dụng cánh tay robot trong lắp ráp và đóng gói giúp nâng cao hiệu quả sản xuất và giảm thiểu sự phụ thuộc vào nhân công.

V. Kết luận

Việc phát triển mô hình học máy để phát hiện và định vị vật thể trong điều khiển cánh tay robot là một bước tiến quan trọng trong công nghệ tự động hóa. Mô hình này không chỉ giúp nâng cao năng suất mà còn cải thiện độ chính xác trong quy trình sản xuất. Các kết quả đạt được từ mô hình học máy có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ sản xuất công nghiệp đến các ứng dụng trong đời sống hàng ngày. Sự phát triển của công nghệ robot và trí tuệ nhân tạo hứa hẹn sẽ mang lại nhiều cơ hội mới cho ngành công nghiệp, đồng thời tạo ra những sản phẩm chất lượng cao hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong xu thế tự động hóa công nghiệp hiện đại, việc ứng dụng robot vào dây chuyền sản xuất nhằm giảm chi phí nhân công, tăng năng suất và nâng cao tính linh hoạt cho hệ thống chế tạo đang trở thành nhu cầu thiết yếu. Mặc dù cánh tay robot công nghiệp đã được triển khai rộng rãi trong các công đoạn hàn, lắp ráp cơ khí và phân loại sản phẩm, mức độ tự động hóa hoàn toàn tại nhiều nhà máy vẫn gặp rào cản lớn do thiếu khả năng tổng quát hóa đối với các tác vụ phức tạp. Đa số các dây chuyền hiện nay vận hành dựa trên cơ chế gá đặt cố định hoặc dựa vào thị giác máy truyền thống chỉ xử lý tốt các vật thể đối xứng, bề mặt trơn phẳng hoặc có vị trí xác định trước. Khi gặp các chi tiết có hình dáng đường biên phức tạp, bất đối xứng hoặc đặt ngẫu nhiên, hệ thống truyền thống bộc lộ nhiều sai số và đòi hỏi chi phí thiết kế đồ gá riêng biệt cho từng loại sản phẩm.

Từ thực tiễn trên, đồ án tốt nghiệp "Phát triển mô hình học máy phát hiện và định vị vật thể ứng dụng trong điều khiển cánh tay robot" của sinh viên Bùi Việt Hoàng (Chuyên ngành Cơ điện tử, Viện Cơ khí – Trường Đại học Bách khoa Hà Nội, dưới sự hướng dẫn của TS. Nguyễn Xuân Hạ) tập trung giải quyết bài toán tích hợp thị giác máy học sâu vào hệ điều khiển cánh tay robot thực tế.

Mục tiêu và nhiệm vụ nghiên cứu của đồ án được xác định cụ thể:

1. Xây dựng mô hình trí tuệ nhân tạo (học sâu) có khả năng đồng thời phân loại và định vị chính xác vật thể trong ảnh 2D.
2. Giải quyết bài toán lập kế hoạch gắp (grasp planning) cho các vật thể có đường biên phức tạp, không đối xứng và khó gắp mà phương pháp bounding box 2D thông thường không đáp ứng được.
3. Thiết kế, tích hợp và điều khiển hệ thống cánh tay robot thực tế (phần cứng nhúng, truyền thông, động học ngược) phục vụ các tác vụ phân loại, đóng gói và lắp ráp tự động.

Đối tượng nghiên cứu là mô hình học sâu đa nhiệm (Multi-task Learning) phát hiện đối tượng kết hợp định vị điểm neo (Keypoint/Landmark Detection) và cánh tay robot 5 bậc tự do. Phạm vi nghiên cứu giới hạn ở bài toán gắp phôi 2D trên mặt phẳng làm việc xác định, sử dụng camera quan sát từ trên xuống, xử lý tính toán trên máy tính nhúng chuyên dụng và thử nghiệm trên 02 mẫu vật thể cơ khí in 3D có biên dạng phức tạp.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng trên nền tảng tích hợp giữa lý thuyết thị giác máy tính dựa trên mạng nơ-ron tích chập (Convolutional Neural Network - CNN) và cơ sở cơ học robot công nghiệp.

Khung lý thuyết và mô hình học sâu

• Học sâu và thị giác máy: Đồ án tổng quan các bài toán phân loại ảnh (Classification), nhận dạng đối tượng (Object Detection theo phương pháp One-stage và Two-stage), phân đoạn ảnh (Segmentation) và định vị điểm then chốt (Keypoint Detection). Quá trình huấn luyện sử dụng các thuật toán tối ưu hóa hàm mất mát như Gradient Descent (GD), Stochastic Gradient Descent (SGD), Momentum và Nesterov Accelerated Gradient (NAG).
• Kiến trúc mạng xương sống (Backbone Networks): Tác giả phân tích hai kiến trúc mạng phổ biến:
  • ResNet (Residual Network): Sử dụng các khối Residual Block (Conv Block và Identity Block) với các đường kết nối tắt (skip connections) để giải quyết triệt để hiện tượng triệt tiêu đạo hàm (Vanishing Gradient) trong các mạng nơ-ron sâu.
  • MobileNet: Sử dụng kỹ thuật tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution - kết hợp giữa Depthwise Convolution và Pointwise Convolution), giúp giảm đáng kể số lượng tham số và khối lượng tính toán, tối ưu hóa cho các hệ thống nhúng có tài nguyên phần cứng giới hạn.
• Học đa nhiệm (Multi-task Learning): Triển khai mô hình kết hợp chia sẻ đặc trưng để thực hiện đồng thời hai tác vụ: phân loại nhãn đối tượng (Classification) và hồi quy tọa độ các điểm neo then chốt (Keypoint Regression).
• Mô hình cơ sở RetinaFace: Đồ án ứng dụng và hiệu chỉnh cấu trúc mạng RetinaFace (vốn dùng trong nhận diện khuôn mặt và facial landmarks) kết hợp backbone MobileNet để trích xuất đặc trưng và xác định các điểm neo định vị trên vật thể công nghiệp.

Phương pháp động học robot

• Phương pháp Denavit-Hartenberg (D-H): Xây dựng hệ trục tọa độ cho từng khâu khớp của robot, thiết lập bảng thông số D-H và thiết lập ma trận biến đổi tọa độ thuần nhất $T_n^0 = T_1^0 \cdot T_2^1 \cdots T_n^{n-1}$ nối từ gốc cố định đến khâu tác động cuối.
• Bài toán động học ngược (Inverse Kinematics): Giải hệ phương trình phi tuyến hoặc sử dụng phương pháp chiếu hình học kết hợp bảng D-H để tính toán các biến khớp $(q_1, q_2, q_3, q_4, q_5)$ tương ứng với tọa độ và góc kẹp cần thiết của điểm gắp được suy ra từ mô hình thị giác.

Phương pháp thu thập dữ liệu và chỉ số đánh giá

• Nguồn dữ liệu: Dữ liệu hình ảnh được thu thập trực tiếp bằng camera trong các điều kiện chiếu sáng và khoảng cách khác nhau trong không gian làm việc.
• Gán nhãn: Sử dụng công cụ LabelMe để gán nhãn phân loại lớp và định vị chính xác 6 điểm keypoint ($p_1$ đến $p_6$) trên từng mẫu vật thể. Tập dữ liệu hoàn chỉnh gồm 4.387 ảnh, được chia thành:
  • Tập huấn luyện (Training set): 3.896 ảnh.
  • Tập kiểm tra (Testing set): 491 ảnh.
• Chỉ số đánh giá:
  • Đánh giá phát hiện và phân loại: Intersection over Union (IoU), Precision, Recall, Precision-Recall Curve, Average Precision (AP), mean Average Precision (mAP).
  • Đánh giá định vị điểm: Tỷ lệ điểm dự đoán đúng PCK (Percentage of Correct Keypoints) theo ngưỡng sai số cho phép, sai số bình phương trung bình (Mean Square Error - MSE).

Thiết kế và triển khai hệ thống

Hệ thống thực nghiệm được thiết kế và chế tạo đồng bộ gồm phần cứng cơ điện tử, module quang học, mô hình thị giác cải tiến và luồng điều khiển chấp hành.

Cấu hình phần cứng và thiết bị

Hệ thống tích hợp các khối chức năng chính:

• Robot thao tác: Sử dụng cánh tay robot 5 bậc tự do Yahboom Dofbot.
• Bộ xử lý trung tâm: Máy tính nhúng NVIDIA Jetson Nano với GPU tích hợp phục vụ suy luận mô hình học sâu tại biên trong thời gian thực.
• Bộ điều khiển động cơ: Bo mạch Arduino UNO kết nối với Jetson Nano để nhận lệnh và điều khiển góc quay của các động cơ servo thông qua điều chế độ rộng xung (PWM).
• Hệ thống camera: Camera Cimsum Document Scanner gắn cố định từ trên xuống, tích hợp đèn LED trợ sáng để duy trì điều kiện quang học ổn định, độ phân giải tối đa $2560 \times 1440$ pixels.
• Vật thể mẫu thực nghiệm: 02 mẫu vật cơ khí được thiết kế bằng phần mềm SolidWorks với các đường biên bất đối xứng, sau đó chế tạo bằng công nghệ in 3D.

Thành phần / Khâu	Kích thước / Thông số kỹ thuật	Ghi chú
Khâu 1 của robot	3,0 cm	Khâu nối đế
Khâu 2 của robot	8,3 cm	Khâu cánh tay
Khâu 3 của robot	8,3 cm	Khâu cẳng tay
Khâu 4 của robot	7,5 cm	Khâu cổ tay
Chiều dài tay kẹp	11,0 cm	Tầm với tối đa của khâu tác động cuối
Khoảng cách gốc tọa độ - đế	8,0 cm	Chiều cao đế
Sai lệch cơ khí của robot	$e = \pm 0,5\text{ mm}$	Độ rơ và sai số lặp cơ cấu
Kích thước đế camera Cimsum	$34,0\text{ cm} \times 32,5\text{ cm}$	Chiều cao camera điều chỉnh: 26 - 41 cm

Cải tiến mô hình và luồng điều khiển

1. Hiệu chỉnh mạng RetinaFace-MobileNet:
   • Thay đổi đầu ra của mạng để dự đoán chính xác tọa độ 6 điểm neo ($p_1, p_2, p_3, p_4, p_5, p_6$) trên thân vật thể thay vì các điểm landmark khuôn mặt.
   • Bổ sung nhánh phân loại để nhận diện đúng 2 lớp phôi cơ khí mẫu.
   • Thiết lập hàm mất mát đa nhiệm kết hợp giữa mất mát vị trí hộp bao (bounding box loss), mất mát phân loại (classification loss) và mất mát tọa độ điểm neo (keypoint regression loss).
2. Quy trình vận hành hệ thống:
   • Camera Cimsum thu nhận ảnh không gian làm việc và gửi về Jetson Nano.
   • Mô hình học sâu xử lý ảnh, xuất ra nhãn vật thể và tọa độ 6 điểm $p_1 - p_6$.
   • Dựa vào vị trí hình học của các điểm dự đoán, thuật toán tính toán tâm gắp thực tế và góc định hướng của kẹp (biến khớp $q_5$).
   • Giải bài toán động học ngược để tính toán bộ nghiệm góc quay $(q_1, q_2, q_3, q_4, q_5)$ trong không gian làm việc $[r_{min}, r_{max}]$.
   • Jetson Nano gửi dữ liệu điều khiển qua chuẩn giao tiếp I2C tới vi điều khiển Arduino UNO để phát xung PWM điều khiển các servo di chuyển tay kẹp đến vị trí và thực hiện chu trình gắp/nhả.

Phương pháp hiệu chuẩn sai số quang học

Trên thực tế, khi vật thể đặt ở các góc xa trục quang học của camera, hiện tượng biến dạng ảnh và sai lệch góc nhìn gây sai số tọa độ đo đạc. Tác giả tiến hành đo đạc thực nghiệm sai số vị trí theo hai phương $x$ và $y$ dựa trên khoảng cách từ vật đến gốc tọa độ, từ đó xây dựng các đường cong hàm nội suy hiệu chuẩn. Dữ liệu sau khi đi qua hàm nội suy giúp bù trừ độ lệch quang học trước khi đưa vào bộ giải động học ngược.

Nội dung chính theo từng chương

Chương 1: Tổng quan về đề tài

Chương này phân tích tổng quan vai trò của cánh tay robot trong tự động hóa công nghiệp (lắp ráp máy móc, phân loại trong ngành hóa - thực phẩm, gia công cơ khí). Tác giả làm rõ các ứng dụng cốt lõi của thị giác máy tính và so sánh ba phương pháp định vị vật thể hiện nay:

• Định vị theo khuôn mẫu có sẵn (Template matching): Độ chính xác cao nhưng cứng nhắc, chỉ gắp được vật theo chiều cố định.
• Định vị 3D (sử dụng Depth camera/Laser): Linh hoạt trong không gian nhưng hệ thống phức tạp, chi phí cao, khó xử lý thời gian thực.
• Định vị 2D dựa trên tâm bounding box: Xử lý nhanh, phù hợp thời gian thực nhưng thất bại đối với các vật thể có biên dạng phức tạp, không đối xứng cần định hướng góc kẹp chính xác. Từ đó, tác giả khẳng định tính cấp thiết của việc phát triển mô hình định vị dựa trên điểm then chốt (keypoint) trên ảnh 2D.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày có hệ thống các khái niệm toán học và thuật toán trong trí tuệ nhân tạo, bao gồm học máy (có giám sát, không giám sát, học tăng cường), mạng nơ-ron nhân tạo và mạng nơ-ron tích chập (CNN). Tác giả đi sâu vào cơ chế trích xuất đặc trưng của các bộ lọc tích chập, cấu trúc mạng ResNet với khối Residual Block, và cơ chế Depthwise Separable Convolution của MobileNet nhằm giảm chi phí tính toán. Chương này cũng trình bày lý thuyết về học đa nhiệm (Multi-task Learning), các phương pháp đánh giá mô hình thị giác (IoU, Precision-Recall Curve, AP, mAP, PCK, MSE) và cơ sở toán học của phương pháp Denavit-Hartenberg trong việc xây dựng hệ trục tọa độ, lập bảng D-H và giải bài toán động học ngược robot.

Chương 3: Các bước triển khai đề tài

Chương 3 mô tả toàn bộ quá trình thiết kế, chế tạo và thực nghiệm hệ thống. Nội dung bao gồm việc lựa chọn và thông số cơ khí của robot Yahboom Dofbot 5 bậc tự do, máy tính nhúng Jetson Nano, camera Cimsum và thiết kế 2 mẫu vật in 3D. Tác giả trình bày quy trình thu thập 4.387 ảnh, tiền xử lý, gán nhãn 6 keypoints bằng LabelMe, cấu hình và huấn luyện mô hình RetinaFace-MobileNet. Tiếp theo là các bước thiết lập hệ trục tọa độ D-H cho robot thực tế, giải thuật quy đổi điểm $p_1 - p_6$ thành biến khớp điều khiển $q_1 - q_5$, thiết lập giới hạn vùng làm việc $[r_{min}, r_{max}]$, lập trình giao tiếp I2C/PWM, và phương pháp phân tích, hiệu chuẩn sai số đo đạc quang học bằng hàm nội suy theo hai phương $x, y$.

Chương 4: Kết luận

Chương cuối tóm tắt các kết quả đạt được của đồ án về mặt lý thuyết lẫn thực nghiệm, chỉ ra các hạn chế kỹ thuật hiện hữu và đề xuất hướng phát triển mở rộng hệ thống trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm

• Hiệu năng mô hình học sâu: Mô hình RetinaFace cải tiến sử dụng backbone MobileNet thực hiện thành công việc phân loại 2 lớp vật thể phức tạp và định vị 6 điểm then chốt trên tập kiểm tra gồm 491 ảnh, đạt độ chính xác cao theo các chỉ số Average Precision (AP) và Percentage of Correct Keypoints (PCK).
• Tốc độ xử lý: Hệ thống đạt tốc độ xử lý xấp xỉ 20 khung hình/giây (~20 fps) khi chạy trực tiếp trên phần cứng nhúng Jetson Nano, đáp ứng tốt yêu cầu điều khiển thời gian thực (real-time) trong dây chuyền sản xuất.
• Độ chính xác định vị và gắp: Sau khi áp dụng hàm nội suy hiệu chuẩn sai số theo hai trục $x$ và $y$, hệ thống đã giảm thiểu đáng kể hiện tượng méo ảnh ở vùng biên. Sai số vị trí tổng thể của hệ thống đo đạc - điều khiển ghi nhận ở mức xấp xỉ 4 mm (~4 mm), cho phép tay kẹp thao tác thành công trên các mẫu vật in 3D có biên dạng phức tạp.

Đóng góp của đề tài

• Giải pháp kỹ thuật mới: Đề xuất và chứng minh tính khả thi của việc chuyển giao mô hình RetinaFace (vốn dùng cho khuôn mặt) sang bài toán định vị điểm neo công nghiệp trên ảnh 2D, giải quyết triệt để bài toán xác định hướng gắp cho vật thể bất đối xứng mà không cần đến hệ thống cảm biến 3D đắt tiền.
• Khả năng triển khai nhúng: Tối ưu hóa thành công mô hình học sâu trên nền tảng máy tính nhúng Jetson Nano, kết nối đồng bộ giữa khâu xử lý thị giác AI và khâu điều khiển chuyển động chấp hành qua vi điều khiển Arduino.
• Công bố học thuật: Các kết quả nghiên cứu và thực nghiệm của đồ án đã được tổng hợp và biên soạn thành 01 bài báo khoa học (đang trong quá trình phản biện tại thời điểm bảo vệ đồ án, tháng 02/2022).

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của hệ thống

• Sai số hệ thống còn tồn tại: Sai số định vị tổng thể của hệ thống còn ở mức tương đối lớn (~4 mm) so với sai số cơ khí thuần của cánh tay robot ($e = \pm 0,5\text{ mm}$). Nguyên nhân chủ yếu xuất phát từ sai số đo đạc quang học 2D, độ biến dạng thấu kính camera tại các góc làm việc xa tâm và sai số tích lũy của các động cơ servo giá rẻ.
• Giới hạn không gian làm việc: Hệ thống mới chỉ thử nghiệm gắp vật thể trên mặt phẳng cố định với góc nhìn camera 2D từ trên xuống, chưa xử lý được các trường hợp vật thể bị xếp chồng, nghiêng trong không gian 3 chiều.
• Quy mô đối tượng: Tập dữ liệu và thử nghiệm thực tế mới chỉ dừng lại ở 02 mẫu phôi in 3D đặc thù.

Hạn chế và hướng phát triển tiếp

• Mở rộng định vị không gian 3D: Nghiên cứu tích hợp cảm biến đo chiều sâu (Depth camera hoặc cảm biến Laser) để ước lượng tư thế 6 bậc tự do (6D Pose Estimation), cho phép gắp vật thể với các hướng tiếp cận đa dạng trong không gian ba chiều.
• Tích hợp dây chuyền động: Nâng cấp giải thuật thị giác và điều khiển để ứng dụng trong hệ thống robot kết hợp băng chuyền chuyển động liên tục (Tracking & Picking).
• Tăng độ chính xác cơ điện tử: Sử dụng hệ thống động cơ servo có phản hồi góc độ phân giải cao hơn và thấu kính quang học công nghiệp giảm biến dạng nhằm hạ sai số hệ thống xuống dưới 1 mm.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật chuyên khảo hữu ích cho:

• Sinh viên và học viên ngành Cơ điện tử, Kỹ thuật Robot, Tự động hóa và Trí tuệ nhân tạo: Cung cấp quy trình hoàn chỉnh từ bước thiết kế cơ khí, xây dựng tập dữ liệu thị giác máy tính, huấn luyện mô hình học sâu cho đến tích hợp phần cứng nhúng và giải toán động học robot.
• Kỹ sư phát triển hệ thống thị giác nhúng: Tham khảo phương pháp tối ưu hóa mạng nơ-ron tích chập (MobileNet, RetinaFace, Multi-task Learning) trên các thiết bị biên hạn chế tài nguyên như NVIDIA Jetson Nano.
• Các phần có giá trị tham khảo cao nhất:
  • Quy trình thiết lập hệ trục tọa độ Denavit-Hartenberg và giải bài toán động học ngược cho robot Yahboom Dofbot 5 bậc tự do (Chương 2 và Chương 3).
  • Phương pháp chuyển đổi bài toán Landmark Detection sang bài toán định vị điểm gắp vật thể công nghiệp bất đối xứng (Mục 3.3).
  • Phương pháp đo đạc và xây dựng hàm nội suy hiệu chuẩn sai số quang học thực tế (Mục 3.4).

Câu hỏi thường gặp

1. Tại sao tác giả lại chọn cấu trúc mạng RetinaFace và backbone MobileNet cho bài toán gắp vật thể thay vì các mô hình phát hiện phổ biến như YOLO hay Faster R-CNN?

Mô hình YOLO hoặc Faster R-CNN tiêu chuẩn chỉ trả về hộp bao hình chữ nhật (bounding box) và tâm đối tượng, không thể hiện được góc xoay và các điểm kẹp cụ thể của vật thể bất đối xứng. RetinaFace là mô hình được thiết kế chuyên biệt cho việc phát hiện hộp bao đồng thời định vị các điểm neo (landmarks). Khi kết hợp với backbone MobileNet (vốn sử dụng tích chập Depthwise Separable Convolution để tối giản tham số), mô hình vừa trích xuất được 6 điểm then chốt xác định hướng gắp $q_5$, vừa đảm bảo tốc độ suy luận nhanh (~20 fps) trên phần cứng nhúng Jetson Nano.

2. Thông số hình học của cánh tay robot Yahboom Dofbot 5 bậc tự do được sử dụng trong đồ án là gì?

Robot có 5 bậc tự do với kích thước các khâu: khâu 1 dài 3,0 cm; khâu 2 dài 8,3 cm; khâu 3 dài 8,3 cm; khâu 4 dài 7,5 cm; chiều dài tay kẹp ở tầm mở tối đa là 11,0 cm; chiều cao từ đế đến gốc tọa độ là 8,0 cm. Sai lệch cơ khí danh định của robot là $e = \pm 0,5\text{ mm}$.

3. Tập dữ liệu thực nghiệm được xây dựng và phân chia như thế nào?

Dữ liệu được thu thập trực tiếp qua camera Cimsum Document Scanner với các điều kiện ánh sáng và cự ly khác nhau, sau đó loại bỏ các ảnh mờ nhòe. Tác giả sử dụng phần mềm LabelMe để gán nhãn 2 lớp phôi và chấm 6 điểm keypoint ($p_1$ đến $p_6$) cho từng vật thể. Tổng số dữ liệu gồm 4.387 ảnh, chia thành 3.896 ảnh cho tập huấn luyện (train) và 491 ảnh cho tập kiểm tra (test).

4. Thuật toán xác định hướng gắp và điều khiển động cơ servo của hệ thống hoạt động như thế nào?

Mô hình học sâu dự đoán tọa độ 6 điểm ($p_1$ đến $p_6$) trên ảnh. Thuật toán sử dụng các điểm này để suy ra tâm gắp và góc quay định hướng của khâu tác động cuối (biến khớp $q_5$). Sau đó, tọa độ tâm được đưa vào bộ giải động học ngược D-H để tính toán các biến khớp $(q_1, q_2, q_3, q_4)$. Bộ góc quay được Jetson Nano gửi qua giao thức I2C tới mạch Arduino UNO để phát các xung PWM tương ứng điều khiển từng động cơ servo.

5. Tốc độ xử lý và sai số thực nghiệm của hệ thống đạt mức bao nhiêu?

Hệ thống đạt tốc độ xử lý xấp xỉ 20 khung hình/giây (~20 fps), đảm bảo khả năng vận hành thời gian thực trên máy tính nhúng Jetson Nano. Về độ chính xác, sau khi áp dụng các hàm nội suy hiệu chuẩn sai số theo trục $x$ và $y$, sai số định vị tổng thể của hệ thống đạt khoảng 4 mm (~4 mm).

Kết luận

Đồ án tốt nghiệp của sinh viên Bùi Việt Hoàng đã giải quyết thành công bài toán phân loại và xác định tư thế gắp cho các chi tiết cơ khí có biên dạng phức tạp bằng cách kết hợp mô hình học sâu đa nhiệm RetinaFace-MobileNet với cánh tay robot 5 bậc tự do. Toàn bộ giải thuật nhận dạng, giải động học ngược và điều khiển servo đã được triển khai hoàn chỉnh trên máy tính nhúng Jetson Nano với tốc độ xử lý thời gian thực đạt ~20 fps. Dù sai số hệ thống thực nghiệm còn ở mức ~4 mm do giới hạn của cơ cấu quang học 2D và phần cứng robot, công trình đã chứng minh tính khả thi cao của phương pháp định vị điểm then chốt trong tự động hóa và tạo tiền đề vững chắc cho việc phát triển các hệ thống robot gắp phôi 3D trên băng chuyền sản xuất.

Trích đoạn nội dung tài liệu

Chương 1: TỔNG QUAN VỀ ĐỀ TÀI 1. Tổng quan về cánh tay robot Cánh tay robot là một loại cánh tay cơ học, thường được lập trình, có chức năng tương tự như cánh tay người, cánh tay có thể là tổng của cơ chế hoặc có thể là một phần của robot phức tạp hơn. Các liên kết của một bộ điều khiển như vậy được kết nối bởi các khớp cho phép chuyển động quay hoặc dịch chuyển tịnh tiến. Được sử dụng trong quy trình sản xuất công nghiệp được vận hành bởi con người.

Ưu điểm nổi bật nhất của nó là thiết kế linh hoạt, thao tác nhanh nhẹn, tỉ mỉ và có khả năng hoàn thiện cả những phần chi tiết sản phẩm nhỏ nhất. Cánh tay robot đang thực hiện những nhiệm vụ khác nhau trong một quy trình sản xuất [1] Ứng dụng của cánh tay robot: Ứng dụng của cánh tay robot rất đa đạng, tùy vào những nghành nghề, công việc khác nhau mà ta có thể áp dụng những robot công nghiệp riêng biệt. Dưới đây là một số nghành trong hệ thống sản xuất mà áp dụng robot công nghiệp. • Ứng dụng trong tự động hóa công nghiệp: robot có thể trực tiếp tham gia vào quá trình sản xuất, lắp ráp các linh kiện/máy móc của sản phẩm.

Chúng hoạt động một cách trơn tru và đảm bảo độ chính xác cao mà không cần sự giám sát của con người. SVTH: Bùi Việt Hoàng 1 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 2. Robot lắp ráp thực hiện công việc trong một dây chuyền sản xuất tự động [2] • Ứng dụng trong lĩnh vực hóa- thực phẩm: Trong lĩnh vực dược phẩm và thực phẩm, rô bốt công nghiệp được ứng dụng chính trong dây chuyền phân loại sản phẩm. Dưới sự trợ giúp của thị giác máy tính, chúng sẽ nhận diện chính xác từng loại sản phẩm nhờ vào khả năng so sánh hình ảnh với sản phẩm và thông qua cơ chế đọc mã vạch thông minh.

Ngoài ra, robot có thể làm việc trong các điều kiện môi trường khác nhau (hóa chất, nhiệt độ tùy biến,….) mà không bị ảnh hưởng. • Ứng dụng trong lĩnh vực lắp ráp, gia công cơ khí: cánh tay robot có thể hỗ trợ con người thực hiện các công việc tiềm ẩn nguy hiểm cao như hàn điện, hàn hồ quang, lắp đặt linh kiện, gia công, mài… đảm bảo sự an toàn cho người lao động. Thêm vào đó, rô bốt công nghiệp không bao giờ có tình trạng “mệt mỏi” hay “mất tập trung” như con người, nên đảm bảo hiệu quả công việc luôn vượt trội. Doanh nghiệp sử dụng cobot còn giúp tối ưu chi phí thuê nhân công mà vẫn đảm bảo quy trình làm việc trơn tru và hiệu quả nhất.

Ứng dụng của thị giác máy trong hệ robot Công nghệ thị giác máy tính (Computer Vision): là một kỹ thuật tìm kiếm các cách để tự động hóa tất cả công việc mà một hệ thống thị giác của con người có thể làm. Thị giác máy bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh và, nói chung là dữ liệu đa chiều từ thế giới thực để cho ra các thông tin số hoặc biểu tượng, ví dụ trong các dạng quyết định. Một số ứng dụng phổ biến của thị giác máy hiện nay: ❖ Phân loại hình ảnh ❖ Phát hiện đối tượng ❖ Định vị đối tượng SVTH: Bùi Việt Hoàng 2 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ ❖ Tái thiết hình ảnh ❖ Theo dõi đối tượng Trong những năm gần đây, nhờ sự phát triển của khả năng tính toán trên các thiết bị phần cứng, sự tăng trưởng về dữ liệu, sự phát triển của trí tuệ nhân tạo, thị giác máy đang trở nên phổ biến và được áp dụng rộng rãi trong các ngành sản xuất tự động cũng như các thiết bị thông minh do độ chính xác của nó đem lại cao hơn khá nhiều so với các phương pháp tự động khác. Trước đây, các phương pháp xử lý ảnh truyền thống cũng đã được áp dụng trong các hệ Robot và đem lại những kết quả tích cực, tuy nhiên, nhờ vào sự phát triển mạnh mẽ của trí tuệ nhân tạo trong những năm gần đây, thị giác máy đang trở thành xu hướng trong các hệ Robot và các ngành công nghiệp sản xuất tự động, các ứng dụng phổ biến mà thị giác máy đem lại khi áp dụng vào Robot có thể kể đến như: ❖ Phát hiện đối tượng nhanh và chính xác ❖ Đo lường kích thước vật thể ❖ Phát hiện lỗ hổng, khuyết tật sản phẩm ❖ Định vị vật thể ❖ Đếm số lượng vật thể Hình 3.

Robot định vị và lắp ráp phôi trên băng tải tự động [3] 1. Bài toán phát hiện và phân loại sản phẩm Trong các nhà máy, công xưởng, các hệ tự động hóa, cánh tay Robot thường được ứng dụng trong các hệ thống phân loại sản phẩm. Hệ thống phân loại sản phẩm là giải pháp công nghiệp thay thế con người thực hiện các khâu phân loại sản phẩm theo từng đặc tính mà người sử dụng quy định. Bài toán phân loại sản phẩm thường được ứng dụng với 2 mục đích chính: SVTH: Bùi Việt Hoàng 3 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ ❖ Phân loại 2 hay nhiều loại sản phẩm khác nhau ❖ Phân loại sản phẩm lỗi, khuyết tật với sản phẩm thường Hình 4.

Hệ thống phân loại rác thải tái chế (bên trái) [4] và hệ thống phát hiện sản phẩm lỗi (bên phải) [5] Việc thực hiện phân loại sản phẩm thường dựa vào các thông tin khác nhau. Đối với các hệ thống phân loại sử dụng xử lý ảnh truyền thống, một số đặc trưng thường được sử dụng để phân loại có thể kể đến như: mã vạch, màu sắc, hình dáng đường bao,…. Các phương pháp phân loại truyền thống có thể hoạt động tốt trên các loại sản phẩm đặc thù có hình dáng, kích thước hay màu sắc khác nhau nhưng lại thiếu chính xác khi các sản phẩm có cùng những đặc trưng kể trên. Trong những năm gần đây, trí tuệ nhân tạo đang là một lĩnh vực vô cùng phát triển, việc áp dụng các mạng học máy, học sâu vào vào các sản phẩm thực tế đang trở nên phổ biến.

Đối với các hệ thống robot phân loại sản phẩm, việc áp dụng các mạng học sâu vào để phân loại cũng đang trở thành xu hướng mới nhờ độ chính xác cao mà nó đem lại. Ngoài ra, khả năng tổng quát hóa các bài toán phân loại, trí tuệ nhân tạo có thể tiết kiệm các chi phí thiết kế những hệ thống phân loại với những sản phẩm đặc thù riêng. Bài toán lắp ráp và đóng gói sản phẩm Một ứng dụng phổ biến khác của cánh tay robot thường được ứng dụng trong tự động hóa công nghiệp là lắp ráp và đóng gói sản phẩm. Công việc chính của robot là gắp, bỏ sản phẩm đưa vào khay, gói, túi, thùng carton hay đưa các phôi gia công vào khuôn mẫu.

Để có thể lắp ráp hay thực hiện các thao tác theo đúng tiêu chuẩn trên các vật thể, robot cần phải có khả năng định vị được vật thể. Các phương pháp định vị vật thể phổ biến được áp dụng hiện nay có thể kể đến như: • Định vị vật thể có sẵn trong 1 khung cố định: SVTH: Bùi Việt Hoàng 4 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 5. Định vị vật thể có sẵn trong 1 khuôn mẫu (template) có sẵn [32] Ưu điểm: Định vị vật thể có sẵn trong 1 khuôn mẫu có độ chính xác cao, chỉ cần sử dụng các phương pháp xử lý ảnh hay quét laser thông thường để phát hiện vị trí của vật Nhược điểm: Hệ robot trở nên hạn chế vì chỉ gắp được những vật theo đúng chiều có sẵn ở trong vùng làm việc đã xác định, nếu vật bị xoay, nghiêng hay để sai vị trí sẽ dẫn đến sai số, các bài toán này phải thiết kế riêng hệ thống cho từng loại vật thể. • Định vị vật thể bằng các phương pháp định vị 3D, sử dụng các mô hình học máy với dữ liệu bao gồm ảnh và độ sâu và dự đoán hướng gắp cũng như vị trí gắp: Hình 6.

Định vị vật thể bằng cách xác định hướng gắp và các điểm cần gắp trong không gian 3 chiều [33] Ưu điểm: Có thể gắp đối với tất cả các vật với các hình dáng đường biên khác nhau trong không gian. Có thể gắp được với đa dạng các hướng gắp khác nhau. Nhược điểm: Sử dụng dữ liệu trong không gian 3 chiều, bao gồm ảnh và thông tin về chiều sâu ( thu thập từ depth camera hoặc các cảm biến laser), hệ thống trở nên phức SVTH: Bùi Việt Hoàng 5 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ tạp hơn, thu thập và xử lý dữ liệu khó khăn, độ chính xác phụ thuộc rất nhiều vào cảm biến độ sâu. Ngoài ra, dữ liệu 3D chứa nhiều thông tin hơn nên việc đào tạo 1 mô hình xử lý sẽ tốn chi phí hơn cũng như chưa chắc có thể đảm bảo xử lý được trong thời gian thực (real- time).

• Định vị vật thể bằng các phương pháp sử dụng ảnh 2D, vị trí gắp của vật chính là tâm của vật được phát hiện trong ảnh, được cắt ra theo hình chữ nhật (bounding box): Hình 7. Định vị vật thể bằng các phương pháp học máy sử dụng ảnh 2D [33] Ưu điểm: Phát hiện vật nhanh, chính xác, phù hợp với các ứng dụng chạy trong thời gian thực, phù hợp với các điều kiện sản xuất trong thực tế. Nhược điểm: Chỉ thực sự tốt đối với những vật có hình dáng không phức tạp, đối xứng, đối với những vật phức tạp cần phải lắp ghép theo đúng chiều dễ gây ra sai sót. Ngoài ra, hướng gắp của những bài toán chỉ sử dụng thông tin 2 chiều sẽ không được đa dạng.

Robot lắp ráp và đóng gói sản phẩm thường được ứng dụng trong các ngành hóa mỹ phẩm, thực phẩm, chế tạo máy, công nghiệp ô tô,… Để thực hiện nhiệm vụ lắp ráp và đóng gói, hệ robot cần phải có khả năng định vị tốt về vị trí của sản phẩm. Hiện nay, các hệ robot lắp ráp, đóng gói thường chỉ hoạt động tốt với những sản phẩm đã được thiết lập vị trí cố định trong dây chuyền sản xuất hay đối với những vật có kích thước đối xứng, hình dáng phổ thông với bề mặt phẳng hoặc trơn. Đối với những vật có hình dáng đường biên phức tạp, không đối xứng, việc thiết kế hệ thống định vị trở nên phức tạp và tốn chi phí. Ở trong một số nhà máy hiện nay, việc đóng gói hay lắp ráp vẫn phụ thuộc vào nhân công và chưa thể tự động hóa hoàn toàn.

SVTH: Bùi Việt Hoàng 6 Đồ án tốt nghiệp GVHD: TS.Nguyễn Xuân Hạ Hình 8.