Bối cảnh và vấn đề nghiên cứu

Trong xu hướng phát triển của cuộc Cách mạng Công nghiệp 4.0, các hệ thống tự động hóa và trí tuệ nhân tạo đóng vai trò trọng tâm trong việc nâng cao năng suất, tối ưu hóa quy trình sản xuất và giảm thiểu sai sót do con người. Việc tích hợp giữa phương tiện tự hành (Automated Guided Vehicle - AGV) và cánh tay robot công nghiệp nhiều bậc tự do tạo ra giải pháp tự động hóa di động có tính linh hoạt cao, đáp ứng nhu cầu vận chuyển, phân loại, bốc xếp và thao tác vật phẩm tại các kho bãi, nhà máy sản xuất linh kiện, ô tô và dược phẩm.

Đề tài "Ứng dụng cánh tay robot 6 bậc kết hợp xe tự hành AGV" được thực hiện bởi nhóm sinh viên ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, dưới sự hướng dẫn của ThS. Lê Hoàng Lâm. Mục tiêu tổng quát của đề tài là nghiên cứu, thiết kế, chế tạo và vận hành mô hình tích hợp robot 6 bậc tự do đặt trên xe AGV phục vụ bài toán nhận diện, di chuyển và gắp thả vật phẩm tự động từ vị trí bắt đầu đến vị trí chỉ định.

Nhiệm vụ nghiên cứu cụ thể bao gồm:

  1. Thiết kế và thi công sơ đồ kết nối điện, mạch động lực và mạch điều khiển cho toàn bộ hệ thống phần cứng.
  2. Xây dựng mô hình toán học, thiết lập hệ trục tọa độ theo quy tắc Denavit-Hartenberg và giải bài toán động học thuận, động học nghịch cho cánh tay robot 6 bậc tự do DENSO.
  3. Ứng dụng mô hình học sâu YOLOv8 và thư viện xử lý ảnh OpenCV kết hợp camera đo chiều sâu 3D Intel RealSense D435i để nhận diện vật thể và xác định tọa độ không gian 3 chiều.
  4. Lập trình điều khiển phối hợp chuyển động đồng bộ giữa hệ thống cánh tay robot sử dụng trạm PLC đa CPU Mitsubishi và xe AGV dò đường line.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Cánh tay robot công nghiệp DENSO 6 bậc tự do; xe tự hành AGV dẫn đường theo vạch kẻ sàn; hệ thống điều khiển chuyển động đa trục; các đối tượng thao tác là chai nước và lon nhựa đơn lẻ.
  • Không gian và thời gian: Đề tài được triển khai thực hiện tại Phòng thí nghiệm Bộ môn Tự động Điều khiển, Khoa Điện - Điện tử, Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh trong thời gian từ ngày 20/02/2024 đến ngày 20/06/2024.

Cơ sở lý thuyết và phương pháp

Đề tài sử dụng phương pháp nghiên cứu kỹ thuật thực nghiệm kết hợp giải thuật toán học và xử lý dữ liệu thị giác máy tính:

  • Lý thuyết động học robot: Áp dụng phương pháp tham số Denavit-Hartenberg (D-H) tiêu chuẩn để gán hệ trục tọa độ cho từng khâu khớp của robot 6 bậc tự do. Sử dụng ma trận biến đổi thuần nhất $4 \times 4$ kết hợp ma trận xoay theo góc Euler (Roll-Pitch-Yaw) để mô tả vị trí và hướng của khâu chấp hành cuối (End-Effector) so với hệ tọa độ gốc. Bài toán động học nghịch được giải tích bằng phương pháp hình học kết hợp đại số để tìm tập nghiệm góc quay cho 6 khớp từ tọa độ không gian làm việc.
  • Thị giác máy tính và học sâu: Sử dụng kiến trúc mạng nơ-ron tích chập YOLOv8 (You Only Look Once phiên bản 8) để nhận dạng và định vị đối tượng theo thời gian thực. Kết hợp các giải thuật xử lý ảnh của OpenCV (lọc nhiễu Gaussian/Median, nhị phân hóa ngưỡng Otsu, trích xuất biên Canny, tìm đường bao bao quanh) để xác định góc nghiêng và tâm hình học của vật thể. Tọa độ từ mặt phẳng ảnh của camera 3D được chuyển đổi sang hệ tọa độ không gian của robot (chuyển đổi hệ tọa độ Camera sang Robot).
  • Phương pháp điều khiển chuyển động và tự động hóa: Thiết kế điều khiển phân tầng trên nền tảng trạm PLC đa CPU của Mitsubishi. Sử dụng ngôn ngữ lập trình biểu đồ chức năng tuần tự Motion SFC (Sequential Function Chart) để điều khiển đồng bộ chuyển động các trục servo thông qua mạng truyền thông cáp quang tốc độ cao SSCNETIII/H. Giao thức truyền thông MC-Protocol (Mitsubishi Communication Protocol) chạy trên nền TCP/IP được sử dụng để truyền tải dữ liệu tọa độ từ máy tính nhúng (Python) sang PLC CPU.
  • Nguồn dữ liệu: Tập dữ liệu hình ảnh vật thể (chai, lon) thu thập trực tiếp từ Camera 3D Intel RealSense D435i trong các điều kiện góc nghiêng và ánh sáng khác nhau, sau đó được gán nhãn và huấn luyện trực tiếp trên nền tảng Google Colab.

Thiết kế và triển khai

Hệ thống được thiết kế và chế tạo tích hợp gồm 3 khối chính: khối cơ điện và nguồn, khối điều khiển và chấp hành, khối thị giác máy tính và giao diện vận hành.

Phân hệ Thiết bị / Công nghệ sử dụng Chức năng kỹ thuật trong hệ thống
Bộ điều khiển trung tâm Trạm PLC Mitsubishi Q-Series (Q04UDEHCPU + Q172DSCPU) Xử lý logic toàn hệ thống, quản lý truyền thông và điều khiển chuyển động 6 trục Servo qua cáp quang SSCNETIII/H
Module mở rộng Base Q38B, Nguồn Q61P, QX42 (Input), QY41P (Output), QD62AN / Q62DAN (Analog), QJ71C24N-R2 Thu thập tín hiệu cảm biến, điều khiển đóng cắt rơ-le, van khí nén, thắng từ và xuất tín hiệu vận tốc cho xe AGV
Cánh tay robot Robot DENSO 6 bậc tự do, Động cơ Servo Mitsubishi HG-KR43, HG-KR43BG7 Cơ cấu thao tác gắp thả vật phẩm trong không gian làm việc 3 chiều
Bộ điều khiển Servo Driver Mitsubishi đa trục MR-J4W3-444B và MR-J4W2-22B Khuếch đại và điều khiển vị trí chính xác của từng khớp robot
Khung gầm và dẫn động AGV Động cơ DC không chổi than Oriental BLHM5100K + Driver HP-5098-2E Dẫn động di chuyển mô hình xe tự hành theo các đường dẫn line cố định
Cảm biến dẫn đường & an toàn Cảm biến quang Z3D-100N, cảm biến dò line quang học Nhận diện vạch dẫn đường trên sàn và phát hiện vật cản dừng khẩn cấp
Thị giác máy tính Camera 3D Intel RealSense D435i, Python, OpenCV, YOLOv8 Thu thập ảnh màu/độ sâu, nhận diện phân loại vật và trích xuất tọa độ $(X, Y, Z, \theta)$
Mạch nguồn & bảo vệ Nguồn Omron S8VS-24024A (24VDC), MCCB NF30-SP (20A), CB CP30-BA (7A, 10A), Khởi động từ S-N25 Cấp nguồn động lực, nguồn điều khiển và bảo vệ quá tải, ngắn mạch
Giao diện vận hành (HMI) Màn hình HMI Mitsubishi GT1155HS-QSDB / GT1165, phần mềm GT Designer3 Giám sát trạng thái, cài đặt thông số tọa độ và điều khiển thủ công/tự động

Quy trình hoạt động phối hợp:

  1. Xe AGV khởi động, bám theo vạch dẫn đường trên sàn đến khu vực làm việc thông qua tín hiệu từ cảm biến quang gửi về PLC.
  2. Camera Intel RealSense D435i quét khu vực phía trước; chương trình Python xử lý thuật toán YOLOv8 để định vị vật thể và tính toán tọa độ tâm không gian kèm góc xoay.
  3. Dữ liệu tọa độ được đóng gói và gửi qua mạng Ethernet sang thanh ghi bộ nhớ của PLC CPU (Q04UDEHCPU) theo chuẩn giao thức MC Protocol.
  4. PLC CPU đồng bộ dữ liệu sang Motion CPU (Q172DSCPU); Motion CPU thực thi chương trình SFC tính toán quỹ đạo nội suy và phát lệnh qua mạng quang SSCNETIII/H đến các Servo Driver để điều khiển cánh tay DENSO gắp vật thể chính xác.
  5. Sau khi hoàn thành gắp vật, robot đặt vật vào khay chứa trên xe AGV và phát lệnh cho xe tiếp tục di chuyển về vị trí trả hàng.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 trình bày tổng quan bối cảnh phát triển của công nghệ robot và tự động hóa công nghiệp trong thời kỳ Cách mạng Công nghiệp 4.0. Tác giả phân tích tính cấp thiết của việc kết hợp xe tự hành AGV với cánh tay robot công nghiệp nhằm nâng cao tính linh hoạt cho dây chuyền sản xuất và kho bãi thông minh. Chương này xác định rõ mục tiêu nghiên cứu, các nhiệm vụ kỹ thuật cần giải quyết và phạm vi giới hạn của đồ án.

Chương 2. Cơ sở lý thuyết

Chương 2 tổng hợp nền tảng lý thuyết chuyên sâu liên quan đến 4 mảng kiến thức:

  • Cấu trúc robot tay máy công nghiệp, phân loại bậc tự do, khâu, khớp và định nghĩa các ma trận tịnh tiến, ma trận quay Euler và ma trận biến đổi thuần nhất.
  • Lý thuyết tổng quan về xe AGV, lịch sử phát triển qua các giai đoạn từ năm 1953 đến nay, phân loại theo chức năng (kéo, chở, đẩy, nâng) và các phương pháp dẫn đường (dây từ, dải từ, laser, mã QR, thị giác, tự nhiên).
  • Cơ sở xử lý ảnh số, các bước tiền xử lý lọc nhiễu, phân đoạn ảnh, trích xuất biên (Sobel, Canny, Laplacian) và kiến trúc mạng nơ-ron tích chập (CNN) ứng dụng cho nhận diện đối tượng.
  • Giới thiệu cấu tạo, nguyên lý làm việc của hệ thống phần cứng: PLC Mitsubishi dòng Q, ngôn ngữ lập trình chuyển động SFC, động cơ và driver Servo, bộ mã hóa Encoder (tương đối và tuyệt đối), mạng truyền thông SSCNETIII/H, động cơ DC không chổi than, chuẩn truyền thông MC Protocol qua TCP/IP, camera 3D và các phần mềm hỗ trợ (GX Works2, GT Designer3, VS Code, Intel RealSense Viewer).

Chương 3. Thiết kế và thi công hệ thống

Chương 3 chi tiết hóa quy trình triển khai phần cứng và mô hình toán học:

  • Trình bày thông số kỹ thuật chi tiết của tất cả các linh kiện: CB bảo vệ, bộ nguồn Omron, rơ-le trung gian, module PLC Q-Series (Q04UDEHCPU, Q172DSCPU, QX42, QY41P, QD62AN), động cơ Servo và Driver MR-J4 series, động cơ Brushless và cảm biến Z3D-100N.
  • Thiết kế các sơ đồ nguyên lý: Sơ đồ phân phối nguồn động lực 220VAC, mạch nguồn 24VDC, mạch điều khiển ngõ vào/ra I/O, mạch điều khiển thắng động cơ servo và van điện từ khí nén, mạch điều khiển driver động cơ di chuyển xe.
  • Thiết lập hệ trục tọa độ Denavit-Hartenberg cho cánh tay robot DENSO 6 bậc tự do, xây dựng bảng thông số D-H và giải tường minh hệ phương trình động học thuận và động học nghịch.
  • Thiết lập không gian làm việc của robot và xây dựng thuật toán chuyển đổi ma trận tọa độ từ hệ quy chiếu Camera sang hệ quy chiếu gốc của Robot.

Chương 4. Chương trình điều khiển

Chương 4 tập trung vào việc xây dựng lưu đồ thuật toán và cấu trúc mã nguồn điều khiển:

  • Xây dựng lưu đồ giải thuật tổng quát và lưu đồ chi tiết cho cánh tay robot 6 bậc, luồng xử lý ảnh nhận diện vật thể và giải thuật bám line của xe AGV.
  • Quy trình thu thập dữ liệu hình ảnh từ Camera D435i, dán nhãn dữ liệu và huấn luyện mô hình YOLOv8 trên môi trường Google Colab.
  • Xây dựng module Python xử lý ảnh, tính toán góc xoay vật thể từ ảnh nhị phân và gửi gói tin tọa độ qua giao thức MC Protocol vào vùng nhớ PLC.
  • Lập trình cấu hình module Analog Q62DAN xuất điện áp điều khiển tốc độ 2 động cơ xe AGV tương ứng với các trạng thái lệch line của cảm biến quang.
  • Thiết kế giao diện giám sát, vận hành điều khiển hệ thống trên phần mềm GT Designer3 cho màn hình HMI GT1155HS-QSDB / GT1165.

Chương 5. Mô phỏng và kết quả thực hiện

Chương 5 trình bày việc kiểm chứng tính đúng đắn của giải thuật và đánh giá hiệu năng vận hành thực nghiệm:

  • Sử dụng phần mềm MATLAB Robotics Toolbox để mô phỏng, đối chứng kết quả tính toán động học thuận và động học nghịch của cánh tay 6 bậc.
  • Tiến hành thực nghiệm vận hành hệ thống thực tế theo kịch bản: Xe AGV dò đường theo line, nhận diện biển báo rẽ hướng, dừng tại vị trí phôi, camera quét nhận diện vị trí chai/lon, cánh tay robot thực hiện gắp vật thể và đặt vào vị trí quy định.
  • Thống kê và vẽ biểu đồ tỷ lệ thực hiện thành công các tác vụ trong hai môi trường: Điều kiện phòng kín (ánh sáng ổn định) và điều kiện môi trường tự nhiên (ánh sáng biến động).

Chương 6. Kết luận và hướng phát triển

Chương 6 tổng kết toàn bộ các kết quả đạt được về mặt phần cứng, thuật toán và truyền thông điều khiển; đồng thời nêu rõ các điểm hạn chế chưa khắc phục và đề xuất định hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Tác giả đã hoàn thành việc thiết kế, chế tạo và thử nghiệm hệ thống tích hợp giữa cánh tay robot 6 bậc tự do DENSO và xe tự hành AGV với các kết quả cụ thể:

  • Kiểm chứng thuật toán động học: Kết quả tính toán giải tích động học thuận và nghịch trên lý thuyết khớp hoàn toàn với kết quả mô phỏng trên phần mềm MATLAB và vị trí thực tế của cánh tay robot, đảm bảo robot di chuyển đúng tọa độ trong không gian làm việc.
  • Tích hợp hệ thống điều khiển đa tầng: Kết nối và truyền thông thành công giữa máy tính xử lý ảnh (Python) với trạm PLC đa CPU Mitsubishi (Q04UDEHCPU và Q172DSCPU) thông qua giao thức MC Protocol (TCP/IP), và điều khiển đồng bộ 6 trục động cơ servo qua mạng cáp quang SSCNETIII/H.
  • Kết quả vận hành thực nghiệm: Hệ thống được thử nghiệm vận hành tự động liên hoàn qua nhiều lần lặp lại tại hai môi trường thực nghiệm với các chỉ số đo lường thực tế được ghi nhận trong văn bản:
Môi trường thử nghiệm Tác vụ thử nghiệm Số lần thực hiện Số lần thành công Tỷ lệ thành công (%)
Điều kiện phòng kín Xe AGV dò line và chuyển hướng 20 20 100%
(Ánh sáng nhân tạo ổn định) Camera nhận diện vật thể (YOLOv8) 20 19 95%
Cánh tay robot gắp và thả vật 20 18 90%
Môi trường tự nhiên Xe AGV dò line và chuyển hướng 20 19 95%
(Có ánh sáng thay đổi) Camera nhận diện vật thể (YOLOv8) 20 17 85%
Cánh tay robot gắp và thả vật 20 16 80%
  • Đóng góp kỹ thuật: Đồ án đã giải quyết bài toán tích hợp công nghệ cao giữa thị giác máy tính dựa trên trí tuệ nhân tạo (YOLOv8, 3D Camera) với hệ thống điều khiển chuyển động công nghiệp cấp độ cao (PLC Motion Controller đa CPU). Mô hình chứng minh tính khả thi của việc ứng dụng các giải pháp tự động hóa di động kết hợp robot thao tác trong các dây chuyền phân loại, dọn dẹp và vận chuyển vật liệu công nghiệp.

Hạn chế và hướng nghiên cứu tiếp

Theo công bố của nhóm tác giả trong đồ án, hệ thống còn tồn tại một số hạn chế:

  • Thuật toán điều khiển xe AGV bám line dựa trên cảm biến quang còn đơn giản, tính linh hoạt chưa cao khi cần thay đổi lộ trình phức tạp.
  • Hệ thống xử lý ảnh và thuật toán gắp chưa giải quyết được bài toán khi có nhiều vật phẩm nằm chồng lấn hoặc che khuất lẫn nhau.
  • Độ chính xác của khâu nhận dạng vật thể bằng camera còn phụ thuộc vào sự biến đổi cường độ ánh sáng của môi trường tự nhiên xung quanh.

Các hướng phát triển mở rộng được đề xuất:

  • Nâng cấp hệ thống dẫn đường của xe AGV sang các công nghệ không dây tiên tiến hơn như định vị bản đồ tự động SLAM (Simultaneous Localization and Mapping) bằng cảm biến LiDAR kết hợp điều hướng tự nhiên hoặc mã QR.
  • Nghiên cứu giải thuật phân đoạn ảnh đối tượng 3D chuyên sâu (Instance Segmentation) để nhận diện và gắp chính xác các vật thể bị xếp chồng, xáo trộn.
  • Tích hợp thêm cảm biến đo lực ở khâu chấp hành cuối (tay gắp) để điều khiển lực kẹp phù hợp cho từng loại vật thể mềm hoặc dễ vỡ.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật có giá trị tham khảo ứng dụng thực tiễn cao cho:

  • Sinh viên, học viên và nghiên cứu sinh chuyên ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Cơ điện tử, Kỹ thuật Robot và Trí tuệ nhân tạo.
  • Các kỹ sư thiết kế hệ thống tự động hóa quan tâm đến phương pháp xây dựng hệ thống điều khiển đa CPU của Mitsubishi (PLC CPU kết hợp Motion Controller), quy trình lập trình biểu đồ chức năng Motion SFC và cấu hình mạng truyền thông servo tốc độ cao SSCNETIII/H.
  • Những người nghiên cứu phát triển hệ thống thị giác máy tính công nghiệp cần tham khảo mã nguồn và giải thuật kết nối truyền thông MC-Protocol giữa Python/OpenCV với PLC công nghiệp để truyền tọa độ không gian thực thời gian thực.

Câu hỏi thường gặp

1. Trạm điều khiển trung tâm của hệ thống robot và AGV trong đề tài sử dụng những dòng CPU nào?
Hệ thống sử dụng trạm PLC đa CPU thuộc dòng Q của Mitsubishi gắn trên đế Base Q38B, bao gồm 1 CPU logic/truyền thông model Q04UDEHCPU phối hợp cùng 1 CPU điều khiển chuyển động chuyên dụng (Motion CPU) model Q172DSCPU để điều khiển trực tiếp 6 trục servo qua mạng SSCNETIII/H.

2. Phương pháp nào được sử dụng để truyền dữ liệu tọa độ vật thể từ chương trình xử lý ảnh trên máy tính sang PLC?
Chương trình xử lý ảnh viết bằng Python chạy trên máy tính sử dụng chuẩn giao tiếp truyền thông MC-Protocol (Mitsubishi Communication Protocol) chạy trên nền mạng Ethernet (TCP/IP) để ghi trực tiếp các giá trị tọa độ không gian $(X, Y, Z)$ và góc xoay $\theta$ vào các thanh ghi dữ liệu của Q04UDEHCPU.

3. Khâu chấp hành chuyển động của cánh tay robot 6 bậc sử dụng loại động cơ và driver nào?
Cánh tay robot DENSO sử dụng các động cơ AC Servo Mitsubishi mã hiệu HG-KR43 và HG-KR43BG7, được điều khiển và cấp nguồn thông qua các bộ điều khiển Servo Driver đa trục Mitsubishi model MR-J4W3-444B (điều khiển 3 trục) và MR-J4W2-22B (điều khiển 2 trục).

4. Mô hình học sâu nào được ứng dụng để phát triển chức năng thị giác máy tính và tập dữ liệu được huấn luyện ở đâu?
Đề tài ứng dụng mô hình phát hiện đối tượng thời gian thực YOLOv8 kết hợp thư viện OpenCV và camera đo chiều sâu Intel RealSense D435i. Tập dữ liệu hình ảnh vật thể được thu thập trực tiếp qua camera, tiến hành gán nhãn và huấn luyện mạng nơ-ron trên nền tảng đám mây Google Colab.

5. Vì sao tỷ lệ thành công của tác vụ gắp thả trong điều kiện phòng kín (90%) lại cao hơn môi trường tự nhiên (80%)?
Trong điều kiện tự nhiên, sự biến đổi về góc chiếu và cường độ của ánh sáng mặt trời làm giảm độ tương phản của ảnh và gây nhiễu cho cảm biến chiều sâu của camera D435i, dẫn đến tỷ lệ nhận diện chính xác của YOLOv8 giảm từ 95% (phòng kín) xuống còn 85% (môi trường tự nhiên), trực tiếp ảnh hưởng đến độ chính xác vị trí gắp của tay máy.

Kết luận

Đồ án tốt nghiệp "Ứng dụng cánh tay robot 6 bậc kết hợp xe tự hành AGV" đã giải quyết trọn vẹn bài toán tích hợp cơ điện tử phức tạp giữa xe tự hành dẫn đường và cánh tay robot công nghiệp 6 bậc tự do. Bằng việc phối hợp linh hoạt giữa xử lý ảnh học sâu (YOLOv8, Camera 3D RealSense), trạm điều khiển đa CPU Mitsubishi (PLC và Motion Controller) và giải thuật động học hình học chuẩn xác, hệ thống đã thực hiện thành công quy trình tự động nhận diện, định vị và gắp thả vật phẩm. Toàn bộ các dữ liệu tính toán, sơ đồ mạch và kết quả thực nghiệm trong đồ án cung cấp tài liệu kỹ thuật thực chứng giá trị cho các ứng dụng robot di động trong công nghiệp.