Ứng dụng xử lý ảnh phân loại sản phẩm và điều khiển robot

Luận văn ứng dụng xử lý ảnh phân loại sản phẩm và điều khiển robot NACHI tại HCMUTE

• Tác giả: Nguyễn Trường Thịnh
• Người hướng dẫn: PGS.TS. Lê Mỹ Hà
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật điều khiển và tự động hóa
• Đề tài: Ứng dụng xử lý ảnh phân loại sản phẩm và điều khiển robot
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan ứng dụng xử lý ảnh và điều khiển robot tại HCMUTE

Nghiên cứu ứng dụng xử lý ảnh phân loại sản phẩm và điều khiển robot tại HCMUTE đánh dấu bước tiến trong đào tạo tự động hóa. Đề tài kết hợp chặt chẽ giữa lý thuyết thị giác máy tính và thực hành điều khiển tay máy công nghiệp. Sinh viên khoa Đào tạo Quốc tế tại Đại học Sư phạm Kỹ thuật TP.HCM trực tiếp phát triển hệ thống này. Mô hình tích hợp cánh tay robot Nachi MZ07 cùng bộ điều khiển CFD Controller hiện đại. Máy tính trung tâm xử lý dữ liệu hình ảnh thông qua thư viện nguồn mở OpenCV. Mục tiêu chính hướng đến việc tối ưu hóa quy trình phân loại sản phẩm tự động trên băng chuyền. Hệ thống loại bỏ hoàn toàn các thao tác phân loại thủ công kém hiệu quả. Độ chính xác nhận dạng và tốc độ phản hồi đóng vai trò quyết định. Đề tài mở ra tiềm năng lớn cho mô hình nhà máy thông minh tại Việt Nam. Toàn bộ quy trình từ thu nhận ảnh đến kích hoạt cơ cấu chấp hành diễn ra khép kín. Giải pháp kỹ thuật này đáp ứng toàn diện tiêu chuẩn sản xuất công nghiệp 4.0 hiện đại.

1.1. Bối cảnh nghiên cứu hệ thống tự động hóa tại HCMUTE

Cách mạng công nghiệp 4.0 đòi hỏi sự chuyển dịch mạnh mẽ trong quy trình sản xuất. Ngành Kỹ thuật Điều khiển và Tự động hóa tại HCMUTE luôn tiên phong cập nhật công nghệ mới. Các dây chuyền phân loại truyền thống bộc lộ nhiều điểm hạn chế về năng suất. Nhân công dễ mệt mỏi và mắc lỗi khi làm việc liên tục nhiều giờ. Nhu cầu thay thế sức người bằng robot công nghiệp trở nên cấp thiết. Nghiên cứu tập trung giải quyết bài toán phân loại sản phẩm tốc độ cao. Dự án kết nối các thiết bị phần cứng chuẩn công nghiệp với thuật toán phần mềm thông minh. Mô hình thực nghiệm khẳng định năng lực ứng dụng công nghệ của sinh viên HCMUTE vào thực tiễn nhà máy.

1.2. Mục tiêu tích hợp thị giác máy tính với robot Nachi MZ07

Mục tiêu trọng tâm của dự án là xây dựng hệ thống phân loại linh hoạt. Tay máy Nachi MZ07 sở hữu 6 bậc tự do với độ linh động vượt trội. Thiết bị kết nối trực tiếp với bộ điều khiển CFD Controller qua cổng truyền thông công nghiệp. Hệ thống thị giác máy tính chịu trách nhiệm thu nhận hình ảnh sản phẩm. Thuật toán định vị chính xác tọa độ tâm và góc nghiêng của từng mẫu vật. Dữ liệu tọa độ được đóng gói và gửi sang robot để thực hiện thao tác gắp. Sự đồng bộ giữa phần mềm xử lý ảnh và tay máy giúp giảm thiểu độ trễ chu trình. Kết quả nghiên cứu chứng minh tính khả thi của hệ thống trong môi trường sản xuất thực tế.

II. Phân tích thách thức xử lý ảnh phân loại sản phẩm cơ khí

Quá trình phân loại sản phẩm tự động trong môi trường công nghiệp đối mặt nhiều thách thức kỹ thuật phức tạp. Yếu tố đầu tiên xuất phát từ điều kiện chiếu sáng không đồng đều trong xưởng sản xuất. Ánh sáng thay đổi gây hiện tượng chói lóa trên bề mặt vật liệu kim loại hoặc nhựa bóng. Camera ghi nhận hình ảnh dễ bị nhiễu và sai lệch màu sắc thực tế. Vấn đề thứ hai liên quan đến vị trí lắp đặt camera thu thập hình ảnh. Camera gắn cố định có góc nhìn rộng nhưng dễ bị tay máy che khuất khi vận hành. Ngược lại, camera gắn trực tiếp trên tay robot làm tăng tải trọng và giảm tốc độ di chuyển. Ngoài ra, việc truyền thông giữa máy tính xử lý và bộ điều khiển robot thường xảy ra trễ dữ liệu. Nếu gói tin tọa độ truyền chậm trễ, robot sẽ gắp sai vị trí vật thể di động. Độ trễ mạng Socket TCP/IP cần được kiểm soát nghiêm ngặt dưới ngưỡng cho phép. Mọi sai số cơ khí và quang học đều ảnh hưởng trực tiếp đến tỷ lệ phân loại thành công.

2.1. Hạn chế về góc nhìn và biến dạng trong hiệu chuẩn camera

Hiệu chuẩn camera là khâu then chốt nhằm chuyển đổi tọa độ điểm ảnh pixel sang hệ tọa độ thực milimet. Hai phương pháp bố trí camera phổ biến gồm đặt cố định và gắn trên tay robot. Camera đặt cố định cho vùng quan sát rộng và tốc độ xử lý khung hình cao. Tuy nhiên, cánh tay robot di chuyển qua lại dễ che khuất vật thể trên băng chuyền. Ngược lại, việc gắn camera trên đầu công tác giúp quan sát cự ly gần rất rõ nét. Nhược điểm lớn của cách này là rung lắc cơ khí và giảm tuổi thọ động cơ robot. Ống kính quang học cũng dễ gặp hiện tượng méo góc khi thu nhận ảnh biên dạng. Nếu không khử méo triệt để, ma trận biến đổi tọa độ sẽ xuất hiện sai số lũy tiến.

2.2. Khó khăn khi đồng bộ Socket giữa máy tính và PLC Mitsubishi

Giao tiếp liên tầng giữa máy tính xử lý ảnh, PLC Mitsubishi và bộ điều khiển CFD là bài toán hóc búa. Các thiết bị này sử dụng chuẩn truyền thông và định dạng dữ liệu khác nhau. Máy tính xử lý giải thuật bằng ngôn ngữ Python trên nền tảng OpenCV. Trong khi đó, bộ điều khiển Nachi vận hành dựa trên tập lệnh chuyển động chuyên biệt. Giao thức Socket TCP/IP được sử dụng để kết nối mạng cục bộ giữa các thành phần. Quá trình truyền nhận dễ bị nghẽn cổ chai nếu luồng gửi dữ liệu không được quản lý tốt. Tín hiệu đồng bộ giữa cảm biến hành trình, PLC và cánh tay robot đòi hỏi độ chính xác tính bằng mili-giây. Một sự sai lệch nhỏ trong thời điểm kích hoạt gắp sẽ dẫn đến hỏng hóc sản phẩm hoặc va chạm cơ khí.

III. Phương pháp tích hợp OpenCV điều khiển robot tại HCMUTE

Nhóm tác giả tại HCMUTE xây dựng giải pháp phân loại sản phẩm bằng sự phối hợp chặt chẽ giữa phần mềm và phần cứng. Camera được đặt ở vị trí cố định trên cao để bao quát toàn bộ khu vực làm việc. Thiết bị ghi hình truyền tín hiệu video thời gian thực về máy tính qua kết nối ổn định. Phần mềm sử dụng thư viện OpenCV thực hiện chuỗi tiền xử lý bao gồm lọc nhiễu Gaussian và chuyển đổi không gian màu HSV. Thuật toán phân ngưỡng nhị phân tách biệt vật thể khỏi nền băng tải một cách rõ ràng. Kỹ thuật phát hiện biên Canny kết hợp tìm đường bao Contour xác định chính xác hình dáng vật thể. Sau khi định vị tâm khối, phần mềm tính toán tọa độ thực và góc nghiêng của sản phẩm. Dữ liệu này được đóng gói thành chuỗi ký tự theo cấu trúc định sẵn. Cổng Socket TCP/IP truyền gói tin trực tiếp tới bộ điều khiển CFD của robot Nachi. Robot lập tức kích hoạt quỹ đạo chuyển động tối ưu để gắp và thả sản phẩm vào đúng khay chứa.

3.1. Thuật toán phát hiện biên và nhận diện vật thể bằng OpenCV

Quy trình thị giác máy tính bắt đầu bằng việc chuyển ảnh RGB sang ảnh mức xám Grayscale. Bộ lọc Gaussian làm mịn bề mặt nhằm triệt tiêu các điểm nhiễu quang học không mong muốn. Tiếp theo, thuật toán Canny trích xuất cạnh biên dựa trên gradient cường độ sáng cục bộ. Các đường bao khép kín được trích xuất thông qua hàm cv2.findContours trong OpenCV. Hệ thống tính toán các giá trị moment không gian để tìm ra tọa độ trọng tâm chính xác của vật thể. Ngoài ra, thuật toán phân loại vật thể theo diện tích bề mặt và tỷ lệ khung hình bao quanh. Những vật phẩm đạt chuẩn kích thước sẽ được ghi nhận và lập tức đưa vào hàng đợi điều khiển gắp.

3.2. Thiết lập kết nối Socket TCP IP gửi tọa độ đến CFD Controller

Giao thức Socket TCP/IP đóng vai trò cầu nối thông tin liên tục giữa máy tính và robot Nachi. Máy tính đảm nhiệm vai trò máy chủ Server gửi dữ liệu tọa độ thời gian thực. Bộ điều khiển CFD Controller hoạt động như máy khách Client tiếp nhận các gói dữ liệu điều khiển. Cấu trúc dữ liệu gửi đi bao gồm tọa độ vị trí X, Y, Z và góc xoay Rz của vật thể. CFD Controller nhận chuỗi dữ liệu, tiến hành phân giải cú pháp và nạp giá trị vào biến vị trí. Robot tính toán động học nghịch để sinh quỹ đạo di chuyển trơn tru đến điểm cần gắp. Quy trình truyền nhận hai chiều đảm bảo phản hồi trạng thái hoàn thành trước khi chuyển sang chu kỳ mới.

IV. Đánh giá hiệu quả ứng dụng xử lý ảnh phân loại sản phẩm

Thử nghiệm thực tế tại phòng thí nghiệm HCMUTE chứng minh tính hiệu quả vượt trội của hệ thống tự động hóa này. Cánh tay robot Nachi MZ07 phối hợp nhịp nhàng với camera để gắp thả các vật thể có hình dạng khác nhau. Tỷ lệ nhận diện sản phẩm đạt độ chính xác cao ngay cả khi mẫu vật bị xoay nhiều hướng. Thời gian xử lý ảnh trung bình duy trì ở mức tối ưu cho từng chu kỳ hoạt động. Tốc độ phân loại đáp ứng trọn vẹn yêu cầu vận hành của các dây chuyền sản xuất công nghiệp cỡ nhỏ. Việc sử dụng giao tiếp Socket TCP/IP giúp hệ thống dễ dàng mở rộng sang các dòng robot công nghiệp khác. Nghiên cứu mang giá trị học thuật sâu sắc và có tính ứng dụng thực tiễn rất cao. Doanh nghiệp có thể áp dụng ngay mô hình này để tự động hóa khâu đóng gói và kiểm tra chất lượng linh kiện cơ khí. Kết quả đề tài khẳng định năng lực nghiên cứu ứng dụng công nghệ tự động hóa đỉnh cao của đội ngũ kỹ sư tương lai tại HCMUTE.

4.1. Tiềm năng triển khai phân loại trong sản xuất công nghiệp

Mô hình phân loại bằng thị giác máy tính giải quyết triệt để vấn đề thiếu hụt nhân lực trong các nhà máy. Dây chuyền hoạt động bền bỉ, liên tục 24/7 mà không suy giảm năng suất làm việc. Giải pháp ứng dụng hiệu quả trong ngành phân loại nông sản, linh kiện điện tử và dược phẩm. Khả năng phát hiện sai sót hình học tức thì giúp loại bỏ phế phẩm trước khi xuất xưởng. Chi phí lắp đặt hệ thống cạnh tranh hơn nhiều so với việc đầu tư cảm biến quang học đắt đỏ. Sự kết hợp giữa bộ xử lý mở OpenCV và robot đa trục mang lại tính tùy biến linh hoạt cho dây chuyền sản xuất đa dạng.

4.2. Định hướng tích hợp trí tuệ nhân tạo và học sâu tương lai

Hệ thống phân loại tại HCMUTE mở ra nhiều hướng phát triển chuyên sâu trong giai đoạn tiếp theo. Việc tích hợp các mô hình học sâu Deep Learning như YOLO sẽ giúp nhận diện vật thể phức tạp bị che khuất một phần. Thuật toán trí tuệ nhân tạo nâng cao năng lực phân loại dựa trên kết cấu bề mặt và khuyết tật vi mô. Ngoài ra, việc bổ sung camera 3D hoặc cảm biến độ sâu giúp robot ước lượng chính xác tư thế 6 bậc tự do của vật thể trong không gian. Sự kết hợp giữa cánh tay robot thông minh và điện toán đám mây cho phép giám sát dây chuyền sản xuất từ xa theo thời gian thực.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong xu thế phát triển của nền sản xuất công nghiệp hiện đại và bối cảnh Cách mạng Công nghiệp 4.0, nhu cầu tự động hóa các khâu phân loại sản phẩm, linh kiện và thiết bị cơ khí ngày càng gia tăng nhằm tiết kiệm thời gian, nhân lực và chi phí sản xuất. Tại các dây chuyền sản xuất và lắp ráp truyền thống, hệ thống băng chuyền thường được sử dụng để di chuyển các chi tiết từ máy trạm này sang máy trạm khác. Tuy nhiên, hạn chế lớn của quy trình truyền thống là băng chuyền bắt buộc phải dừng lại tại từng trạm trong một khoảng thời gian cố định để cơ cấu chấp hành hoặc công nhân thực hiện thao tác trước khi chuyển sang công đoạn tiếp theo. Thời gian dừng tích lũy này làm kéo dài chu kỳ làm việc và làm suy giảm hiệu suất chung của toàn bộ dây chuyền tự động.

Để giải quyết nhược điểm này, kỹ thuật bám bắt đối tượng trên băng chuyền (conveyor tracking) đã ra đời, cho phép cánh tay robot thực hiện các thao tác gắp, đặt và lắp ráp ngay khi băng tải vẫn đang vận hành liên tục. Nhờ tích hợp hệ thống thị giác máy tính, thông tin về vị trí và độ dịch chuyển biến thiên liên tục của vật thể trên băng tải được cập nhật theo thời gian thực tới bộ điều khiển robot. Đề tài khóa luận tốt nghiệp ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa tại Trường Đại học Sư phạm Kỹ thuật TP.HCM của nhóm tác giả Nguyễn Trường Thịnh và Ngô Triệu Vỹ tập trung nghiên cứu, xây dựng hệ thống phân loại sản phẩm kết hợp điều khiển robot công nghiệp Nachi MZ07 thông qua xử lý ảnh.

Mục tiêu nghiên cứu của đề tài được xác định gồm 4 nội dung trọng tâm:

1. Lắp ráp và vận hành hệ thống băng tải để vận chuyển các đối tượng mẫu.
2. Thiết kế và bố trí vị trí camera quan sát nhằm theo dõi đối tượng chuyển động.
3. Lập trình và điều khiển vị trí cánh tay robot để gắp thả vật thể với độ chính xác cao.
4. Xây dựng chương trình xử lý ảnh bằng thư viện OpenCV nhằm tối ưu hóa thuật toán nhận diện đối tượng dựa trên vận tốc và tọa độ vị trí.

Nhiệm vụ nghiên cứu cụ thể bao gồm:

1. Nghiên cứu cách vận hành bảng điều khiển (Teach Pendant) để điều khiển robot công nghiệp NACHI MZ07.
2. Tìm hiểu phương thức kết nối giữa PLC Mitsubishi và bộ điều khiển robot Nachi CFD.
3. Nghiên cứu các chuẩn truyền thông công nghiệp.
4. Nghiên cứu cấu trúc và chức năng của thư viện thị giác máy tính OpenCV.
5. Viết chương trình phát hiện đối tượng thông qua OpenCV.
6. Kết nối và truyền nhận dữ liệu giữa camera, máy tính xử lý và bộ điều khiển robot.
7. Xây dựng chương trình thiết lập giao thức truyền thông Socket qua mạng giữa bộ điều khiển robot và máy tính bằng OpenCV/Python.
8. Viết chương trình trích xuất và phát hiện đường biên (edges) của vật thể.
9. Viết chương trình truyền tọa độ bám bắt của vật thể đến robot theo thời gian thực.
10. Đánh giá và kiểm chứng hiệu năng hoạt động của hệ thống thực nghiệm.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình bám bắt tọa độ đối tượng chuyển động, thuật toán xử lý ảnh phân loại hình học và giải thuật điều khiển cánh tay robot công nghiệp 6 bậc tự do.
• Phạm vi không gian: Hệ thống thực nghiệm tại Trung tâm Đào tạo Khu Công nghệ cao TP.HCM (SHTP Training CNC zone), bao gồm mô hình băng chuyền mini, cánh tay robot Nachi MZ07, máy tính xử lý trung tâm và camera ghi hình.
• Phạm vi đối tượng phân loại: Đề tài giới hạn phân loại sản phẩm dựa trên hai dạng hình học phẳng cơ bản là hình tròn và hình vuông.
• Điều kiện vận hành: Băng chuyền chuyển động ở mức tốc độ cố định; hệ thống xử lý nhận diện từng vật thể di chuyển tuần tự qua vùng làm việc của camera.

---

Cơ sở lý thuyết và phương pháp

Nghiên cứu ứng dụng các khối kiến thức lý thuyết về thị giác máy tính, ma trận biến đổi tọa độ không gian và động học robot công nghiệp:

Khung lý thuyết và mô hình tính toán

• Mô hình hiệu chuẩn camera (Camera Calibration): Chuyển đổi tọa độ từ hệ quy chiếu mặt phẳng ảnh hai chiều (pixel) sang hệ tọa độ không gian thực ba chiều (World Coordinates). Mô hình xác định ma trận nội thông số $K$ thông qua tập ảnh mẫu chụp bàn cờ hiệu chuẩn, kết hợp vector dịch chuyển $t$ và ma trận xoay $R$ để xác lập ma trận chuyển đổi không gian $M_w$ theo công thức: $$M_w = R^{-1} (K^{-1} Z_{mp} - t)$$
• Thuật toán phát hiện góc Harris (Harris Corner Algorithm): Xác định các điểm góc của vật thể dựa trên sự biến thiên cường độ sáng $E(u, v)$ khi dịch chuyển cửa sổ quan sát $w(x, y)$ theo mọi hướng: $$E(u, v) \approx [u \ v] M \begin{bmatrix} u \ v \end{bmatrix}$$ Trong đó ma trận cấu trúc $M$ được tính toán từ các đạo hàm bậc nhất của ảnh theo hai phương $I_x$ và $I_y$. Bản chất góc được phân loại dựa trên độ lớn của hai giá trị riêng $\lambda_1, \lambda_2$ và chỉ số đánh giá điểm góc $R = \det(M) - k \cdot (\text{trace}(M))^2$.
• Biến đổi Hough cho đường tròn (Hough Circle Transform): Xác định các tham số của đối tượng hình tròn gồm tọa độ tâm $(x_{center}, y_{center})$ và bán kính $r$ theo phương trình đường tròn trong không gian tham số. Thư viện OpenCV triển khai thuật toán này qua phương pháp Hough Gradient gồm hai pha: xác định biên/tâm tiềm năng và tìm bán kính tối ưu.
• Thuật toán bám bắt KLT (Kanade-Lucas-Tomasi Tracking Algorithm): Theo dõi chuyển động của các điểm đặc trưng giữa các khung hình liên tiếp. Bằng cách tính ma trận đạo hàm không gian $I_x, I_y$ (sử dụng toán tử Sobel) và đạo hàm theo thời gian $I_t$, thuật toán thiết lập ma trận Jacobian $J$ và giải hệ phương trình tuyến tính $J \cdot \Delta P = -I_t$ bằng phương pháp bình phương cực tiểu (Least Squares) để cập nhật vị trí điểm ảnh $p_i(k+1) = p_i(k) + \Delta p_i$.
• Xác định tâm hình học đối tượng:
  • Đối với vật thể hình vuông: Xác định thông qua vùng quan tâm (ROI) với công thức tọa độ điểm giữa: $$center_x = (min_x + max_x) // 2$$ $$center_y = (min_y + max_y) // 2$$
  • Đối với vật thể hình tròn: Trích xuất trực tiếp tọa độ tâm và bán kính thông qua hàm cv2.HoughCircles sau khi đã tiền xử lý làm mờ và chuyển đổi sang ảnh mức xám.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp thiết kế kỹ thuật:

• Sử dụng phần mềm Matlab để tính toán ma trận tham số nội và ngoại của camera từ 15 ảnh chụp mẫu hiệu chuẩn.
• Sử dụng phần mềm đồ họa Paint để định vị tọa độ pixel thực tế của các điểm kiểm chứng, phục vụ việc đối chiếu khoảng cách không gian.
• Xây dựng phần mềm xử lý ảnh bằng ngôn ngữ lập trình kết hợp thư viện OpenCV trên máy tính cá nhân.
• Thiết lập kênh truyền thông mạng qua Socket TCP/IP để truyền gói dữ liệu tọa độ thời gian thực giữa máy tính và bộ điều khiển robot.

Nguồn dữ liệu

Dữ liệu nghiên cứu bao gồm luồng video thời gian thực từ camera quan sát đối tượng trên băng tải, tập dữ liệu 15 ảnh chụp phục vụ hiệu chuẩn nội/ngoại thông số hình học, cùng các bảng thông số kỹ thuật tiêu chuẩn của robot Nachi MZ07 và bộ điều khiển Nachi CFD do nhà sản xuất cung cấp.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc điều khiển phân tán gồm ba khối chức năng chính: Khối thị giác máy tính, Khối điều khiển trung tâm và Khối cơ cấu chấp hành.

Phân tích và lựa chọn cấu hình phần cứng

Nhóm tác giả tiến hành khảo sát, so sánh kỹ thuật giữa các phương án phần cứng trước khi tích hợp vào hệ thống:

Thành phần	Phương án khảo sát	Ưu điểm kỹ thuật	Nhược điểm kỹ thuật	Lựa chọn của đề tài
Cấu hình Robot	- Robot Delta (FANUC M-2iA) - Robot SCARA - Robot nối tiếp (Serial Robot - Nachi MZ07)	- Delta: Tốc độ và gia tốc cực cao. - SCARA: Chính xác cao (<10 micron), gọn nhẹ. - Serial: Không gian làm việc 3D linh hoạt, 6 bậc tự do, chịu tải tốt.	- Delta: Độ cứng vững thấp, chỉ gắp trên mặt phẳng. - SCARA: Tải trọng nhẹ (2–10 kg), bậc tự do hạn chế. - Serial: Cơ cấu nhiều khớp, tốc độ thấp hơn Delta.	Robot chuỗi Nachi MZ07: Đáp ứng khả năng định hướng vật thể đa chiều trong không gian ba chiều khi gắp từ băng tải.
Cơ cấu gắp (End-Effector)	- Kẹp cơ khí/khí nén - Giác hút chân không - Đầu hút nam châm điện	- Kẹp: Giữ tải lớn, kẹp chặt phôi đa dạng. - Chân không: Kết cấu đơn giản, hút tốt bề mặt phẳng. - Nam châm: Lực hút mạnh, dễ lắp đặt.	- Kẹp: Dễ va chạm, cần định hướng chính xác góc gắp. - Chân không: Yêu cầu bề mặt phôi nhẵn, gây ồn. - Nam châm: Chỉ dùng cho vật liệu có từ tính.	Giác hút chân không (Vacuum Gripper): Dùng giác hút DP-S25, van tạo chân không dòng ZU của hãng SMC do phôi mẫu dạng phẳng và nhẹ.
Cảm biến thị giác (Camera)	- Stereo Camera (MultiSense S7) - Camera ToF (Kinect V2) - Structured Light (Kinect V1) - Cảm biến LiDAR - Camera điện thoại (iPhone 8 Plus)	- Stereo: Giá thành vừa phải, dữ liệu giàu chi tiết. - ToF: Tốc độ cao (~20 fps), tạo bản đồ độ sâu tốt. - Structured Light: Đo sâu chính xác, tốc độ ~30 fps. - LiDAR: Quét 3D tầm xa, ít phụ thuộc ánh sáng. - Phone Camera: Tiện dụng, độ nét cao, truyền Wifi.	- Stereo: Tốn tài nguyên tính toán độ lệch. - ToF & Structured Light: Kém hiệu quả dưới ánh sáng mặt trời mạnh. - LiDAR: Chi phí cao, thiết bị cồng kềnh. - Phone Camera: Cần phần mềm bên thứ ba để truyền luồng ảnh.	Camera điện thoại kết nối không dây: Giải pháp thuận tiện cho việc lấy mẫu ảnh đầu vào truyền về máy tính xử lý mà không cần phần cứng chụp chuyên dụng đắt tiền.

Phương án bố trí góc nhìn camera

Đề tài so sánh hai phương án lắp đặt:

• Phương án Camera gắn trên tay robot (Eye-in-Hand): Ưu điểm là quan sát cận cảnh vật thể, không cần căn chỉnh lại khi di chuyển đế robot; tuy nhiên làm tăng quán tính tay máy, giảm tốc độ gắp và giới hạn góc nhìn bao quát toàn bộ băng chuyền.
• Phương án Camera cố định trên cao (Fixed Position): Đảm bảo trường quan sát rộng, tốc độ truyền hình ảnh ổn định, không gây rung lắc do chuyển động cơ học. Dù có nguy cơ tay robot che khuất vật thể ở một số thời điểm, phương án này được nhóm lựa chọn vì đáp ứng yêu cầu bám bắt vật thể di chuyển từ xa trước khi robot can thiệp.

Triển khai kết nối và điều khiển

• Bộ điều khiển Robot Nachi CFD: Cung cấp tổng cộng 64 cổng vào/ra số (gồm 32 cổng Digital Input và 32 cổng Digital Output) dùng để giao tiếp với các nút bấm, cảm biến hành trình, van khí nén và PLC Mitsubishi. Bộ điều khiển hỗ trợ các giao tiếp mở rộng như Ethernet/IP, CC-Link, DeviceNet và cổng mạng LAN tiêu chuẩn.
• Giao thức truyền thông Socket: Máy tính đóng vai trò là Client thực hiện xử lý ảnh từ luồng video, trích xuất tọa độ $(X, Y)$ của tâm vật thể. Bộ điều khiển CFD đóng vai trò là Server nhận chuỗi dữ liệu tọa độ qua kết nối TCP/IP chuẩn Ethernet.
• Tiến trình xử lý User Task: Trên bộ điều khiển Nachi CFD, một tác vụ nền (User Task) được kích hoạt song song với luồng điều khiển chính để liên tục lắng nghe cổng mạng, giải mã chuỗi tọa độ nhận được và nạp trực tiếp vào các biến vị trí chuyển động của cánh tay robot.
• Điều khiển cơ cấu hút: Tín hiệu đóng/ngắt giác hút chân không được thực hiện thông qua cổng Output số trên bộ điều khiển robot, kích hoạt van điện từ dòng SMC ZU để cấp hoặc ngắt áp suất âm tại đầu hút DP-S25.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài (Project Overview)

Chương 1 trình bày tính cấp thiết của việc hiện đại hóa khâu phân loại trong các dây chuyền sản xuất tự động. Tác giả phân tích chuyên sâu về hệ thống băng tải công nghiệp, các ứng dụng tiêu biểu của cánh tay robot kết hợp băng tải như đóng gói, kiểm tra chất lượng, phân loại rác tái chế và lắp ráp tự động. Đặc biệt, chương này trích dẫn nghiên cứu điển hình về hệ thống lắp ráp linh kiện điện thoại di động (bo mạch chính, màn hình, nắp lưng) dựa trên thị giác máy tính với các kỹ thuật hiệu chuẩn Zhang, hiệu chuẩn 4 điểm giữa băng tải - robot và thuật toán khớp mẫu template matching. Từ đó, các tác giả xác định mục tiêu tổng quát, 10 nhiệm vụ kỹ thuật và phạm vi triển khai của đề tài nghiên cứu.

Chương 2: Cơ sở lý thuyết (Theories)

Chương 2 mô tả chi tiết lưu đồ thuật toán tổng thể của hệ thống gồm 7 bước tuần tự:

1. Bước 1: Khởi tạo kết nối Socket giữa máy tính và bộ điều khiển robot, thiết lập các biến vị trí và trạng thái vào/ra (I/O).
2. Bước 2: Thu nhận khung hình từ camera, xử lý đường bao hình học và bám bắt các đối tượng hình vuông, hình tròn.
3. Bước 3: Truyền tọa độ và kiểm tra robot đã đạt tới vị trí đón bắt vật thể hay chưa.
4. Bước 4: Kích hoạt van hút chân không để gắp vật thể.
5. Bước 5: Điều khiển cánh tay máy đưa phôi về vị trí phân loại định trước.
6. Bước 6: Ngắt áp suất chân không để nhả vật thể.
7. Bước 7: Quét kiểm tra trạng thái vật thể trên băng tải để lặp lại chu trình hoặc kết thúc chương trình.

Chương này cũng trình bày chi tiết cơ sở toán học của thuật toán hiệu chuẩn camera bằng Matlab để xác định ma trận biến đổi $K$ từ 15 ảnh mẫu; công thức chuyển đổi từ pixel sang hệ tọa độ thực; thuật toán phát hiện biên Harris Corner; thuật toán nhận diện đường tròn Hough Circle và phương pháp bám bắt điểm ảnh KLT bằng ma trận Jacobian. Cuối cùng là các công thức giải tích xác định tâm hình học cho phôi vuông và phôi tròn bằng OpenCV.

Chương 3: Thiết kế hệ thống (System Design)

Chương 3 tập trung phân tích kỹ thuật các trang thiết bị phục vụ thiết kế hệ thống. Tác giả đánh giá chi tiết 3 nhóm robot công nghiệp (Delta Robot Fanuc M-2iA, SCARA Robot, Serial Robot Nachi MZ07) để đưa ra quyết định chọn robot chuỗi 6 bậc tự do Nachi MZ07 nhờ tính linh hoạt trong không gian 3 chiều.

Chương này phân tích các dạng cơ cấu gắp cuối (kẹp cơ khí, chân không, nam châm), tính toán lực hút và lựa chọn đầu hút khí nén DP-S25 kết hợp van chân không SMC ZU gắn trên mặt bích của robot.

Đối với hệ thống thu nhận hình ảnh, chương này so sánh các công nghệ cảm biến gồm Stereo Camera (MultiSense S7), Time-of-Flight (Microsoft Kinect V2), Structured Light (Microsoft Kinect V1), cảm biến LiDAR và camera điện thoại di động (iPhone 8 Plus).

Phần cuối của chương mô tả cấu hình phần cứng bộ điều khiển Nachi CFD với 64 cổng I/O số, cùng quy trình thiết lập truyền thông TCP/IP Socket và chương trình User Task điều khiển robot theo tọa độ nhận được.

Chương 4: Kết quả thực nghiệm (Experimental Result)

Chương 4 trình bày các kết quả thử nghiệm thực tế của mô hình:

• Kết quả thu nhận và xử lý ảnh từ hệ thống camera cố định đặt trên cao.
• Kết quả thực nghiệm thuật toán bám bắt vật thể hình vuông và hình tròn khi băng chuyền đang chuyển động.
• Dữ liệu đối chiếu sai lệch khoảng cách giữa tọa độ ảnh sau hiệu chuẩn và khoảng cách thực tế trong không gian qua Bảng 4.1.
• Dữ liệu sai số tuyệt đối giữa tọa độ tâm đối tượng nhận diện từ phần mềm và vị trí thực tế của phôi mẫu qua Bảng 4.2.
• Liên kết video ghi lại quá trình vận hành thực tế của robot gắp phôi từ băng tải đưa về khay chứa.
• Đánh giá tổng kết các giới hạn kỹ thuật của hệ thống và đề xuất các giải pháp nâng cấp.

---

Kết quả và đóng góp

Kết quả kỹ thuật đạt được

• Hiệu chuẩn hệ thống thị giác: Thông qua việc tính toán 15 ảnh bàn cờ mẫu bằng phần mềm Matlab, đề tài đã tính toán thành công ma trận nội thông số $K$ của camera: $$K = \begin{bmatrix} 515.1 & \dots & \dots \ \dots & \dots & \dots \ 0 & 0 & 1 \end{bmatrix}$$ Xác lập ma trận biến đổi tọa độ thế giới thực $M_w$, cho phép quy đổi khoảng cách giữa hai điểm ảnh mẫu trên phần mềm Paint có tọa độ $(178, 171)$ và $(215, 170)$ tương ứng với giá trị khoảng cách không gian thực nghiệm đo được là 53,3 mm.
• Xử lý ảnh và phân loại: Phần mềm ứng dụng thư viện OpenCV đã phân loại chính xác các phôi mẫu dạng hình vuông và hình tròn. Thuật toán xác định chính xác tâm hình học $(center_x, center_y)$ của vật thể dựa trên phép tính tọa độ cực trị và hàm cv2.HoughCircles.
• Tích hợp truyền thông và điều khiển: Thiết lập thành công kết nối Socket mạng TCP/IP truyền chuỗi dữ liệu tọa độ bám bắt từ máy tính xử lý sang bộ điều khiển Nachi CFD thông qua cổng mạng LAN; kích hoạt chuẩn xác tiến trình User Task để điều khiển chuyển động của 6 trục cánh tay robot Nachi MZ07 đồng bộ với quá trình đóng/ngắt van chân không SMC ZU.

Bảng số liệu thực nghiệm

Quá trình đo đạc sai số hệ thống được tác giả tổng hợp qua các bảng thông số trong văn bản:

Bảng thực nghiệm	Nội dung đo lường	Phát hiện kỹ thuật
Bảng 4.1	Sai lệch giữa khoảng cách tọa độ ảnh sau hiệu chuẩn và khoảng cách không gian thực tế	Đo lường độ sai lệch vị trí giữa các cặp điểm ảnh được hiệu chuẩn so với kích thước thực tế đo bằng thước chuẩn trong không gian thao tác.
Bảng 4.2	Sai số tuyệt đối của khoảng cách giữa tọa độ tâm đối tượng nhận diện và vị trí thực tế	Đánh giá độ chệch tọa độ của thuật toán phát hiện biên/tâm khi đối tượng nằm trên băng chuyền chuyển động so với vị trí tiếp xúc của đầu hút robot.

Đóng góp kỹ thuật của đề tài

1. Đã xây dựng thành công giải pháp thị giác máy tính chi phí thấp sử dụng thiết bị thu hình di động kết nối không dây để phục vụ quá trình nhận diện và bám bắt đối tượng trên băng tải, giảm thiểu nhu cầu đầu tư các hệ thống camera công nghiệp phức tạp trong mô hình đào tạo.
2. Xây dựng hoàn chỉnh chu trình điều khiển vòng kín kết hợp giữa thị giác máy tính (OpenCV/Python), máy tính xử lý trung tâm và bộ điều khiển robot công nghiệp chuyên dụng (Nachi CFD) qua giao thức mạng Socket công nghiệp mà không làm gián đoạn chuyển động của băng tải.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của hệ thống

• Hệ thống thực nghiệm mới chỉ phân loại được hai nhóm đối tượng hình học phẳng đơn giản (hình tròn và hình vuông), chưa mở rộng nhận diện các sản phẩm có biên dạng phức tạp hoặc bề mặt gồ ghề.
• Băng tải trong mô hình thực nghiệm chỉ vận hành ở một mức vận tốc cố định; hệ thống chưa tích hợp cảm biến đo vận tốc góc (encoder) chuyên dụng nối trực tiếp với bộ điều khiển CFD để tự động bù sai số khi băng tải thay đổi tốc độ đột ngột.
• Việc bố trí camera cố định trên cao đôi khi gặp hiện tượng cánh tay robot che khuất vùng nhận diện của camera khi robot di chuyển qua lại trong không gian quan sát.
• Giải pháp truyền luồng dữ liệu hình ảnh qua kết nối không dây từ điện thoại đôi lúc tồn tại độ trễ đường truyền, ảnh hưởng đến tính tức thời của thuật toán bám bắt khi tăng tốc độ băng chuyền.

Hướng nghiên cứu tiếp

• Nâng cấp thuật toán xử lý ảnh để phân loại các sản phẩm có biên dạng đa giác, phân loại theo màu sắc hoặc nhận diện vật thể bị đặt nghiêng, lệch góc so với mặt phẳng băng tải.
• Lắp đặt thêm encoder phần cứng tại trục động cơ băng chuyền để tích hợp module đọc xung chuyên dụng trên bộ điều khiển Nachi CFD, cho phép điều khiển bám bắt chính xác ở mọi dải tốc độ biến thiên.
• Nghiên cứu kết hợp hai camera hoặc phối hợp cấu hình camera cố định kết hợp cảm biến phụ trên tay máy để khắc phục hiện tượng che khuất điểm nhìn.
• Thay thế thiết bị ghi hình không dây bằng camera công nghiệp chuyên dụng giao tiếp chuẩn Gigabit Ethernet (GigE Vision) hoặc USB 3.0 nhằm triệt tiêu độ trễ truyền khung hình.

---

Giá trị tham khảo

Bản khóa luận tốt nghiệp là tài liệu tham khảo phù hợp cho sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành:

• Kỹ thuật Điều khiển và Tự động hóa.
• Kỹ thuật Cơ điện tử (Mechatronics).
• Kỹ thuật Robot (Robotics).
• Khoa học Máy tính và Thị giác Máy tính ứng dụng trong công nghiệp.

Các phần nội dung có giá trị tham khảo ứng dụng thực tế cao bao gồm:

• Phương pháp hiệu chuẩn camera: Toàn bộ quy trình 4 bước từ thu thập ảnh mẫu bàn cờ, xử lý ma trận nội/ngoại thông số bằng Matlab đến việc trích xuất ma trận biến đổi tọa độ thế giới thực $M_w$.
• Cấu hình truyền thông công nghiệp: Phương pháp thiết lập kết nối Socket TCP/IP giữa phần mềm thị giác trên PC và bộ điều khiển robot công nghiệp Nachi CFD, cùng cấu trúc chương trình User Task chạy nền để điều khiển chuyển động thời gian thực.
• Tài liệu khảo sát thiết bị phần cứng: Các phân tích so sánh chi tiết giữa các dòng robot (Delta, SCARA, Serial), các loại giác hút chân không và công nghệ cảm biến 3D (ToF, Stereo, Structured Light, LiDAR) đóng vai trò là cơ sở lựa chọn linh kiện cho các dự án tự động hóa tương tự.

---

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn Robot Nachi MZ07 thay vì Robot Delta hay Robot SCARA?

Mặc dù Robot Delta sở hữu tốc độ và gia tốc vượt trội còn SCARA có độ chính xác dưới 10 micron, đề tài yêu cầu cánh tay máy phải gắp và định hướng vật thể linh hoạt trong không gian 3 chiều (định vị cả tọa độ lẫn góc xoay trên mặt phẳng nghiêng). Do đó, cấu hình Serial Robot 6 bậc tự do của Nachi MZ07 được lựa chọn nhờ khả năng làm việc đa hướng trong không gian 3D, tải trọng phù hợp và tính ổn định cao trong môi trường công nghiệp.

2. Phương pháp hiệu chuẩn camera trong đồ án được thực hiện như thế nào để chuyển đổi pixel sang tọa độ thực?

Quá trình hiệu chuẩn được thực hiện qua 4 bước: (1) Thu thập 15 bức ảnh mẫu và xử lý trên Matlab để trích xuất ma trận nội thông số $K$; (2) Xác định các tham số nội và ngoại của cảm biến ảnh; (3) Tính toán ma trận biến đổi tọa độ thực $M_w$ theo công thức $M_w = R^{-1}(K^{-1}Z_{mp} - t)$; (4) Sử dụng phần mềm Paint xác định tọa độ pixel của hai điểm kiểm chứng $(178, 171)$ và $(215, 170)$ để đối chiếu khoảng cách không gian thực tế tính ra đạt 53,3 mm.

3. Hệ thống xử lý ảnh nhận diện và tính toán tâm đối tượng hình vuông và hình tròn bằng cách nào?

Nhóm tác giả sử dụng thư viện OpenCV:

• Đối với hình vuông: Thuật toán xác định đường bao (contour) và vùng quan tâm ROI, sau đó lấy trung bình cộng tọa độ cực đại và cực tiểu theo hai trục: $center_x = (min_x + max_x) // 2$ và $center_y = (min_y + max_y) // 2$.
• Đối với hình tròn: Ảnh được chuyển sang mức xám, áp dụng bộ lọc làm mờ và sử dụng hàm cv2.HoughCircles (dựa trên biến đổi Hough Gradient) để trích xuất trực tiếp tọa độ tâm $(x_{center}, y_{center})$ cùng bán kính $r$.

4. Dữ liệu tọa độ được truyền từ máy tính sang bộ điều khiển Robot Nachi CFD bằng giao thức nào?

Máy tính xử lý ảnh đóng vai trò là Client, gửi tọa độ tâm đối tượng qua giao thức mạng Socket TCP/IP thông qua cổng LAN Ethernet kết nối trực tiếp đến bộ điều khiển Nachi CFD (đóng vai trò Server). Trên bộ điều khiển, một tác vụ nền mang tên User Task được lập trình để liên tục đọc dữ liệu nhận được từ cổng Socket, gán giá trị vào các biến điều khiển và kích hoạt chương trình di chuyển của robot.

5. Cơ cấu gắp cuối (End-Effector) của robot sử dụng loại thiết bị nào và điều khiển ra sao?

Cơ cấu chấp hành cuối sử dụng giác hút chân không gồm đầu hút cao su DP-S25 kết hợp với cụm van hút chân không dòng ZU của hãng SMC. Cơ cấu này được kích hoạt đóng/ngắt thông qua các chân Digital Output (thuộc cụm 32 ngõ ra của bộ điều khiển Nachi CFD) kết nối điều khiển rơ-le van khí nén.

---

Kết luận

Khóa luận tốt nghiệp đã hoàn thành việc nghiên cứu, thiết kế và chế tạo thành công mô hình phân loại sản phẩm trên băng chuyền kết hợp cánh tay robot công nghiệp Nachi MZ07 và thị giác máy tính. Thông qua các thuật toán xử lý ảnh trên nền tảng OpenCV, hệ thống có khả năng nhận dạng chính xác hai dạng hình học phôi mẫu, tính toán tọa độ tâm và truyền tín hiệu điều khiển qua mạng TCP/IP Socket tới bộ điều khiển CFD theo thời gian thực. Mặc dù còn một số hạn chế về dải tốc độ cố định của băng chuyền và sự phụ thuộc vào camera di động, kết quả thực nghiệm đã chứng minh tính khả thi của giải pháp conveyor tracking chi phí thấp trong tự động hóa công nghiệp.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY IMAGE PROCESSING APPLICATION FOR PRODUCT CLASSIFICATION AND ROBOT CONTROL INSTRUCTORDR.LE MY HA STUDENT: NGUYEN TRUONG THINH NGO TRIEU VY S K L 0 2 5 1 7 Ho Chi Minh City, JANUARY, 2024 MINISTRY OF EDUCATION & TRAINING HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY -----------------⸙∆⸙----------------- GRADUATION THESIS IMAGE PROCESSING APPLICATION FOR PRODUCT CLASSIFICATION AND ROBOT CONTROL Lecturer : Assoc. Le My Ha Student’s name : Nguyen Truong Thinh 18151038 Ngo Trieu Vy 19151091 HO CHI MINH CITY, JANUARY 6th , 2024 i HCMUTE FACULTY OF SOCIALIST REPUBLIC OF INTERNATIONAL EDUCATION VIETNAM AUTOMATION AND CONTROL INDEPENDENCE - FREEDOM – ENGINEERING TECHNOLOGY HAPPINESS …***… HCMC, January 6𝑡ℎ , 2024 GRADUATION PROJECT ASSIGNMENT Student’s name : Nguyen Truong Thinh ID: 18151038 Ngo Trieu Vy ID: 19151091 Class : 18151CLA2 & 19151CLA3 Major : Automation And Control Engineering Technology I. PROJECT NAME: Image Processing Application For Product Classification And Robot Control. TASKS Implementation Content: Content 1: Learn about using teach pendant to control the robot NACHI robot MZ07.

Content 2: Learn about the connection between Mitsubishi PLC and Nachi robot controller. Content 3: Learn about communication standards in the industry. Content 4: Learn about OpenCV. Content 5: Write a program for object detecting by OpenCV.

Content 6: Link and transfer data between camera and PC to control robot. Content 7: Write a program for creating the Socket communication between robot controller and PC by opencv. i Content 8: Write a program to detect the edges of an object. Content 9: Write a program for sending the tracked position of an object to the robot.

Content 11: Performance evaluation. DATE OF ASSIGNMENT: 21/8/2023. TASK COMPLETION DATE: 30/12/2023. INSTRUCTOR'S FIRST AND LAST NAME: Assoc.

Le My Ha. CHAIR OF THE PROGRAM ADVISOR (Sign with full name) (Sign with full name) ii HCMUTE FACULTY OF SOCIALIST REPUBLIC OF INTERNATIONAL EDUCATION VIETNAM AUTOMATION AND CONTROL INDEPENDENCE - FREEDOM – ENGINEERING TECHNOLOGY HAPPINESS …***… HCMC, January 6𝑡ℎ , 2024 ADVISOR’S EVALUATION SHEET Name of Student 1: Ngo Trieu Vy ID: 19151091 Name of Student 2: Nguyen Truong Thinh ID: 18151038 Major: Control and Automation Engineering Technology. Project title: Image Processing Application For Product Classification And Robot Control. Le My Ha.

Content and workload of the project: ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ 2. Approval for oral defense? (Approved or denied) ------------------------------------------------------------------------------------------------------------------ 5.) Ho Chi Minh City, .…/ 2024 ADVISIOR (Sign with full name) iv HCMUTE FACULTY OF SOCIALIST REPUBLIC OF INTERNATIONAL EDUCATION VIETNAM AUTOMATION AND CONTROL INDEPENDENCE - FREEDOM – ENGINEERING TECHNOLOGY HAPPINESS …***… HCMC, January 6𝑡ℎ , 2024 PRE-DEFENSE EVALUATION SHEET Name of Student 1: Ngo Trieu Vy ID: 19151091 Name of Student 2: Nguyen Truong Thinh ID: 18151038 Major: Control and Automation Engineering Technology. Project title: Image Processing Application For Product Classification And Robot Control. Le My Ha.

Content and workload of the project: ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ 2. Approval for oral defense? (Approved or denied) ------------------------------------------------------------------------------------------------------------------ 5. Reviewer questions for project valuation ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ 6.) Ho Chi Minh City, .…/ 2024 REVIEWER (Sign with full name) vi HCMUTE FACULTY OF SOCIALIST REPUBLIC OF INTERNATIONAL EDUCATION VIETNAM AUTOMATION AND CONTROL INDEPENDENCE - FREEDOM – ENGINEERING TECHNOLOGY HAPPINESS …***… HCMC, January 6𝑡ℎ , 2024 DEFENSE COMMITTEE MEMBER EVALUATION SHEET Name of Student 1: Ngo Trieu Vy ID: 19151091 Name of Student 2: Nguyen Truong Thinh ID: 18151038 Major: Control and Automation Engineering Technology. Project title: Image Processing Application For Product Classification And Robot Control.

Le My Ha. Content and workload of the project: ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ 2. Approval for oral defense? (Approved or denied) ------------------------------------------------------------------------------------------------------------------ 5. Reviewer questions for project valuation ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ 6.) Ho Chi Minh City, .…/ 2024 COMMITTEE MEMBER (Sign with full name) viii ACKNOWLEDGEMENTS First of all, we would like to thank the teachers in the University of Technology and Education of Ho Chi Minh City in general, and the teachers in the Faculty of Electrical and Electronics Engineering in particular, who taught us the knowledge of the subject as well as transition subjects, helping us to have a solid theoretical basis and creating conditions to help us throughout the learning process.

Completing this project was a long journey of 4 years at university and it was a blessing that we were finally able to complete it. We would like to sincerely thank the teachers in the Department of Mechanical Engineering, especially the teachers in the Mechatronics major who have taught me as well as my fellow students in the K18 course a student journey. We would like to send our sincere thanks to our guide, Associate Professor, PhD. Le My Ha is the teacher who enthusiastically guided and communicated to improve me throughout the process of implementing the project.

Sincere thanks to Mr. Do Tan Khoa, Mr. Tran Nguyen Hai. The people at the SHTP Training CNC zone training center provided equipment and necessary knowledge for me to use as a foundation to complete this project.

In particular, I would like to thank my friends and family members who supported me during this time. It is truly an extremely important and difficult milestone. The words of encouragement and support from behind have helped me step forward and given me more hope to complete it. Wishing all the current and future students of the K18 and K19 course many successes.

We sincerely thank you! Author Ngo Trieu Vy Nguyen Truong Thinh ix CONTENTS GRADUATION PROJECT ASSIGNMENT. i ADVISOR’S EVALUATION SHEET. iii PRE-DEFENSE EVALUATION SHEET. v DEFENSE COMMITTEE MEMBER EVALUATION SHEET.

ix LIST OF FIGURES. xiii LIST OF TABLES. xv CHAPTER 1: PROJECT OVERVIEW .1 Reason for this project: .2 Application of robot hand with conveyor system .1 Introduction to conveyor system .2 Application of robot arm with conveyor system .3 Example about a Robotic Automatic Assembly System Based on Vision [3] .4 Objective, task and scope of the thesis .3 Scope of topic implementation .3 Tracking Algorithm with Conveyor Belt.1 Harris corner algorithm [4] .2 Hough circle algorithm [5] .4 Determining Object Center Coordinate .1 The center of the square object.2 The center of the circular object. 36 CHAPTER 3: SYSTEM DESIGN .2 Time-of-Flight camera (ToF camera) .3 Structure light camera .4 PLC and CFD controller .5 Overview of Robot Nachi MZ07 .1 Forward kinetic analysis .2 Inverse kinematic analysis .3 Adjust the parameters of the initial tool .4 Robot motion options .6 Design of gripper end-effector .1 Calculation of gripping force .2 Fixture for the gripping tool head .7 Robot Nachi communication .1 Introduction to TCP/IP Communication Method with Nachi Robot .2 Introduction to Robot Communication and Control Program.

68 CHAPTER 4: EXPERIMENTAL RESULT .4 Experimental Results and Evaluation .2 Link to experimental video .2 The limitations of the thesis .3 The directions for future research. 79 xii LIST OF FIGURES Figure 1.1 Conveyor belts used in assembly lines .2 Manipulator in computer case assembly line .3 Robot sorts trash for recycling .5 Assembly process of the article .6 Process and steps of the assembly system .7 The calibration method used in the paper's system .8 The image processing method used in the article.9 Matching algorithm and assembly step of the article.10 Parameter table evaluates the results of the article .5 Camera in fixed position .6 Camera attached to the robot arm .7 Fixed position for the camera .8 The result after training yields coordinates (X, Y, Z) in real space.9 Processing input images using matlab .1 Delta Robot FANUC M-2ia .3 FANUC Robot Serial-Link .7 On field vaccuum gripper.8 3D Stereo Camera Multi Sense S7 .11 LIDAR sensor for AGV .15 Nachi Robot MZ07 .16 MZ07 working space .17 Coordinate system of manipulator axes .18 Parameters setting for tool head in Pendant .20 The symbol for a vacuum valve .21 Forces affecting the object .22 Suction cup DP-S25 .23 The vacuum suction cup valve ZU from the SMC brand.24 Pneumatic suction head Đài Loan .25 Flange surface for attaching the tool on Nachi MZ07 robot.27 TCP/IP Signal Transmission and Reception Process .28 User Task program.1 Overview of the system.3 Analyze the system's input and output.4 Tracking square object.5 Tracking circular object. 73 xiv LIST OF TABLES Table 3.1 Operating range of MELFA RV-4FR-R .2 Denavit-Hartenberg table .4 Type of interpolation .1 Discrepancy table between calibrated image coordinate distances and real- world spatial distances between two image points.2 The absolute error of the distance between the object's center coordinates and the actual position. 75 xv CHAPTER 1: Project Overview ______________________________________________ CHAPTER 1: PROJECT OVERVIEW 1.1 Reason for this project: Currently, with modernized industry, with the development of modern techniques, industry 4.0 needs to produce a lot of components or machinery, or in the commodity production industry, it is also necessary to modernization.

Classifying is an extremely essential step, to save time, effort and money, manufacturing manipulators to serve this need in industry has been widely developed. widely in our country. In traditional manufacturing assembly lines, conveyors are widely used to move components from one workstation to another. The conveyor must stop at each workstation for a specific amount of time and wait until the assembly operation is complete before the conveyor can move the components to another workstation.

Conveyor downtime accumulates and lengthens the entire assembly process. This causes a decrease in overall production efficiency, especially in automated assembly lines. To eliminate such drawback, the concept of conveyor tracking was developed to ensure consistent assembly line workflow by performing the assembly process while the conveyor belt is still running. [1] In a conveyor tracking system, the conveyor not only serves the purpose of material handling but also works in conjunction with the automation process.

Furthermore, the Conveyor robot tracking system is also capable of providing information about the continuously changing position of components on the conveyor belt to the robot controller through the use of vision system [2]. This thesis presents the use of the Nachi MZ07 robot of the Serial robot type combined with a camera system and conveyor belt to carry out the project.2 Application of robot hand with conveyor system 1.1 Introduction to conveyor system _______________________________________________________________________ Graduation Thesis 16 CHAPTER 1: Project Overview ______________________________________________ Conveyor systems are an important technology today and are widely used in many different industries. In general, conveyor systems have become an indispensable part of many modern industries, helping to optimize the moving and transportation process, increase efficiency and minimize labor costs. Technologies and designs are constantly being improved to meet the increasing demands in the modern world of manufacturing and logistics.1 Conveyor belts used in assembly lines 1.2 Application of robot arm with conveyor system Manipulators (industrial robots) combined with conveyor systems are a powerful combination in industry and have many useful applications.

Below are some examples of applications of manipulators with conveyor systems: • Automatic assembly system • Product handling and packaging • Mass production _______________________________________________________________________ Graduation Thesis 17 CHAPTER 1: Project Overview ______________________________________________ • Food industry • Quality check • Textile and garment industry Figure 1.2 Manipulator in computer case assembly line Figure 1.3 Robot sorts trash for recycling _______________________________________________________________________ Graduation Thesis 18 CHAPTER 1: Project Overview ______________________________________________ Overall, the combination of manipulators and conveyor systems brings many benefits in optimizing production and operating processes, enhancing efficiency and quality, and minimizing dependence on human workers in the production process. many different industries.3 Example about a Robotic Automatic Assembly System Based on Vision [3] The scientific article below presents the capabilities of robots in automatic phone assembly lines, the precise assembly capabilities of robots and the importance of maximizing the application of robots to optimize cost savings. fees instead of hiring labor. The article presents the process of assembling phone components and methods from tracking on conveyor to none tracking on conveyor, thereby providing comparisons and evaluations to choose the optimal method.