Bối cảnh và vấn đề nghiên cứu

Trong quy trình sản xuất và đóng gói vi mạch bán dẫn hiện đại, khâu kiểm tra chất lượng linh kiện (Chip/IC) đóng vai trò then chốt nhằm loại bỏ các sản phẩm lỗi trước khi xuất xưởng hoặc gắn lên bo mạch in. Việc thực hiện kiểm tra bằng mắt thường bộc lộ nhiều hạn chế nghiêm trọng: linh kiện có kích thước nhỏ, mật độ chân dày đặc khiến thị lực con người dễ mệt mỏi, độ tập trung giảm sút theo thời gian, dẫn đến sai sót và bỏ lọt lỗi. Bên cạnh đó, phương pháp thủ công đòi hỏi chi phí nhân công cao và không đáp ứng được tốc độ của các dây chuyền sản xuất tự động hóa tốc độ cao. Xuất phát từ thực tiễn này, việc kết hợp cánh tay robot công nghiệp với hệ thống kiểm tra quang học tự động (Automated Optical Inspection - AOI), trí tuệ nhân tạo (AI) và mạng lưới vạn vật kết nối (IoT) trở thành giải pháp kỹ thuật cần thiết.

Đồ án tốt nghiệp "Thiết kế và triển khai hệ thống kiểm tra Chip/IC tự động sử dụng robot SCARA với công nghệ AOI, AI và IoT" được thực hiện bởi nhóm sinh viên Lê Đình Học, Phạm Quang Hồng và Ngô Anh Tuấn, dưới sự hướng dẫn của TS. Nguyễn Văn Thái tại Bộ môn Tự động điều khiển, Khoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh (giai đoạn từ ngày 06/01/2025 đến ngày 10/06/2025).

Mục tiêu nghiên cứu tổng quát của đề tài là thiết kế, chế tạo và hoàn thiện một hệ thống robot SCARA 4 bậc tự do (4 DOF) tích hợp hệ thống thị giác máy tính và trí tuệ nhân tạo, có khả năng tự động nhận diện vị trí, định hướng góc quay và phân loại lỗi của Chip/IC trên băng chuyền, đồng thời cho phép giám sát dữ liệu vận hành thời gian thực thông qua máy chủ web trên nền tảng IoT.

Các nhiệm vụ kỹ thuật cụ thể bao gồm:

  1. Thiết kế mô hình 3D và gia công chế tạo cánh tay robot SCARA cùng cơ cấu băng tải cấp phôi.
  2. Thiết kế hệ thống điện động lực, mạch điều khiển và lập trình điều khiển chuyển động cho robot SCARA 4 bậc tự do.
  3. Xây dựng thuật toán xử lý ảnh và triển khai các mô hình học sâu nhằm phát hiện, định vị linh kiện và nhận diện khuyết tật ngoại quan của Chip/IC.
  4. Thiết kế giao diện đồ họa người dùng (GUI) phục vụ vận hành tại chỗ và xây dựng giao diện máy chủ web giám sát từ xa qua giao thức truyền thông mạng.
  5. Tích hợp toàn diện phần cứng, giải thuật thị giác và hệ thống truyền thông để vận hành đồng bộ hệ thống theo thời gian thực.

Phạm vi và giới hạn của đề tài được tác giả xác định rõ trong văn bản:

  • Phạm vi cơ khí: Kết cấu cơ khí của cánh tay robot còn hiện tượng rung lắc nhất định, gây ra sai số vị trí khi hoạt động liên tục trong thời gian dài.
  • Phạm vi xử lý ảnh: Hệ thống tập trung phân loại các lỗi ngoại quan bề mặt nhìn thấy được gồm trầy xước, sứt mẻ thân vỏ và gãy/mất chân chip; không giải quyết các dạng lỗi vi mạch bên trong hoặc lỗi cấu trúc bán dẫn phức tạp.
  • Phạm vi truyền thông và phần mềm: Chất lượng hình ảnh và độ trễ truyền dữ liệu khi phát trực tiếp lên máy chủ web chưa đạt mức tối ưu tuyệt đối; giao diện điều khiển và giám sát dừng lại ở mức mô hình thực nghiệm, chưa tích hợp hệ thống xác thực tài khoản và các lớp bảo mật chuyên sâu.

Cơ sở lý thuyết và phương pháp

Đề tài vận dụng tổng hợp nền tảng lý thuyết điều khiển robot, cơ điện tử, thị giác máy tính và kỹ thuật truyền thông IoT:

  • Lý thuyết động học robot: Cánh tay robot SCARA (Selective Compliance Assembly Robot Arm) có cấu trúc 4 bậc tự do, hoạt động trong không gian làm việc hình trụ. Chuyển động của robot được mô hình hóa toán học thông qua phương pháp tham số Denavit – Hartenberg (DH) để thiết lập hệ tọa độ cho từng khâu khớp. Từ bảng thông số DH, hệ phương trình động học thuận (Forward Kinematics - FK) được thiết lập nhằm xác định vị trí và hướng của khâu tác động cuối (end-effector) từ các góc quay và khoảng dịch chuyển khớp. Phương trình động học nghịch (Inverse Kinematics - IK) được giải bằng phương pháp giải tích hình học để tính ngược góc xoay và độ dịch chuyển của các khớp từ tọa độ không gian làm việc yêu cầu.
  • Kỹ thuật chuyển đổi tọa độ thị giác - robot: Nhóm tác giả sử dụng điểm chuẩn ArUco Marker để hiệu chuẩn camera, từ đó thiết lập ma trận biến đổi tọa độ giữa hệ quy chiếu camera {C'} và hệ quy chiếu gốc của robot {R}, kết hợp tính toán góc lệch giữa vị trí gắp trên băng tải và vị trí thả vào khay chứa.
  • Cơ sở xử lý ảnh và trí tuệ nhân tạo:
    • Thư viện OpenCV: Đảm nhận các tác vụ tiền xử lý ảnh số gồm lọc nhiễu, chuyển đổi không gian màu, cân bằng lược đồ độ sáng (histogram), các phép biến đổi hình học (xoay, cắt vùng quan tâm - ROI, phép biến đổi Affine/Perspective) và vẽ hiển thị trực quan các trục định vị.
    • Thuật toán YOLOv11 OBB (Oriented Bounding Box): Mở rộng từ mạng nơ-ron tích chập (CNN) kết hợp các khối transformer và cơ chế attention để phát hiện vật thể dạng khung xoay nghiêng. Thuật toán trích xuất chính xác tọa độ tâm $(x, y)$, chiều dài, chiều rộng và góc xoay $(\theta)$ của linh kiện trên mặt phẳng băng tải, hỗ trợ vẽ trục định hướng X-Y để robot tự động xoay cổ tay điều chỉnh góc gắp.
    • Thuật toán PaddleOCR: Sử dụng cấu trúc phát hiện văn bản DBNet và nhận dạng ký tự CRNN để trích xuất chuỗi ký tự mã sản phẩm khắc trên bề mặt IC (IC marking), qua đó phát hiện các lỗi in mờ, in sai mã hoặc mất ký tự.
  • Nền tảng điều khiển phần cứng và truyền thông IoT:
    • Vi điều khiển ESP32: Trang bị bộ vi xử lý lõi kép Xtensa 32-bit LX6 với xung nhịp lên đến 240 MHz, bộ nhớ SRAM 520 KB, hỗ trợ kết nối không dây Wi-Fi chuẩn 802.11 b/g/n và Bluetooth v4.2 BLE, hỗ trợ các ngoại vi UART, PWM, SPI, ADC.
    • Giao thức WebSocket (RFC 6455): Duy trì kết nối hai chiều liên tục qua cổng mạng TCP tiêu chuẩn (cổng 80), cho phép truyền nhận dữ liệu thời gian thực giữa máy tính điều khiển trung tâm, vi điều khiển ESP32 và máy chủ web với độ trễ thấp.
    • Dịch vụ đám mây Firebase (Google): Sử dụng hệ cơ sở dữ liệu thời gian thực (Firebase Realtime Database / Cloud Firestore) để lưu trữ và đồng bộ hóa lịch sử kiểm tra, trạng thái linh kiện.

Phương pháp nghiên cứu thực tế bao gồm phương pháp nghiên cứu lý thuyết (tính toán giải tích động học, mô phỏng không gian làm việc 2D/3D) và phương pháp thực nghiệm (chế tạo phần cứng, hiệu chuẩn camera quang học, lập trình nhúng điều khiển động cơ bước qua driver, thử nghiệm độ chính xác gắp đặt và độ chính xác phân loại lỗi dưới các điều kiện chiếu sáng khác nhau).

Thiết kế và triển khai

Hệ thống được thiết kế hoàn chỉnh từ cơ khí, mạch điều khiển động lực đến phần mềm điều khiển và thị giác máy tính:

Cấu trúc cơ khí và thiết bị phần cứng

Cánh tay robot SCARA được thiết kế trên phần mềm SolidWorks với cấu hình 4 bậc tự do cụ thể:

  • Khớp 1: Khớp xoay quanh trục thẳng đứng, điều khiển hướng của cánh tay thứ nhất.
  • Khớp 2: Khớp tịnh tiến theo trục Z, thực hiện nâng hạ cơ cấu gắp với hành trình thẳng đứng.
  • Khớp 3: Khớp xoay ngang, điều khiển góc của cánh tay thứ hai.
  • Khớp 4: Khớp xoay cổ tay, đảm nhận chức năng điều chỉnh góc xoay của giác hút để đồng bộ với góc nghiêng của linh kiện.

Cơ cấu kẹp hút sử dụng phương pháp hút chân không với bơm hút không khí mini kết hợp đầu hút cao su nhằm đảm bảo gắp giữ chip an toàn, không làm hỏng chân IC. Băng tải cấp phôi được kéo bởi động cơ DC thông qua bộ truyền động cơ khí. Hệ thống điện sử dụng bộ nguồn công nghiệp Omron S8JC-Z10024CD (24V DC), ổ cắm công tắc AC-01A (250V - 10A), dàn driver điều khiển động cơ bước TB6600 cho 4 trục robot và mạch điều khiển công suất L298 cho động cơ băng tải.

Thiết bị / Thành phần Mã hiệu / Quy cách Chức năng kỹ thuật trong hệ thống
Khâu xử lý trung tâm Máy tính PC / Laptop Chạy thuật toán AI, xử lý ảnh, điều phối hệ thống và GUI
Khâu điều khiển nhúng ESP32-WROOM-32D Phát xung điều khiển động cơ bước, điều khiển bơm hút và van khí
Động cơ trục 1, 2, 3, 4 Động cơ bước (Stepper Motor) Dẫn động các khớp xoay và khớp tịnh tiến của robot SCARA
Driver động cơ bước TB6600 Khuếch đại công suất và điều khiển vi bước cho 4 động cơ bước
Động cơ băng tải Động cơ điện một chiều (DC Motor) Dẫn động băng chuyền cấp phôi IC
Driver động cơ DC Mạch cầu H L298 Điều khiển đóng/ngắt và tốc độ động cơ băng tải
Nguồn cấp DC Omron S8JC-Z10024CD (24V) Cung cấp nguồn 24V DC ổn định cho toàn bộ driver và thiết bị
Camera kiểm tra lỗi (Cam 1) ELP 5MP CMOS OV5640 Cảm biến 1/4 inch, USB 2.0 UVC, độ phân giải 2592x1944, chụp cận cảnh kiểm tra lỗi ngoại quan chip
Camera định vị (Cam 2) Basler puA1920-30uc Cảm biến MT9P031, USB 3.0 Vision, 2MP (1920x1080), 30 fps, ngàm CS-mount, định vị tọa độ và góc xoay
Cơ cấu gắp Bơm chân không & van khí Hút giữ và nhả linh kiện IC bằng áp suất âm

Kiến trúc phần mềm và giải thuật điều khiển

Phần mềm hệ thống được phát triển trên môi trường Visual Studio Code và Qt Creator, chia thành các phân hệ chính:

  • Phân hệ thị giác máy tính: Hoạt động với hai camera độc lập. Camera 1 (ELP 5MP) chụp ảnh linh kiện tại trạm kiểm tra ngoại quan; ảnh được chuyển vào mô hình YOLOv11 OBB và thuật toán trích xuất đặc trưng OpenCV để nhận diện vết mẻ, xước, cong vênh/mất chân, sau đó chuyển qua PaddleOCR để đọc chuỗi ký tự bề mặt. Camera 2 (Basler puA1920-30uc) chụp bao quát vùng băng tải và khay chứa, nhận diện phôi, tính toán tọa độ tâm và góc quay lệch, áp dụng ma trận chuyển đổi tọa độ từ camera sang tọa độ gốc của robot thông qua ArUco Marker.
  • Phân hệ điều khiển chuyển động: Chương trình nhúng trên ESP32 tiếp nhận tọa độ đích và góc xoay từ máy tính qua WebSocket, kích hoạt giải thuật điều khiển xung cho 4 driver TB6600, phối hợp các khớp chuyển động nội suy tuyến tính đưa đầu hút tới vị trí chip, kích hoạt rơ-le bơm hút, nâng chip lên và di chuyển thả vào ô phân loại tương ứng (đạt chuẩn hoặc lỗi).
  • Phân hệ giao diện điều khiển và máy chủ web: Giao diện phần mềm Qt (máy tính) cung cấp hai chế độ vận hành MANUAL (điều khiển độc lập từng khớp, đóng/ngắt bơm hút thủ công) và AUTO (vận hành tự động theo chu trình khép kín). Giao diện webserver giám sát hiển thị thông số tọa độ, luồng ảnh kiểm tra, bảng dữ liệu thống kê số lượng chip đạt chuẩn/hỏng và kết nối đồng bộ cơ sở dữ liệu Firebase.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 trình bày tính cấp thiết của đề tài trong bối cảnh tự động hóa công nghiệp bán dẫn, phân tích ưu điểm nổi bật về tốc độ và độ linh hoạt của robot SCARA 4 bậc tự do so với robot 6 trục truyền thống trong các tác vụ lắp ráp và gắp đặt (pick-and-place). Tác giả xác lập rõ ràng mục tiêu nghiên cứu, các giới hạn kỹ thuật của hệ thống thực nghiệm, đối tượng khảo sát và tiến độ triển khai đồ án trong khung thời gian 16 tuần từ ngày 06/01/2025 đến ngày 10/06/2025 tại Trường Đại học Sư phạm Kỹ thuật TP.HCM.

Chương 2. Cơ sở lý thuyết

Chương này tổng hợp các kiến thức chuyên ngành liên quan trực tiếp đến hệ thống:

  • Phân tích cấu trúc cơ học, ưu điểm và ứng dụng của cánh tay robot SCARA trong công nghiệp đóng gói và hàn linh kiện bán dẫn.
  • Giới thiệu cấu trúc phần cứng vi điều khiển ESP32 với bộ xử lý Xtensa 32-bit LX6 lõi kép (tốc độ 240 MHz, ROM 448 KB, SRAM 520 KB, bộ nhớ Flash ngoài 4MB/8MB), các chế độ tiết kiệm năng lượng (Active, Modem Sleep, Light Sleep, Deep Sleep) và hệ thống ngoại vi GPIO, PWM, UART.
  • Trình bày nguyên lý hoạt động của động cơ DC và động cơ bước (cấu tạo rotor nam châm vĩnh cửu, stator rãnh từ, khả năng giữ mô-men không cần phản hồi).
  • Khảo sát thông số kỹ thuật của hai module camera: camera ELP 5MP cảm biến OmniVision OV5640 chuẩn giao tiếp USB 2.0 UVC và camera công nghiệp Basler puA1920-30uc sử dụng cảm biến CMOS ON Semiconductor MT9P031 kích thước 1/3.2 inch, chuẩn USB 3.0 Vision, hỗ trợ bộ phần mềm pylon.
  • Trình bày cơ sở thuật toán xử lý ảnh gồm thư viện OpenCV, thuật toán nhận diện vật thể có định hướng YOLOv11 OBB (sử dụng bounding box xoay) và hệ thống nhận diện ký tự quang học PaddleOCR (DBNet và CRNN).
  • Giới thiệu các công cụ phát triển phần mềm (VS Code, PlatformIO, Qt framework), nguyên lý giao thức truyền thông WebSocket hai chiều (RFC 6455) và giải pháp lưu trữ đám mây Firebase (Realtime Database và Cloud Firestore).

Chương 3. Thiết kế và thi công hệ thống

Chương 3 tập trung vào quá trình hiện thực hóa mô hình từ bản vẽ thiết kế đến lắp ráp hoàn thiện:

  • Thiết kế mô hình 3D trên phần mềm SolidWorks: bố trí không gian hình học cánh tay robot SCARA, băng tải cấp phôi, giá đỡ camera, tủ điện và các khay chứa sản phẩm phân loại.
  • Chế tạo phần cứng cơ khí: lắp ráp 4 bậc tự do của robot (khớp 1 xoay, khớp 2 tịnh tiến Z, khớp 3 xoay, khớp 4 xoay) và hoàn thiện cơ cấu hút vật bằng giác hút chân không kết nối bơm khí.
  • Thiết kế hệ thống điện: xây dựng sơ đồ khối tổng quát, sơ đồ kết nối dây giữa ESP32, bộ nguồn Omron S8JC-Z10024CD 24V, 4 driver TB6600, mạch cầu H L298 điều khiển động cơ băng tải và hệ thống cảm biến quang.
  • Lắp đặt tủ điện điều khiển, hệ thống công tắc nguồn AC-01A và giá gá đặt hai camera (Camera 1 kiểm tra bề mặt chip, Camera 2 định vị tọa độ trên băng tải).

Chương 4. Giải thuật và chương trình

Nội dung chương 4 giải quyết các bài toán toán học và thuật toán điều khiển:

  • Thiết lập hệ trục tọa độ cho cánh tay robot SCARA theo quy tắc Denavit – Hartenberg, lập bảng thông số DH và xây dựng hệ phương trình tính toán động học thuận (FK) cùng động học nghịch (IK).
  • Phân tích và mô phỏng không gian làm việc của robot ở dạng 2D và 3D.
  • Xây dựng các lưu đồ giải thuật hoàn chỉnh: lưu đồ vận hành tự động AUTO, lưu đồ xử lý ảnh của Camera 1 phát hiện lỗi ngoại quan, lưu đồ Camera 2 nhận diện tọa độ gắp bằng YOLOv11 OBB, và lưu đồ trao đổi dữ liệu máy chủ qua giao thức WebSocket.
  • Thiết lập thuật toán nhận diện mốc ArUco Marker, tính toán ma trận chuyển đổi từ hệ tọa độ camera {C'} sang hệ tọa độ robot {R} và giải thuật tính toán góc lệch giữa vị trí gắp linh kiện và vị trí đặt vào khay.

Chương 5. Vận hành hệ thống và kết quả thực nghiệm

Chương 5 ghi nhận toàn bộ dữ liệu đo đạc, kiểm chứng và thử nghiệm hệ thống trong thực tế:

  • Triển khai và kiểm tra hoạt động của hai chế độ điều khiển trên giao diện đồ họa Qt: chế độ MANUAL (vận hành từng trục) và chế độ AUTO (hoạt động tự động toàn trình).
  • Kiểm chứng mô phỏng và thực nghiệm động học thuận tại các bộ thông số khớp cụ thể:
    • Cấu hình 1: $\theta_1 = 45^\circ$, $D_2 = 10\text{ mm}$, $\theta_3 = 45^\circ$.
    • Cấu hình 2: $\theta_1 = -60^\circ$, $D_2 = 15\text{ mm}$, $\theta_3 = 30^\circ$.
    • Cấu hình 3: $\theta_1 = 90^\circ$, $D_2 = -20\text{ mm}$, $\theta_3 = -60^\circ$.
  • Kiểm chứng mô phỏng và thực nghiệm động học nghịch tại các tọa độ đích: vị trí $(277, 127, -50)$, vị trí $(230, -90, -40)$, vị trí $(200, 50, -10)$; kiểm nghiệm hai bộ nghiệm động học nghịch (BN1 và BN2) tại các điểm $(60, -250, -90)$, $(250, -150, -70)$ và $(230, 100, -70)$.
  • Đánh giá khả năng xử lý ảnh của Camera 1: nhận diện phân loại chính xác các mẫu chip đạt chuẩn, chip lỗi loại 1 và 3 (trầy xước, mất chân), chip lỗi loại 1 và 2 (trầy xước, sứt mẻ bề mặt).
  • Đánh giá khả năng định vị của Camera 2 trong hai điều kiện môi trường: đủ ánh sáng và thiếu ánh sáng.
  • Vận hành kiểm nghiệm tổng thể hệ thống kết nối máy chủ web, xác nhận khả năng phối hợp đồng bộ giữa băng tải, hệ thống camera xử lý ảnh và cánh tay robot SCARA.

Chương 6. Kết luận và hướng phát triển

Chương cuối cùng tổng kết các hạng mục đã hoàn thành của đồ án tốt nghiệp, chỉ ra các tồn tại về mặt rung lắc cơ khí và độ trễ truyền dữ liệu webserver, đồng thời đề xuất các hướng mở rộng kỹ thuật cho các giai đoạn nghiên cứu tiếp theo.

Kết quả và đóng góp

Đồ án đã chế tạo thành công mô hình thực nghiệm và kiểm chứng hoạt động thông qua các số liệu đo đạc cụ thể trong văn bản:

Kết quả kiểm chứng động học robot

Các tính toán lý thuyết động học thuận và động học nghịch khớp hoàn toàn với kết quả mô phỏng và vị trí thực nghiệm của robot SCARA:

  • Động học thuận: Xác nhận độ trùng khớp giữa tọa độ đầu cuối thực tế và giá trị giải tích khi robot quay các góc $\theta_1 = 45^\circ$, $D_2 = 10\text{ mm}$, $\theta_3 = 45^\circ$; $\theta_1 = -60^\circ$, $D_2 = 15\text{ mm}$, $\theta_3 = 30^\circ$; và $\theta_1 = 90^\circ$, $D_2 = -20\text{ mm}$, $\theta_3 = -60^\circ$.
  • Động học nghịch: Cả hai bộ nghiệm cấu hình cánh tay trái (BN1) và cánh tay phải (BN2) đều được kiểm chứng thực tế tại các tọa độ $(60, -250, -90)\text{ mm}$, $(250, -150, -70)\text{ mm}$ và $(230, 100, -70)\text{ mm}$, robot đều di chuyển đầu hút đến đúng tâm phôi.

Kết quả kiểm nghiệm thị giác máy tính và phân loại

Hệ thống xử lý ảnh và nhận diện phân loại được kiểm tra qua nhiều mẫu thử nghiệm trong thực tế:

  • Camera 1 (ELP 5MP OV5640): Nhận diện chính xác chip đạt chuẩn và phát hiện thành công các mẫu chip lỗi ngoại quan gồm lỗi nứt mẻ thân vỏ, trầy xước bề mặt và mất chân IC; trích xuất rõ ràng chuỗi ký tự trên thân chip bằng PaddleOCR.
  • Camera 2 (Basler puA1920-30uc): Xác định tọa độ $(x, y)$ và góc xoay $\theta$ của phôi chip bằng YOLOv11 OBB. Thử nghiệm so sánh trong hai điều kiện ánh sáng cho thấy: trong điều kiện đủ ánh sáng, hệ thống đạt độ chính xác định vị và gắp đặt ổn định; trong điều kiện thiếu ánh sáng, camera vẫn nhận diện được vị trí nhưng xuất hiện sai số nhỏ ở khâu nhận diện góc xoay và biên dạng viền.

Đóng góp kỹ thuật của đề tài

  1. Triển khai thành công mô hình học sâu hiện đại YOLOv11 OBB kết hợp PaddleOCR vào bài toán kiểm tra linh kiện công nghiệp, cho phép xác định đồng thời cả vị trí, góc xoay nghiêng và nội dung ký tự trên thân chip.
  2. Xây dựng phương pháp chuyển đổi không gian tọa độ quang học sang tọa độ thực tế của robot SCARA 4 DOF sử dụng mốc ArUco Marker, cho phép robot tự động hiệu chỉnh góc gắp theo độ lệch thực tế của phôi trên băng tải.
  3. Thiết lập hệ thống điều khiển và giám sát phân tán, kết nối máy tính xử lý trung tâm, vi điều khiển ESP32 và máy chủ web thông qua giao thức thời gian thực WebSocket, đồng bộ trạng thái lưu trữ trên nền tảng đám mây Firebase.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các ghi nhận thực nghiệm trong báo cáo, nhóm tác giả nêu rõ các hạn chế tồn tại của hệ thống:

  • Kết cấu khung cơ khí của cánh tay robot SCARA tự chế tạo vẫn còn độ rung lắc nhất định trong quá trình tăng/giảm tốc độ, gây ảnh hưởng đến độ chính xác lặp lại khi vận hành liên tục ở vận tốc cao.
  • Khả năng kiểm tra khuyết tật ngoại quan của hệ thống hiện tại mới dừng ở các lỗi vật lý bề mặt (trầy xước, nứt mẻ, cong/mất chân chip); hệ thống hoàn toàn chưa có khả năng đo kiểm tính chất điện, đoản mạch hoặc phát hiện lỗi cấu trúc vi mạch bán dẫn bên trong.
  • Băng thông và độ trễ truyền hình ảnh trực tiếp từ camera lên giao diện máy chủ web giám sát chưa được tối ưu triệt để.
  • Giao diện giám sát webserver còn mang tính chất thử nghiệm, chưa được trang bị hệ thống phân quyền người dùng, quản lý tài khoản và các cơ chế bảo mật an toàn mạng.

Hướng nghiên cứu và phát triển tiếp theo được đề xuất:

  • Nâng cấp độ cứng vững cơ khí, thay thế các khớp truyền động bằng cụm giảm tốc chuyên dụng độ rơ thấp nhằm triệt tiêu rung lắc.
  • Mở rộng tập dữ liệu huấn luyện cho mô hình học sâu để phân loại thêm các dạng lỗi vi mô phức tạp hơn trên bề mặt bán dẫn.
  • Tối ưu hóa thuật toán nén luồng dữ liệu video truyền qua WebSocket để giảm thiểu độ trễ trên giao diện webserver.
  • Bổ sung module xác thực bảo mật tài khoản và phân quyền quản trị cho hệ thống giám sát IoT.

Giá trị tham khảo

Báo cáo đồ án tốt nghiệp này là tài liệu tham khảo hữu ích cho:

  • Sinh viên và học viên cao học thuộc các ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Cơ điện tử, Kỹ thuật Robot và Trí tuệ nhân tạo ứng dụng trong công nghiệp.
  • Nhóm nghiên cứu phát triển các hệ thống gắp đặt phân loại sản phẩm tự động (Pick-and-Place) kết hợp thị giác máy tính tốc độ cao.
  • Các nội dung kỹ thuật có giá trị tham khảo chuyên sâu bao gồm:
    • Phương pháp thiết lập bảng thông số DH và công thức giải thuật toán động học thuận/nghịch cho cánh tay robot SCARA 4 bậc tự do.
    • Quy trình ứng dụng mô hình YOLOv11 OBB (bounding box định hướng) kết hợp thư viện OpenCV và PaddleOCR để xử lý phôi có góc xoay bất kỳ.
    • Kỹ thuật hiệu chuẩn hệ tọa độ giữa camera công nghiệp và khâu tác động cuối của robot thông qua ArUco Marker.
    • Kiến trúc truyền thông thời gian thực giữa vi điều khiển ESP32 và máy tính chủ thông qua giao thức mạng WebSocket.

Câu hỏi thường gặp

Hệ thống sử dụng những loại camera nào và vai trò cụ thể của từng camera trong dây chuyền?

Hệ thống sử dụng hai camera với vai trò độc lập:

  1. Camera 1 là ELP 5MP CMOS OV5640 (chuẩn giao tiếp USB 2.0 UVC, độ phân giải 2592x1944) được bố trí cận cảnh tại trạm kiểm tra ngoại quan, đảm nhận nhiệm vụ chụp ảnh bề mặt chip để phát hiện vết nứt mẻ, trầy xước, mất chân và đọc mã khắc IC bằng PaddleOCR.
  2. Camera 2 là camera công nghiệp Basler puA1920-30uc (cảm biến CMOS ON Semiconductor MT9P031 1/3.2 inch, 2MP, tốc độ 30 fps, USB 3.0 Vision) được lắp đặt trên cao chụp bao quát băng chuyền, phục vụ thuật toán YOLOv11 OBB nhằm tính toán tọa độ $(x, y)$ và góc xoay định hướng để robot gắp chip.

Thuật toán nào được sử dụng để xác định góc xoay của linh kiện trên băng tải?

Hệ thống sử dụng mô hình học sâu YOLOv11 OBB (Oriented Bounding Box). Khác với các mô hình phát hiện vật thể dạng bounding box chữ nhật thẳng đứng thông thường, YOLOv11 OBB có khả năng trích xuất đồng thời tọa độ tâm, kích thước dài/rộng và góc quay nghiêng của linh kiện, từ đó vẽ trục định hướng X-Y giúp cánh tay robot SCARA xoay khớp cổ tay tương ứng để kẹp hút chính xác.

Động học robot SCARA trong đề tài được thiết lập và kiểm chứng như thế nào?

Động học robot được thiết lập bằng phương pháp Denavit – Hartenberg (DH) cho 4 khớp (khớp 1 xoay, khớp 2 tịnh tiến Z, khớp 3 xoay, khớp 4 xoay). Động học thuận được kiểm chứng thực nghiệm tại 3 cấu hình góc $(\theta_1, D_2, \theta_3)$ gồm: $(45^\circ, 10\text{ mm}, 45^\circ)$, $(-60^\circ, 15\text{ mm}, 30^\circ)$ và $(90^\circ, -20\text{ mm}, -60^\circ)$. Động học nghịch được kiểm chứng giải tích và thực nghiệm cho cả hai bộ nghiệm cánh tay trái (BN1) và cánh tay phải (BN2) tại các điểm tọa độ $(60, -250, -90)$, $(250, -150, -70)$ và $(230, 100, -70)\text{ mm}$.

Giao thức truyền thông nào được ứng dụng để liên lạc giữa máy tính xử lý và vi điều khiển điều khiển động cơ?

Hệ thống sử dụng giao thức truyền thông WebSocket (RFC 6455) chạy trên cổng TCP 80. Giao thức này cho phép duy trì kết nối hai chiều liên tục với độ trễ thấp giữa máy tính xử lý trung tâm (nơi chạy mô hình AI/Qt) với vi điều khiển ESP32 điều khiển phần cứng, đồng thời truyền dữ liệu trạng thái lên giao diện máy chủ web giám sát.

Phạm vi phát hiện khuyết tật của hệ thống giới hạn ở những loại lỗi nào?

Hệ thống chỉ tập trung phát hiện các dạng lỗi khuyết tật ngoại quan bề mặt cơ học nhìn thấy được của Chip/IC, bao gồm hiện tượng trầy xước lưng chip, sứt mẻ góc/vỏ và gãy hoặc mất chân tiếp xúc. Hệ thống không thực hiện kiểm tra các lỗi điện tích, đoản mạch hay các khuyết tật vật lý bên trong cấu trúc vi mạch bán dẫn.

Kết luận

Đồ án tốt nghiệp "Thiết kế và triển khai hệ thống kiểm tra Chip/IC tự động sử dụng robot SCARA với công nghệ AOI, AI và IoT" đã hoàn thành trọn vẹn các mục tiêu thiết kế, chế tạo phần cứng và xây dựng thuật toán điều khiển tích hợp. Nghiên cứu giải quyết thành công bài toán tự động hóa quy trình phân loại chip nhờ sự phối hợp đồng bộ giữa cánh tay robot SCARA 4 bậc tự do, thuật toán nhận diện vật thể xoay góc YOLOv11 OBB, thuật toán đọc ký tự PaddleOCR và giao thức truyền thông thời gian thực WebSocket trên vi điều khiển ESP32. Dù còn một số hạn chế về độ rung lắc cơ khí và chưa kiểm tra được lỗi vi mạch bên trong, đề tài đã xây dựng được một mô hình thực nghiệm hoàn chỉnh, có giá trị học thuật và thực tiễn cao trong lĩnh vực điều khiển tự động và thị giác máy tính công nghiệp.