Bối cảnh và vấn đề nghiên cứu

Trái cây là nguồn thực phẩm giàu dinh dưỡng và là mặt hàng nông sản có giá trị kinh tế quan trọng trên thị trường trong nước lẫn quốc tế. Cùng với sự mở rộng quy mô của các trang trại nông nghiệp, sản lượng thu hoạch ngày càng gia tăng, dẫn đến việc phân loại chất lượng và mức độ chín của trái cây tiêu tốn nhiều chi phí và nhân lực. Trong bối cảnh công nghiệp 4.0 và sự phát triển của trí tuệ nhân tạo, việc tự động hóa quy trình phân loại trở thành giải pháp thiết thực nhằm nâng cao giá trị thương phẩm, tối ưu hóa quy trình lưu trữ, phân phối và bảo đảm an toàn thực phẩm.

Các nghiên cứu trước đây về hệ thống phân loại sản phẩm bằng xử lý ảnh thường chỉ tập trung vào việc phân loại theo màu sắc đơn thuần mà chưa phát hiện được các sản phẩm bị lỗi hoặc chưa đánh giá được mức độ hư hại của quả. Để giải quyết các hạn chế đó, đề tài "Phân loại trái cây bằng mô hình phát hiện vật thể YOLO" của nhóm tác giả Nguyễn Văn Trường và Bùi Nam Phương (ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh, thực hiện tháng 6/2024 dưới sự hướng dẫn của ThS. Đặng Phước Hải Trang) đã được thực hiện.

Mục tiêu nghiên cứu của đề tài bao gồm 7 nhiệm vụ cụ thể:

  1. Nghiên cứu và nắm vững lý thuyết, kỹ thuật phát hiện và phân loại đối tượng.
  2. Xây dựng hoàn chỉnh hệ thống cơ điện tử có khả năng phân loại trái cây và đánh giá mức độ hư hại của từng loại quả.
  3. Đảm bảo hệ thống xử lý và vận hành ở tốc độ thời gian thực.
  4. Hiển thị kết quả nhận diện và phân loại trực quan lên màn hình.
  5. Điều khiển và điều chỉnh được tốc độ của băng chuyền vận chuyển.
  6. Thiết lập kết nối không dây và giao tiếp dữ liệu thông suốt giữa các khối thiết bị.
  7. Tích hợp nút nhấn dừng khẩn cấp nhằm bảo đảm an toàn kỹ thuật trong quá trình vận hành.

Đối tượng nghiên cứu chính của đề tài là các loại trái cây có giá trị kinh tế cao và mức độ tiêu thụ phổ biến gồm: quả táo, quả cam và quả chuối, cùng các đặc điểm hình học, màu sắc, độ chín và dấu hiệu hư hại bề mặt của chúng. Bên cạnh đó, đối tượng nghiên cứu còn bao gồm các công nghệ xử lý ảnh, mô hình học sâu phát hiện vật thể và các linh kiện phần cứng điều khiển tự động.

Phạm vi nghiên cứu tập trung vào việc ứng dụng công nghệ cảm biến quang, camera thu nhận hình ảnh, mô hình học sâu YOLOv8 kết hợp với vi điều khiển ESP32 và cơ cấu chấp hành khí nén/piston từ trên một mô hình băng chuyền mini trong môi trường thực nghiệm phòng lab.

Cơ sở lý thuyết và phương pháp

Đề tài xây dựng trên nền tảng lý thuyết về thị giác máy tính và mạng nơ-ron tích chập (CNN - Convolutional Neural Networks), trọng tâm là mô hình phát hiện đối tượng thời gian thực You Only Look Once (YOLO). Khác với các mạng phát hiện đối tượng hai bước (two-stage detectors) như R-CNN, Fast R-CNN hay Faster R-CNN vốn tạo vùng đề xuất trước rồi mới phân loại, YOLO là mạng một bước (one-stage detector) xử lý trực tiếp toàn bộ ảnh đầu vào để đồng thời dự đoán vị trí (Bounding box) và xác suất lớp đối tượng.

Các kỹ thuật nền tảng trong mô hình YOLO được tác giả phân tích và áp dụng bao gồm:

  • Kỹ thuật Grid Cell: Chia ảnh đầu vào thành lưới các ô vuông kích thước $S \times S$. Mỗi ô lưới chịu trách nhiệm dự đoán các vật thể có tâm rơi vào bên trong ô đó.
  • Anchor Box và hồi quy Bounding Box: Sử dụng các khung neo có kích thước định sẵn để dự đoán độ lệch tọa độ tâm $(b_x, b_y)$ và kích thước chiều rộng, chiều cao $(b_w, b_h)$ thông qua các hàm mũ và phép tịnh tiến:
    • $x = x_{Anchor} + b_x \cdot w_{Anchor}$
    • $y = y_{Anchor} + b_y \cdot h_{Anchor}$
    • $h = h_{Anchor} \cdot \exp(b_h)$
    • $w = w_{Anchor} \cdot \exp(b_w)$
  • Thuật toán phân cụm K-means: Tự động phân nhóm kích thước của các đối tượng trong tập dữ liệu huấn luyện để chọn ra tập Anchor box tối ưu.
  • Kỹ thuật Non-Max Suppression (NMS): Loại bỏ các hộp giới hạn trùng lặp dựa trên chỉ số Intersection over Union (IoU) và ngưỡng xác suất, chỉ giữ lại khung bao có độ tin cậy cao nhất cho mỗi đối tượng.
  • Hệ thống hàm mất mát (Loss Function): Kết hợp giữa Classification Loss (mất mát phân loại), Localization Loss (mất mát tọa độ vị trí theo giá trị chuẩn hóa offset) và Confidence Loss (mất mát độ tin cậy chứa vật thể).

Về phiên bản mô hình, đồ án sử dụng kiến trúc YOLOv8 (phát hành đầu năm 2023 bởi Ultralytics) với các cải tiến kỹ thuật nổi bật:

  • Mạng xương sống (Backbone) CSPDarknet53 tích hợp mạng CSPNet (Cross Stage Partial Network) giúp giảm tính toán trùng lặp và tối ưu luồng truyền gradient.
  • Mô-đun C2f (Channel to feature) thay thế CSPLayer, kết hợp đặc trưng mức cao với thông tin ngữ cảnh qua các kết nối tắt residual.
  • Khối SPPF (Spatial Pyramid Pooling Fast) giúp trích xuất và tổng hợp đặc trưng đa tỉ lệ với tốc độ xử lý nhanh.
  • Cấu trúc Decoupled Head phân tách riêng biệt nhánh hồi quy vị trí và nhánh phân loại lớp đối tượng; sử dụng hàm mất mát CIoU (Complete IoU Loss) và DFL (Dual Focal Loss) để xử lý đối tượng biến dạng và khắc phục hiện tượng mất cân bằng mẫu dữ liệu.
Thuật toán Độ chính xác (mAP) Tốc độ xử lý (FPS) Đặc điểm ứng dụng
Faster R-CNN Cao (87,69%) Thấp (7 FPS) Phát hiện đối tượng chính xác cao, ứng dụng nghiên cứu
SSD Trung bình (82,0%) Trung bình Cân bằng giữa tốc độ và độ chính xác
YOLOv3 Trung bình (80,17%) Cao (51 FPS) Phát hiện đối tượng thời gian thực, thiết bị di động

Mô hình phân lớp ở đầu ra của YOLOv8 kết hợp hai hàm kích hoạt với vai trò chuyên biệt:

Đặc điểm Hàm Sigmoid Hàm Softmax
Mục tiêu dự đoán Dự đoán "có vật thể" hay "không có vật thể" trong Grid cell Dự đoán nhãn lớp cụ thể của vật thể trong Grid cell
Giới hạn giá trị đầu ra Khoảng giá trị từ 0 đến 1 Khoảng giá trị từ 0 đến 1; tổng các xác suất bằng 1
Loại bài toán Phân loại nhị phân (Binary Classification) Phân loại đa lớp (Multi-class Classification)

Phương pháp nghiên cứu thực nghiệm được triển khai qua các bước: khảo sát thu thập ảnh thực tế của ba loại quả (táo, cam, chuối) ở hai trạng thái đạt chuẩn và hư hại; gán nhãn thủ công (annotation) tọa độ bounding box; huấn luyện mô hình YOLOv8 trên cơ sở chuyển giao học máy (transfer learning) từ bộ dữ liệu COCO (Common Objects in Context); thiết kế mạch phần cứng vi điều khiển, thi công mô hình cơ khí băng chuyền; và kiểm thử vận hành hệ thống trong các điều kiện chiếu sáng khác nhau.

Thiết kế và triển khai

Hệ thống phân loại trái cây được thiết kế theo cấu trúc cơ điện tử tích hợp giữa phần mềm thị giác máy tính và phần cứng điều khiển tự động:

  1. Khối cảm biến phát hiện: Sử dụng cảm biến quang tiệm cận hồng ngoại E18-D80NK lắp đặt tại đầu hành trình băng chuyền để nhận biết khi có trái cây di chuyển đến vị trí chụp ảnh.
  2. Khối thu nhận hình ảnh: Sử dụng module ESP32-Camera đặt tại buồng quan sát để thu thập hình ảnh của từng loại quả và truyền dữ liệu video/hình ảnh về máy tính xử lý.
  3. Khối xử lý trung tâm (Máy tính & AI): Máy tính chạy chương trình bằng ngôn ngữ lập trình Python, thư viện thị giác máy tính OpenCV và mô hình mạng nơ-ron YOLOv8 để thực hiện phát hiện loại trái cây (táo, cam, chuối) và phân tích tình trạng bề mặt (bình thường hay bị hư). Sau khi có kết quả, chương trình gửi lệnh điều khiển tới khối vi điều khiển và đồng bộ dữ liệu trạng thái qua Firebase Realtime Database.
  4. Khối vi điều khiển và chấp hành:
    • Vi điều khiển trung tâm ESP32 nhận tín hiệu ngắt từ cảm biến E18-D80NK và lệnh phân loại từ máy tính xử lý.
    • Cơ cấu đẩy phân loại sử dụng các piston từ (solenoid push-pull piston) model JF-0826B.
    • Mạch đệm công suất điều khiển piston sử dụng transistor hiệu ứng trường MOSFET FQP30N06L kết hợp cách ly quang Opto PC817 nhằm bảo vệ vi điều khiển khỏi xung điện áp ngược từ cuộn dây piston.
    • Băng chuyền mini được dẫn động bằng động cơ DC có khả năng điều chỉnh tốc độ di chuyển thông qua biến trở và các nút nhấn điều khiển trên mạch.
  5. Khối nguồn công suất: Sử dụng bộ nguồn xung 24V/20A cấp nguồn chính, sau đó hạ áp và ổn định thành nguồn 12V/DC và 5V/DC thông qua các mạch ổn áp sử dụng transistor công suất 2SD718 và 2SC5200 để cung cấp điện áp cho vi điều khiển, module camera, cảm biến quang và rơle/piston.
Tên linh kiện / Thiết bị Mã hiệu kỹ thuật Chức năng trong hệ thống
Vi điều khiển chính ESP32 NodeMCU Xử lý logic điều khiển, đọc cảm biến, kích hoạt piston
Module Camera ESP32-CAM Thu nhận luồng hình ảnh của trái cây trên băng chuyền
Cảm biến tiệm cận E18-D80NK Phát hiện vị trí vật thể di chuyển đến điểm kiểm tra
Cơ cấu gạt phân loại Piston từ JF-0826B Tác động lực đẩy trái cây vào khay chứa tương ứng
Transistor công suất MOSFET FQP30N06L Đóng cắt dòng điện điều khiển cho piston từ
Cách ly quang Opto PC817 Cách ly tín hiệu điều khiển giữa ESP32 và mạch công suất
Transistor ổn áp nguồn 2SD718 / 2SC5200 Mạch hạ áp và ổn dòng cung cấp nguồn 5V/DC và 12V/DC
Nguồn cấp tổng Nguồn xung 24V - 20A Cung cấp toàn bộ năng lượng cho hệ thống cơ điện tử

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày lý do chọn đề tài dựa trên nhu cầu thực tế về tự động hóa phân loại nông sản. Tác giả phân tích điểm mạnh và hạn chế của các giải pháp trước đây (như các hệ thống phân loại màu sắc nhưng không nhận diện được quả lỗi), xác định 7 mục tiêu kỹ thuật cần đạt được, giới hạn nghiên cứu (về môi trường chiếu sáng, tốc độ cơ khí, kết nối mạng), đối tượng nghiên cứu (táo, cam, chuối) và phương pháp luận triển khai đề tài.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp nền tảng toán học và cấu trúc kỹ thuật của mạng nơ-ron tích chập (CNN) và thuật toán YOLO từ phiên bản đầu tiên đến YOLOv8. Nội dung đi sâu phân tích nguyên lý chia lưới Grid Cell, cơ chế sinh Anchor Box, phép tính IOU, giải thuật NMS, ba thành phần của hàm Loss Function (Classification, Localization, Confidence). Đồng thời, chương này phân tích chi tiết cấu trúc mô-đun C2f, SPPF, hàm kích hoạt Sigmoid/Softmax, hàm mất mát CIoU/DFL của YOLOv8, vai trò của bộ dữ liệu chuẩn COCO và nền tảng lưu trữ đám mây Firebase Realtime Database.

Chương 3: Thiết kế hệ thống

Chương 3 trình bày chi tiết sơ đồ đặc tả yêu cầu, sơ đồ khối toàn hệ thống và thiết kế nguyên lý từng khối phần cứng. Tác giả tính toán và lựa chọn cụ thể các thông số linh kiện: vi điều khiển ESP32, module ESP32-Camera, cảm biến hồng ngoại E18-D80NK, mạch công suất MOSFET FQP30N06L điều khiển piston JF-0826B, tầng cách ly Opto PC817, cùng sơ đồ nguyên lý mạch nguồn 5V và 12V sử dụng transistor 2SD718 và 2SC5200. Phần thiết kế phần mềm xây dựng lưu đồ thuật toán cho vi điều khiển ESP32 và chương trình Python tích hợp OpenCV cùng mô hình YOLOv8.

Chương 4: Kết quả

Chương 4 công bố sản phẩm thực tế sau khi thi công, bao gồm bản vẽ layout và hình ảnh mạch in PCB hoàn thiện, mô hình băng chuyền hoàn chỉnh. Tác giả trình bày kết quả nhận diện và phân loại thời gian thực đối với quả cam, quả táo, quả chuối ở trạng thái đạt chuẩn và trạng thái bị hư hại. Chương này cũng trình bày các thử nghiệm vận hành hệ thống trong điều kiện môi trường có cường độ ánh sáng mạnh để đánh giá độ ổn định của thuật toán xử lý ảnh.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết toàn bộ các kết quả đạt được đối chiếu với mục tiêu đề ra ban đầu, nêu rõ các mặt hạn chế về phần cứng lẫn phần mềm của mô hình thử nghiệm và đề xuất các giải pháp kỹ thuật nhằm nâng cấp hệ thống trong các nghiên cứu tiếp theo.

Kết quả và đóng góp

Đồ án đã thiết kế và chế tạo thành công một hệ thống phân loại trái cây tự động hoàn chỉnh từ phần cứng cơ điện tử đến phần mềm thị giác máy tính:

  • Chế tạo hoàn chỉnh mô hình băng chuyền mini tích hợp cảm biến tiệm cận, camera thu hình và cơ cấu gạt phân loại sử dụng piston điện từ.
  • Thiết kế và gia công mạch in PCB tích hợp khối điều khiển vi xử lý ESP32, khối cách ly công suất và khối ổn áp nguồn 5V/12V hoạt động ổn định.
  • Huấn luyện thành công mô hình YOLOv8 trên tập dữ liệu trái cây thực tế, nhận diện chính xác ba loại quả phổ biến (táo, cam, chuối) và phát hiện được các trường hợp trái cây bị hư hỏng trên bề mặt.
  • Thiết lập cơ chế truyền thông không dây và đồng bộ trạng thái hoạt động giữa mô hình AI trên máy tính và vi điều khiển điều khiển chấp hành thông qua Firebase.

Đóng góp của đề tài so với các nghiên cứu trước đây là đã kết hợp thành công mô hình phát hiện vật thể học sâu hiện đại (YOLOv8) với phần cứng cơ điện tử để không chỉ phân loại chủng loại trái cây mà còn đánh giá được chất lượng hư hại của quả theo thời gian thực, khắc phục nhược điểm của các hệ thống cũ vốn chỉ dựa vào phân ngưỡng màu sắc đơn giản.

Hạn chế và hướng nghiên cứu tiếp

Theo công bố của nhóm tác giả trong văn bản, hệ thống còn tồn tại một số hạn chế kỹ thuật:

  • Phương thức điều khiển: Hệ thống mới chỉ hỗ trợ thao tác điều khiển thủ công trực tiếp thông qua các nút nhấn vật lý bố trí trên bo mạch, chưa tích hợp giao diện điều khiển và giám sát từ xa qua ứng dụng di động hoặc nền tảng web.
  • Môi trường vận hành: Độ chính xác của mô hình nhận diện phụ thuộc lớn vào cường độ ánh sáng môi trường; ánh sáng quá mạnh gây hiện tượng lóa trắng làm mất đặc trưng màu sắc của quả, trong khi ánh sáng quá yếu làm giảm khả năng nhận diện khuyết tật.
  • Hạ tầng truyền thông: Việc truyền nhận tín hiệu qua giao thức Firebase yêu cầu mạng Wi-Fi phải liên tục và ổn định, độ trễ mạng có thể ảnh hưởng đến tính đồng bộ của cơ cấu chấp hành.
  • Năng suất và góc quan sát: Mô hình chỉ sử dụng một camera cố định duy nhất và băng chuyền mini nên quy trình phân loại phải diễn ra tuần tự từng quả một, chưa thể kiểm tra đa góc độ toàn bộ bề mặt quả và chưa đạt tốc độ cao như dây chuyền công nghiệp.

Các hướng phát triển tiếp theo được đề xuất bao gồm: thiết kế buồng chụp ảnh kín có hệ thống đèn chiếu sáng tiêu chuẩn hóa; bổ sung nhiều góc camera hoặc cơ cấu xoay quả để kiểm tra toàn diện bề mặt; xây dựng Web Dashboard/Mobile App để quản lý sản lượng từ xa; và nâng cấp kết cấu cơ khí công nghiệp để tăng công suất phân loại liên tục.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên và học viên chuyên ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Kỹ thuật Máy tính, Tự động hóa, Cơ điện tử và Công nghệ Thông tin đang thực hiện các đề tài về thị giác máy tính ứng dụng và hệ thống nhúng.

Nội dung có giá trị tham khảo cao nhất nằm ở Chương 2 và Chương 3, bao gồm phương pháp xây dựng luồng dữ liệu huấn luyện YOLOv8, cách phối hợp giữa mô hình AI chạy trên máy tính với vi điều khiển ESP32 qua giao thức mạng, và thiết kế mạch công suất điều khiển tải cảm kháng (piston từ) có cách ly quang an toàn.

Câu hỏi thường gặp

1. Đồ án lựa chọn mô hình học sâu nào để nhận diện trái cây và lý do lựa chọn là gì? Đồ án lựa chọn mô hình YOLOv8 của Ultralytics. Lý do lựa chọn là YOLOv8 là kiến trúc mạng một bước (one-stage) có tốc độ xử lý thời gian thực vượt trội so với các mạng hai bước như Faster R-CNN, đồng thời cấu trúc mô-đun C2f và hàm mất mát CIoU/DFL giúp tăng cường độ chính xác khi phát hiện các đặc trưng khuyết tật nhỏ trên bề mặt quả.

2. Hệ thống có khả năng nhận diện và phân loại cụ thể những loại trái cây nào? Hệ thống nhận diện và phân loại ba loại trái cây phổ biến gồm quả táo, quả cam và quả chuối, đồng thời phân biệt được trạng thái đạt tiêu chuẩn và trạng thái bị hư hại của từng loại quả.

3. Vi điều khiển nào được sử dụng và đảm nhiệm những vai trò gì trong mô hình phần cứng? Hệ thống sử dụng vi điều khiển ESP32 (kết hợp module ESP32-Camera). ESP32 đảm nhiệm việc đọc tín hiệu từ cảm biến quang E18-D80NK để phát hiện vật thể, nhận tín hiệu phân loại từ chương trình Python qua kết nối không dây/Firebase, và xuất xung kích hoạt các tầng công suất MOSFET điều khiển piston gạt sản phẩm.

4. Khối chấp hành cơ khí thực hiện việc đẩy trái cây vào khay chứa bằng linh kiện gì? Khối chấp hành sử dụng các piston từ (solenoid piston) model JF-0826B. Để điều khiển đóng ngắt dòng điện cho cuộn hút của piston từ nguồn 12V/24V, hệ thống sử dụng transistor công suất MOSFET FQP30N06L và cách ly tín hiệu điều khiển bằng Opto PC817.

5. Những yếu tố nào ảnh hưởng trực tiếp đến độ chính xác và tính ổn định của hệ thống trong thực tế? Độ chính xác và tính ổn định của hệ thống phụ thuộc vào cường độ ánh sáng môi trường xung quanh (quá sáng gây lóa trắng, quá tối làm mất đặc trưng ảnh), độ ổn định của kết nối mạng Wi-Fi khi truyền dữ liệu qua Firebase, và góc quan sát của camera đơn khi quả bị che khuất phần hư hại.

Kết luận

Đồ án tốt nghiệp của nhóm tác giả đã nghiên cứu và ứng dụng thành công mô hình phát hiện vật thể YOLOv8 vào bài toán phân loại tự động ba loại trái cây (táo, cam, chuối) và đánh giá tình trạng hư hại của chúng. Hệ thống được chế tạo hoàn chỉnh dưới dạng mô hình cơ điện tử kết hợp băng chuyền mini, cảm biến hồng ngoại, vi điều khiển ESP32 và cơ cấu gạt piston từ. Dù còn một số hạn chế về phụ thuộc ánh sáng môi trường và tốc độ cơ khí phòng lab, kết quả nghiên cứu đã khẳng định tính khả thi của việc tích hợp thị giác máy tính vào tự động hóa khâu sau thu hoạch trong nông nghiệp công nghệ cao.