Đồ Án Tốt Nghiệp: Phát Hiện Loại Trái Cây Bằng YOLOv8

Khóa luận tốt nghiệp nghiên cứu phát hiện loại trái cây, vận dụng lý thuyết vào thực tế, đề xuất giải pháp cụ thể cho vấn đề ., phục vụ nghiên cứu và ứng dụng thực tiễn

• Tác giả: Nguyễn Tuấn Hùng
• Người hướng dẫn: TS. Hồ Thị Hương Thơm
• Trường học: Trường Đại Học Quản Lý Và Công Nghệ Hải Phòng
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phát Hiện Loại Trái Cây
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2024
• Địa điểm: Hải Phòng

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH
• DANH SÁCH BẢNG
• BẢNG CÁC TỪ KHÓA VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Phát hiện đối tượng
• 1.2.1. Khái niệm
• 1.2.2. Cách phát hiện đối tượng
• 1.2.2.1. Kỹ thuật xử lý ảnh truyền thống
• 1.2.2.2. Mạng học sâu hiện đại
• 1.2.3. Các Phương pháp phát hiện phổ biến hiện nay
• 1.2.3.1. Phương pháp mô tả đặc trưng (HOG)
• 1.2.3.2. Mạng nơ-ron
• 1.2.3.2.1. Mạng nơ-ron tích chập theo vùng (R-CNN)
• 1.2.3.2.2. Faster R-CNN
• 1.2.3.2.3. Mạng đề xuất vùng (RPN)
• 1.2.3.2.4. YOLO
• 2. CHƯƠNG 2: MÔ HÌNH HỆ THỐNG PHÂN LOẠI TRÁI CÂY
• 2.1. Giới thiệu một số loại trái cây
• 2.2. Sơ đồ hoạt động của mô hình hệ thống phát hiện trái cây
• 2.3. Quá trình Huấn Luyện
• 2.3.1. Chuẩn bị ảnh
• 2.3.2. Quá trình đánh nhãn cho các đối tượng
• 2.3.3. Phát hiện loại trái cây bằng YOLO
• 3. CHƯƠNG 3: CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Môi trường thử nghiệm
• 3.2. Ngôn ngữ lập trình Python
• 3.3. Môi trường phát triển tích hợp Pycharm
• 3.4. Các đặc trưng
• 3.4.1. Công cụ trực tuyến Google Collab
• 3.4.2. Những đặc trưng chính trong Google Colab
• 3.4.3. Tạo bộ dữ liệu học để huấn luyện
• 3.4.4. Đào tạo mô hình phát hiện loại trái cây
• 3.4.5. Giá trị các biểu đồ
• 3.4.6. Giao diện ứng dụng phát hiện loại trái cây
• 3.4.7. Kết quả thử nghiệm trên mô hình đã huấn luyện
• 3.4.8. Đánh giá mô hình sau khi thử nghiệm
• 3.4.9. Kết quả huấn luyện
• 3.4.10. Thời gian huấn luyện
• 3.4.11. Ưu điểm của mô hình
• 3.4.12. Nhược điểm của mô hình
• 3.4.13. Đề xuất cải tiến
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện loại trái cây bằng YOLOv8

Phát hiện loại trái cây là một ứng dụng quan trọng trong lĩnh vực thị giác máy tính. Công nghệ này giúp nhận diện và phân loại các loại trái cây như cam, táo, lê, và đào một cách nhanh chóng và chính xác. Sử dụng mô hình YOLOv8, một trong những thuật toán tiên tiến nhất hiện nay, có thể cải thiện đáng kể hiệu suất trong việc phát hiện đối tượng. YOLOv8 không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc phân loại trái cây.

1.1. Khái niệm về phát hiện đối tượng trong thị giác máy tính

Phát hiện đối tượng là quá trình xác định và phân loại các đối tượng trong hình ảnh hoặc video. Trong bối cảnh trái cây, điều này có nghĩa là nhận diện các loại trái cây khác nhau dựa trên hình ảnh. Công nghệ này đóng vai trò quan trọng trong việc tự động hóa quy trình phân loại.

1.2. Tại sao chọn YOLOv8 cho phát hiện trái cây

YOLOv8 là một trong những mô hình phát hiện đối tượng mạnh mẽ nhất hiện nay. Nó cho phép phát hiện nhiều đối tượng trong một hình ảnh với độ chính xác cao và tốc độ nhanh. Điều này rất quan trọng trong ngành nông nghiệp, nơi cần phân loại nhanh chóng và hiệu quả.

II. Thách thức trong việc phát hiện loại trái cây

Mặc dù công nghệ phát hiện trái cây bằng YOLOv8 mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức. Việc thu thập và gán nhãn dữ liệu hình ảnh là một trong những vấn đề lớn nhất. Ngoài ra, điều kiện ánh sáng và nền phức tạp cũng có thể ảnh hưởng đến độ chính xác của mô hình.

2.1. Vấn đề về dữ liệu hình ảnh

Để huấn luyện mô hình YOLOv8, cần có một lượng lớn dữ liệu hình ảnh đã được gán nhãn. Việc này không chỉ tốn thời gian mà còn đòi hỏi nguồn lực lớn để đảm bảo chất lượng dữ liệu.

2.2. Ảnh hưởng của điều kiện môi trường

Điều kiện ánh sáng và nền phức tạp có thể làm giảm độ chính xác của mô hình. Các yếu tố như bóng đổ, phản chiếu và sự che khuất có thể gây khó khăn trong việc nhận diện chính xác các loại trái cây.

III. Phương pháp phát hiện trái cây bằng YOLOv8

Để phát hiện loại trái cây, mô hình YOLOv8 sử dụng một mạng nơ-ron tích chập (CNN) để xử lý hình ảnh. Quá trình này bao gồm việc chia hình ảnh thành các ô và dự đoán các đối tượng trong từng ô. Điều này giúp tăng tốc độ phát hiện và cải thiện độ chính xác.

3.1. Cài đặt mô hình YOLOv8

Cài đặt mô hình YOLOv8 yêu cầu một môi trường lập trình phù hợp, thường là Python với các thư viện hỗ trợ như TensorFlow hoặc PyTorch. Việc này giúp dễ dàng triển khai và thử nghiệm mô hình.

3.2. Quá trình huấn luyện mô hình

Quá trình huấn luyện mô hình bao gồm việc sử dụng dữ liệu hình ảnh đã được gán nhãn để tối ưu hóa các tham số của mạng nơ-ron. Điều này giúp mô hình học cách nhận diện các loại trái cây một cách chính xác hơn.

IV. Ứng dụng thực tiễn của phát hiện trái cây bằng YOLOv8

Phát hiện loại trái cây bằng YOLOv8 có nhiều ứng dụng thực tiễn trong ngành nông nghiệp và bán lẻ. Công nghệ này không chỉ giúp nâng cao chất lượng sản phẩm mà còn cải thiện hiệu suất làm việc của nhân viên.

4.1. Tự động hóa quy trình phân loại

Sử dụng YOLOv8 giúp tự động hóa quy trình phân loại trái cây, giảm thiểu thời gian và công sức của nhân viên. Điều này đặc biệt hữu ích trong các nhà máy chế biến thực phẩm.

4.2. Nâng cao chất lượng sản phẩm

Việc phát hiện nhanh chóng và chính xác các loại trái cây giúp đảm bảo chất lượng sản phẩm, từ đó nâng cao giá trị thương mại và sự hài lòng của khách hàng.

V. Kết luận và tương lai của phát hiện trái cây bằng YOLOv8

Phát hiện loại trái cây bằng YOLOv8 là một bước tiến quan trọng trong việc ứng dụng công nghệ vào nông nghiệp. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến hơn nữa trong việc nâng cao hiệu suất và chất lượng sản phẩm.

5.1. Tiềm năng phát triển

Với sự phát triển không ngừng của công nghệ học máy, khả năng phát hiện trái cây sẽ ngày càng chính xác và nhanh chóng hơn. Điều này mở ra nhiều cơ hội mới cho ngành nông nghiệp.

5.2. Hướng nghiên cứu tiếp theo

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác của mô hình trong các điều kiện môi trường khác nhau, cũng như phát triển các ứng dụng mới trong lĩnh vực này.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh phát triển của thị giác máy tính và học sâu (Deep Learning), việc tự động hóa các quy trình phân loại nông sản đang trở thành nhu cầu thiết thực trong chuỗi cung ứng sản xuất và bán lẻ. Tại các trang trại và hệ thống phân phối nông sản, người lao động phải xử lý hàng nghìn quả trái cây mỗi ngày; quy trình phân loại thủ công bằng mắt thường bộc lộ nhiều điểm hạn chế như tốn kém chi phí nhân công, mất nhiều thời gian, dễ gây sai sót và khó đảm bảo tính đồng đều của sản phẩm. Bên cạnh đó, việc nhận diện nhanh chóng các chủng loại trái cây, loại bỏ quả kém chất lượng hay phân biệt đặc điểm nông sản (như xuất xứ) đặt ra yêu cầu phải có công cụ tự động hóa hỗ trợ. Đề tài "Phát hiện loại trái cây" được thực hiện nhằm xây dựng giải pháp nền tảng ứng dụng mô hình học sâu để tự động phát hiện và phân loại các loại trái cây thông qua hình ảnh và video.

Nhiệm vụ nghiên cứu của đề tài được xác định qua 5 nội dung chính:

1. Tìm hiểu về bài toán phát hiện đối tượng trong thị giác máy tính và nguyên lý hoạt động của mô hình YOLOv8.
2. Phân tích, thu thập và tiền xử lý dữ liệu hình ảnh các loại trái cây phục vụ huấn luyện mô hình.
3. Cài đặt và cấu hình mô hình phát hiện đối tượng dựa trên kiến trúc YOLOv8.
4. Thử nghiệm, đánh giá mô hình trên tập dữ liệu hình ảnh tĩnh và luồng video thực tế.
5. Nhận xét, đánh giá kết quả, chỉ ra các hạn chế và đề xuất giải pháp cải tiến khi ứng dụng vào thực tiễn.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các thuật toán thị giác máy tính, mô hình phát hiện đối tượng YOLOv8 và dữ liệu hình ảnh của 7 loại trái cây phổ biến gồm cam, táo, xoài, chuối, nho, ổi và dưa hấu.
• Phạm vi không gian: Nghiên cứu được thực hiện tại Trường Đại học Quản lý và Công nghệ Hải Phòng, phối hợp thực tập tốt nghiệp tại Công ty TNHH Đào tạo và Tích hợp Công nghệ e-Teck.
• Phạm vi thời gian: Đồ án hoàn thành vào tháng 5 năm 2024.

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống trên nền tảng lý thuyết thị giác máy tính và các mạng nơ-ron tích chập (Convolutional Neural Networks - CNN) chuyên sâu cho bài toán phát hiện đối tượng (Object Detection):

• Kỹ thuật xử lý ảnh truyền thống và mô tả đặc trưng HOG: Tác giả phân tích phương pháp Biểu đồ Gradient có hướng (Histogram of Oriented Gradients - HOG). Kỹ thuật này trích xuất vector đặc trưng cục bộ thông qua việc chia ảnh thành các ô (cells kích thước 8×8 điểm ảnh), tính toán biểu đồ hướng gradient với 9 mức giá trị, chuẩn hóa độ tương phản theo từng khối (blocks) nhằm tạo ra vector đặc trưng có tính bất biến với điều kiện chiếu sáng.
• Dòng mạng nơ-ron tích chập theo vùng (Region-based CNN): Khảo sát quá trình tiến hóa từ R-CNN (sử dụng Selective Search trích xuất khoảng 2.000 vùng đề xuất), Fast R-CNN (xử lý toàn bộ ảnh qua mạng tích chập trước khi trích xuất đặc trưng vùng), đến Faster R-CNN (thay thế Selective Search bằng Mạng đề xuất vùng - Region Proposal Network - RPN, giúp giảm thời gian tính toán biên xuống khoảng 10 ms mỗi ảnh).
• Mô hình You Only Look Once (YOLO): Tác giả tổng hợp lộ trình phát triển của mạng YOLO từ YOLOv1 đến YOLOv9. Trọng tâm nghiên cứu đặt vào YOLOv8 – kiến trúc hiện đại hỗ trợ đa tác vụ thị giác (phát hiện, phân đoạn thực thể, ước tính tư thế) với thiết kế không sử dụng hộp neo (anchor-free), tối ưu hóa hàm mất mát và tích hợp thuật toán tối ưu RAdam (Rectified Adam).

Phương pháp nghiên cứu thực nghiệm:

• Thu thập và tiền xử lý dữ liệu: Dữ liệu ảnh thực nghiệm được thu thập, làm sạch và gán nhãn khung bao (bounding box) qua nền tảng Roboflow.
• Phương pháp huấn luyện: Áp dụng kỹ thuật tăng cường dữ liệu (Data Augmentation) bao gồm xoay, lật và biến đổi màu sắc; chuẩn hóa kích thước đầu vào về chuẩn 640×640 pixel của YOLOv8.
• Tiêu chuẩn đánh giá hiệu năng: Sử dụng các đại lượng thống kê gồm True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN) để xác định:
  • Độ chính xác (Precision): $P = \frac{TP}{TP + FP}$
  • Độ nhớ lại (Recall): $R = \frac{TP}{TP + FN}$
  • Độ chính xác trung bình (Average Precision - AP) dựa trên phép tính nội suy 11 điểm: $AP = \frac{1}{11} \sum_{r \in {0, 0.1, \dots, 1}} p_{interp}(r)$
  • Độ chính xác trung bình trung bình (Mean Average Precision - mAP): Trung bình cộng AP của toàn bộ các lớp đối tượng.

---

Thiết kế và triển khai hệ thống

Hệ thống phát hiện loại trái cây được thiết kế theo quy trình khép kín từ khâu tiếp nhận dữ liệu đến khâu nhận diện và xuất kết quả:

Thành phần	Công nghệ / Công cụ	Vai trò và thông số kỹ thuật
Ngôn ngữ lập trình	Python	Xây dựng mã nguồn huấn luyện, xử lý dữ liệu và thực thi suy luận
Môi trường phát triển (IDE)	PyCharm	Quản lý dự án, viết mã và tinh chỉnh giao diện ứng dụng
Nền tảng huấn luyện	Google Colaboratory (Colab)	Tận dụng phần cứng GPU đám mây, liên kết dữ liệu qua Google Drive
Quản lý & Gán nhãn dữ liệu	Roboflow	Gán nhãn Bounding Box, kiểm tra chất lượng (Health Check), tăng cường dữ liệu
Mô hình cốt lõi	Ultralytics YOLOv8	Trích xuất đặc trưng, hồi quy tọa độ khung bao và phân loại đối tượng (Anchor-free)
Kích thước đầu vào	$640 \times 640$ pixels	Định dạng chuẩn hóa đầu vào cho mạng nơ-ron tích chập

Quy trình hoạt động của hệ thống bao gồm:

1. Tiếp nhận đầu vào: Nhận luồng dữ liệu từ tệp ảnh tĩnh hoặc video ghi hình thực tế.
2. Khối phát hiện và định vị: Mô hình YOLOv8 trích xuất đặc trưng đa tầng qua cấu trúc Backbone và Neck, dự đoán trực tiếp tâm đối tượng và kích thước khung bao mà không phụ thuộc vào các hộp neo định sẵn.
3. Khối phân loại và hậu xử lý: Thực hiện gán nhãn lớp đối tượng (Cam, Táo, Xoài, Chuối, Nho, Ổi, Dưa hấu), tính toán điểm tin cậy (Confidence Score) và áp dụng thuật toán triệt tiêu không cực đại (Non-Maximum Suppression - NMS) để lọc các khung bao trùng lặp trước khi hiển thị kết quả lên giao diện.

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu tổng quan

Chương 1 thiết lập nền tảng lý luận cho toàn bộ đồ án:

• Trình bày bài toán thực tiễn trong ngành nông nghiệp và bán lẻ, phân tích sự cần thiết của việc thay thế thao tác phân loại thủ công bằng giải pháp thị giác máy tính.
• Làm rõ định nghĩa phát hiện đối tượng, so sánh hai hướng tiếp cận chính: xử lý ảnh truyền thống (OpenCV, HOG) và mạng học sâu (Deep Learning).
• Khảo sát chi tiết cấu trúc thuật toán HOG với quy trình chia ô, tính toán gradient 9 hướng và chuẩn hóa khối.
• Phân tích sự tiến hóa của các kiến trúc mạng nơ-ron:
  • Mô hình hai giai đoạn: R-CNN, Fast R-CNN và Faster R-CNN với mạng RPN.
  • Mô hình một giai đoạn: Dòng thuật toán YOLO từ YOLOv1 (đạt mAP 63,4 tại 45 FPS trên VOC 2007), YOLOv2 (bổ sung anchor boxes, mAP 76,8 tại 67 FPS), YOLOv3 (backbone Darknet-53, phân loại logistic, mAP 28,2), YOLOv4 (BoF, BoS, mAP 43,5 tại 65 FPS), YOLOv5, YOLOv6 (mAP 37,5 đến 45), YOLOv7 (mAP 56,8), cho đến các phiên bản mở rộng như YOLO-NAS, RT-DETR, YOLO-World.
• Thiết lập hệ thống công thức toán học đo lường độ tin cậy: Precision, Recall, ma trận nhầm lẫn, phương pháp nội suy 11 điểm tính AP và công thức tính mAP đa lớp.

Chương 2: Mô hình hệ thống phân loại trái cây

Chương 2 mô tả chi tiết đối tượng nông sản và kiến trúc mô hình triển khai:

• Trình bày đặc điểm hình thái, màu sắc và nguồn gốc của 7 loại trái cây nghiên cứu:
  • Cam: Vỏ xanh hoặc vàng cam, bề mặt sần hoặc nhẵn (cam sành, cam xoàn, cam hamlin, cam Xã Đoài).
  • Xoài: Hình dạng từ tròn đến bầu dục, biến đổi từ xanh sang vàng khi chín (xoài Cát Hòa Lộc, Cát Chu, xoài keo, xoài Úc).
  • Táo: Quả kích thước trung bình vài centimet, sắc đỏ hoặc vàng sáng.
  • Chuối: Dáng cong, mọc thành nải/buồng, vỏ vàng hoặc xanh (chuối tiêu, chuối ngự, chuối sứ).
  • Nho: Mọc thành chùm từ vài chục đến vài trăm quả nhỏ hình tròn/bầu dục, màu sắc xanh, đỏ, tím, đen.
  • Ổi: Quả hình tròn hoặc bầu dục đường kính 4–12 cm, vỏ xanh nhạt đến vàng, ruột trắng hoặc hồng.
  • Dưa hấu: Kích thước lớn, trọng lượng từ vài kg đến trên 20 kg, vỏ xanh có vân hoặc đốm.
• Thống kê chi tiết số lượng hình ảnh thu thập cho từng loại trái cây:

STT	Loại trái cây	Số lượng ảnh thu thập
1	Cam	1.087
2	Chuối	985
3	Nho	875
4	Dưa hấu	878
5	Xoài	935
6	Ổi	810
7	Táo	1.189
Tổng	7 loại đối tượng	6.759

• Trình bày quy trình gán nhãn bounding box trên Roboflow và cơ chế phân chia tập dữ liệu huấn luyện, kiểm thực, kiểm thử.
• Phân tích kiến trúc kỹ thuật của YOLOv8: Cấu trúc 3 khối (Backbone, Neck, Head), cơ chế phát hiện không neo (Anchor-free) giúp dự đoán trực tiếp tâm đối tượng, giảm gánh nặng tính toán trong giai đoạn hậu xử lý NMS.

Chương 3: Cài đặt, thử nghiệm và đánh giá

Chương 3 trình bày các bước thực nghiệm, cấu hình và kết quả đạt được:

• Mô tả môi trường phát triển: Cài đặt thư viện trên Python thông qua PyCharm, kết nối Google Colab với Google Drive để tận dụng GPU phục vụ huấn luyện.
• Thực hiện đào tạo mô hình YOLOv8 với số lượng chu kỳ huấn luyện (epochs = 100), theo dõi biểu đồ hàm mất mát và các chỉ số thống kê hội tụ.
• Xây dựng giao diện chương trình cho phép tải ảnh tĩnh hoặc chọn luồng video để nhận diện đối tượng theo thời gian thực.
• Đánh giá định lượng qua ma trận nhầm lẫn (Confusion Matrix) và bảng thử nghiệm phân loại trên nhiều tập mẫu dữ liệu:
  • Thử nghiệm trên ảnh chụp đơn lẻ từng loại quả.
  • Thử nghiệm trên ảnh phức tạp chứa đồng thời nhiều loại trái cây khác nhau trong một khung hình.
  • Thử nghiệm nhận diện trực tiếp trên dữ liệu video chuyển động.

---

Kết quả và đóng góp

Kết quả thực nghiệm chính

• Xây dựng thành công bộ dữ liệu gán nhãn chuẩn hóa gồm 6.759 ảnh cho 7 loại trái cây nông sản phổ biến, đáp ứng yêu cầu đầu vào $640 \times 640$ pixel của mạng nơ-ron học sâu.
• Triển khai thành công quy trình huấn luyện mô hình YOLOv8 không dùng hộp neo trên Google Colab với số lượng 100 epochs, tạo ra mô hình có khả năng định vị và phân loại đối tượng chính xác trên phần lớn các mẫu thử nghiệm.
• Xây dựng hoàn chỉnh ứng dụng có giao diện trực quan, hỗ trợ phát hiện loại trái cây trên cả 2 định dạng: hình ảnh tĩnh (đơn đối tượng và đa đối tượng) và tập tin video.

Giải pháp và khuyến nghị tác giả đề xuất

• Cần chú trọng khâu tiền xử lý và tăng cường dữ liệu (Data Augmentation) với các góc chụp và điều kiện chiếu sáng đa dạng để giảm thiểu hiện tượng nhận diện sai đối với các loại quả có hình thái tương đồng.
• Khi triển khai trong môi trường sản xuất hoặc đóng gói tự động, cần bố trí hệ thống camera cố định và nguồn sáng ổn định nhằm tối ưu hóa độ chính xác của mô hình.

Đóng góp của đề tài

• Hệ thống hóa cơ sở lý thuyết từ các giải pháp xử lý ảnh truyền thống (HOG) đến các mô hình học sâu tiên tiến (Faster R-CNN, YOLOv1 - YOLOv9).
• Đưa ra quy trình thực nghiệm rõ ràng về việc ứng dụng kiến trúc Anchor-free của YOLOv8 vào bài toán nông nghiệp cụ thể tại Việt Nam.

---

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế trong quá trình thực nghiệm:

• Hiện tượng nhận diện sai lệch: Mô hình vẫn ghi nhận một số trường hợp phân loại nhầm giữa các đối tượng có màu sắc hoặc hình khối tương tự nhau trong điều kiện phức tạp (văn bản ghi nhận cụ thể trường hợp trái xoài bị nhận dạng sai và chùm nho bị nhận diện sai khi góc chụp bị khuất hoặc ánh sáng không đồng đều).
• Phạm vi chủng loại dữ liệu: Bộ dữ liệu dừng lại ở 7 loại trái cây cơ bản, chưa bao quát được toàn bộ các giống cây ăn quả nhiệt đới và cận nhiệt đới.

Hướng phát triển tiếp theo được đề xuất:

• Thu thập bổ sung và mở rộng tập dữ liệu với nhiều giống trái cây mới, gia tăng các trường hợp biên như quả bị che khuất một phần, quả dập nát hoặc điều kiện ánh sáng yếu.
• Nghiên cứu tối ưu hóa mô hình để tích hợp lên các hệ thống phần cứng nhúng (Edge AI, Raspberry Pi, Jetson Nano) phục vụ trực tiếp cho các dây chuyền phân loại nông sản tự động trong nhà máy.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo phù hợp cho:

• Sinh viên chuyên ngành Công nghệ thông tin, Khoa học dữ liệu và Kỹ thuật phần mềm đang thực hiện đồ án tốt nghiệp hoặc nghiên cứu ứng dụng thị giác máy tính.
• Các nhà nghiên cứu và kỹ sư quan tâm đến quy trình gán nhãn dữ liệu bằng Roboflow, huấn luyện mô hình YOLOv8 trên Google Colab và triển khai ứng dụng nhận diện đối tượng bằng Python.
• Nội dung đáng tham khảo nhất bao gồm: Chương 1 (hệ thống hóa lý thuyết về HOG, RPN và dòng mô hình YOLO), bảng thống kê chi tiết số lượng ảnh từng lớp trong Chương 2, cùng quy trình cấu hình thử nghiệm và đánh giá bằng Confusion Matrix trong Chương 3.

---

Câu hỏi thường gặp

1. Đồ án sử dụng mô hình học sâu nào làm kiến trúc nhận diện chính và có đặc trưng gì nổi bật?
Đồ án sử dụng mô hình YOLOv8 của Ultralytics. Điểm nổi bật chính của mô hình này là áp dụng cơ chế phát hiện không sử dụng hộp neo (Anchor-free detection head), giúp dự đoán trực tiếp tâm của đối tượng thay vì điều chỉnh từ các hộp neo định sẵn, từ đó giảm số lượng dự đoán hộp và tối ưu hóa tốc độ xử lý của thuật toán Triệt tiêu không cực đại (NMS).

2. Tập dữ liệu thực nghiệm gồm bao nhiêu loại trái cây và số lượng ảnh chi tiết của từng loại là bao nhiêu?
Tập dữ liệu bao gồm 7 loại trái cây với tổng số 6.759 ảnh, phân bố cụ thể như sau: quả táo (1.189 ảnh), quả cam (1.087 ảnh), chuối (985 ảnh), xoài (935 ảnh), dưa hấu (878 ảnh), nho (875 ảnh) và quả ổi (810 ảnh).

3. Tác giả đã sử dụng những công cụ và môi trường nào để chuẩn bị dữ liệu và huấn luyện mô hình?
Tác giả sử dụng nền tảng Roboflow để tập trung ảnh, kiểm tra chất lượng (Health Check), tăng cường dữ liệu và gán nhãn bounding box. Quá trình huấn luyện mô hình được thực hiện trên môi trường trực tuyến Google Colab (sử dụng GPU và liên kết dữ liệu qua Google Drive), kết hợp môi trường lập trình PyCharm với ngôn ngữ Python.

4. Khóa luận đã kiểm thử mô hình trên những dạng dữ liệu nào và có phát hiện sai sót gì không?
Mô hình đã được thử nghiệm trên 3 dạng dữ liệu: hình ảnh tĩnh chụp đơn quả, hình ảnh tĩnh chụp nhiều loại quả khác nhau trong cùng một khung hình, và video chuyển động thực tế. Kết quả kiểm thử ghi nhận mô hình phát hiện tốt phần lớn đối tượng nhưng vẫn còn một số trường hợp nhận diện sai, cụ thể như trái xoài bị nhận sai hoặc chùm nho bị nhận diện sai.

---

Kết luận

Đồ án tốt nghiệp "Phát hiện loại trái cây" của sinh viên Nguyễn Tuấn Hùng đã hoàn thành đầy đủ các mục tiêu nghiên cứu và nhiệm vụ đề ra. Tác giả đã tổng hợp có hệ thống cơ sở lý thuyết về thị giác máy tính, xây dựng thành công tập dữ liệu 6.759 ảnh cho 7 loại trái cây và huấn luyện mô hình phát hiện đối tượng dựa trên kiến trúc YOLOv8. Mặc dù vẫn còn một số sai số cục bộ trong điều kiện hình ảnh phức tạp, kết quả thực nghiệm và chương trình ứng dụng đã chứng minh tính khả thi của giải pháp trong việc tự động hóa nhận diện nông sản.

Trích đoạn nội dung tài liệu

Đặt vấn đề Với sự tiến bộ không ngừng của công nghệ và sự tăng trưởng nhanh chóng của dữ liệu thông qua mạng lưới internet toàn cầu, chúng ta đã chứng kiến nhiều bước tiến vượt bậc trong lĩnh vực học máy, đặc biệt là thị giác máy tính. Khả năng này có thể được áp dụng một cách hiệu quả trong ngành sản xuất và bán lẻ trái cây, nơi việc phát hiện và phân loại trái cây đóng vai trò then chốt để đảm bảo chất lượng và tính nhất quán của sản phẩm. Tuy nhiên, việc này có thể tốn kém và mất thời gian nếu thực hiện bằng tay, đặc biệt khi xử lý với số lượng lớn. Do đó, việc sử dụng công nghệ để phát hiện và phân loại trái cây có thể cải thiện đáng kể hiệu suất và chất lượng sản phẩm.1: Công nhân đang phân loại trái cây.

Trong nông nghiệp, người nông dân phải xử lý hàng nghìn quả từ nhiều loại trái cây khác nhau, việc phân loại quả hư, dập hoặc kém chất lượng là thách thức lớn, tốn nhiều thời gian và công sức. Bài toán đặt ra là làm sao để giúp nhanh 14 chóng loại bỏ sản phẩm không đạt chất lượng, nâng cao chất lượng tổng thể và giá trị bán ra, cải thiện thu nhập cho nông dân. Ngoài ra làm cách nào để có thể phân biệt nguồn gốc trái cây, như nho Việt Nam hay nho Trung Quốc, giúp nhà phân phối đưa ra quyết định kinh doanh hiệu quả và người tiêu dùng an tâm hơn về nguồn gốc sản phẩm. Lúc này ta cần một công cụ để giúp ta giải quyết những vấn đề trên.

Với đề tài “Phát hiện loại trái cây”, như là bước đầu tiền để bắt đầu xây dựng một mô hình nâng cao chất lượng nông nghiệp tạo nền tảng cho các mô hình tiên tiến hơn trong tương lai.2: Trái cây được xếp trong siêu thị. Phát hiện đối tượng 1. Khái niệm Phát hiện đối tượng, một lĩnh vực quan trọng trong thị giác máy tính và xử lý ảnh, liên quan đến việc xác định các trường hợp cụ thể của đối tượng ngữ nghĩa thuộc một lớp nhất định trong hình ảnh và video kỹ thuật số. Các mô hình phát hiện đối tượng thường được huấn luyện để xác định các đối tượng cụ thể trong hình ảnh, video hoặc trong thời gian thực.

[1] Phát hiện đối tượng đóng vai trò quan trọng trong sự phát triển của học sâu và xử lý ảnh. Mục tiêu của nó là phát triển các mô hình tính toán để cung cấp thông tin cơ bản nhất cần thiết cho các ứng dụng thị giác máy tính, trả lời hai câu hỏi chính: ‘Đối tượng cần tìm có xuất hiện trong hình ảnh không?’ và ‘Nếu có, vị trí của nó là gì?’.3: Phát hiện đối tượng. 16 Phát hiện đối tượng là một trong những vấn đề cơ bản của thị giác máy tính, tạo nền tảng cho nhiều nhiệm vụ khác như phân đoạn thực thể và hình ảnh, tạo chú thích cho hình ảnh, theo dõi đối tượng, và nhiều hơn nữa. Các ứng dụng cụ thể của phát hiện đối tượng bao gồm phát hiện người đi bộ, phát hiện động vật, phát hiện xe cộ, đếm người, phát hiện khuôn mặt, phát hiện văn bản, phát hiện tư thế, nhận dạng biển số và như ở đây là phát hiện trái cây.

Cách phát hiện đối tượng Để phát hiện đối tượng, có thể sử dụng các kỹ thuật xử lý ảnh truyền thống hoặc mạng học sâu hiện đại. Mỗi phương pháp có ưu điểm và nhược điểm riêng, phù hợp với các yêu cầu và điều kiện khác nhau. Cách 1: Kỹ thuật xử lý ảnh truyền thống Các kỹ thuật xử lý ảnh truyền thống không yêu cầu dữ liệu lịch sử để đào tạo và tự giám sát. OpenCV là một công cụ phổ biến cho các nhiệm vụ xử lý ảnh truyền thống.

Một số ưu và nhược điểm của phương pháp này bao gồm Ưu điểm: Không yêu cầu hình ảnh được gán nhãn thủ công, giúp giảm bớt khối lượng công việc và chi phí liên quan đến việc tạo dữ liệu đào tạo. Nhược điểm: - Hạn chế trong các tình huống phức tạp như nền không đồng nhất, đối tượng bị che khuất một phần, điều kiện ánh sáng và bóng tối thay đổi, và các hiệu ứng nhiễu. - Độ chính xác và độ tin cậy thường không cao bằng các phương pháp học sâu. [1] Cách 2: Mạng học sâu hiện đại Các phương pháp học sâu thường phụ thuộc vào học có giám sát hoặc không giám sát, với các phương pháp học có giám sát là tiêu chuẩn trong các nhiệm vụ thị giác máy tính.

Hiệu suất của các phương pháp này bị giới hạn bởi sức mạnh tính toán của GPU, đang tăng nhanh từng năm. 17 Ưu điểm: - Phát hiện đối tượng bằng học sâu mạnh mẽ hơn đối với các trường hợp đối tượng bị che khuất, cảnh quan phức tạp và điều kiện ánh sáng thách thức. - Độ chính xác cao hơn so với các phương pháp truyền thống. Nhược điểm: - Yêu cầu một lượng lớn dữ liệu đào tạo.

Quá trình gán nhãn hình ảnh là công việc tốn nhiều thời gian và chi phí.000 hình ảnh để đào tạo thuật toán phát hiện đối tượng tùy chỉnh được coi là một tập dữ liệu nhỏ. - Cần có sức mạnh tính toán cao, đặc biệt là GPU, để xử lý và đào tạo mô hình. Để giảm bớt khó khăn trong việc thu thập và gán nhãn dữ liệu, có thể sử dụng các bộ dữ liệu đã được gán nhãn sẵn như MS COCO, Caltech, KITTI, PAS- CAL VOC, và V5. Những bộ dữ liệu này cung cấp một lượng lớn hình ảnh đã được gán nhãn, giúp rút ngắn quá trình thu thập và chuẩn bị dữ liệu cho việc đào tạo mô hình học sâu.4: Phát hiện đối tượng dựa trên học sâu cho các phương tiện.

Các Phương pháp phát hiện phổ biến hiện nay 1. Phương pháp mô tả đặc trưng (HOG) Hình 1.5: Kiến trúc hệ thống HOG để phát hiện đối tượng. Phương pháp mô tả đặc trưng (Histogram of Oriented Gradient – HOG) là một trong những phương pháp phát hiện đối tượng lâu đời nhất. Nó được giới thiệu lần đầu tiên vào năm 1986.

Mặc dù có một số phát triển trong thập kỷ sau đó, cách tiếp cận này không trở nên phổ biến cho đến năm 2005 khi nó bắt đầu được sử dụng trong nhiều nhiệm vụ liên quan đến thị giác máy tính. HOG sử dụng trình trích xuất đặc trưng để xác định các đối tượng trong hình ảnh. [2] Bản chất của phương pháp HOG là sử dụng thông tin về sự phân bố của các cường độ gradient hoặc của hướng biên để mô tả các đối tượng cục bộ trong ảnh. Các toán tử HOG được cài đặt bằng cách chia nhỏ một bức ảnh thành các vùng con, được gọi là cell và với mỗi cell, ta sẽ tính toán một histogram về các hướng của gradients cho các điểm nằm trong cell.

Ghép các histogram lại với nhau ta sẽ có một biểu diễn cho bức ảnh ban đầu. Để tăng cường hiệu năng nhận dạng, các histogram cục bộ có thể được chuẩn hóa về độ tương phản bằng cách tính một ngưỡng cường độ trong một vùng lớn hơn cell, gọi là các khối và sử dụng giá trị ngưỡng đó để chuẩn hóa tất cả các 19 cell trong khối. Kết quả sau bước chuẩn hóa sẽ là một vector đặc trưng có tính bất biến đối với các thay đổi về điều kiện ánh sáng. [2] Trước khi chúng ta hiểu kiến trúc tổng thể của HOG, hãy xem cách nó hoạt động.

Đối với một điểm ảnh cụ thể trong hình ảnh, biểu đồ tần suất của gradient được tính bằng cách xem xét các giá trị dọc và ngang để có được các vectơ đối tượng. Với sự trợ giúp của độ lớn gradient và các góc gradient, chúng ta có thể có được giá trị rõ ràng cho điểm ảnh hiện tại bằng cách khám phá các thực thể khác trong môi trường xung quanh ngang và dọc của chúng. [2] Như thể hiện trong biểu diễn hình ảnh ở trên, chúng tôi sẽ xem xét một phân đoạn hình ảnh có kích thước cụ thể. Bước đầu tiên là tìm gradient bằng cách chia toàn bộ tính toán của hình ảnh thành các biểu diễn gradient của 8×8 ô.

Với sự trợ giúp của 64 vectơ gradient đạt được, chúng ta có thể chia mỗi ô thành các góc và tính toán biểu đồ cho diện tích cụ thể. Quá trình này làm giảm kích thước của 64 vectơ xuống kích thước nhỏ hơn là 9 giá trị. [2] Khi chúng tôi có được kích thước của các giá trị biểu đồ điểm 9 cho mỗi ô, chúng tôi có thể chọn tạo chồng chéo cho các khối ô. Các bước cuối cùng là tạo các khối đặc trưng, chuẩn hóa các vectơ đặc trưng thu được và thu thập tất cả các vectơ đặc trưng để có được đặc trưng HOG tổng thể.

Mạng nơ-ron • Mạng nơ-ron tích chập theo vùng (R-CNN) Hình 1.6: Mô hình R-CNN. [17] 20 Các mạng nơ-ron tích chập dựa trên khu vực là một cải tiến trong quy trình phát hiện đối tượng từ các phương pháp HOG và SIFT (biến đổi đặc trưng không đổi theo tỉ lệ) trước đây. Trong các mô hình R-CNN, chúng ta cố gắng trích xuất các đặc trưng thiết yếu nhất (thường là khoảng 2000 đặc trưng) bằng cách sử dụng các đặc trưng chọn lọc. Quá trình lựa chọn các trích xuất quan trọng nhất có thể được thực hiện với sự trợ giúp của thuật toán tìm kiếm chọn lọc, nhằm đạt được các đề xuất khu vực quan trọng hơn.

[2] Quy trình làm việc của thuật toán tìm kiếm chọn lọc để chọn các đề xuất khu vực quan trọng nhất bao gồm việc tạo nhiều phân đoạn phụ trên một hình ảnh cụ thể và chọn các mục ứng cử viên cho nhiệm vụ của bạn. Thuật toán tham lam sau đó có thể được sử dụng để kết hợp các mục hiệu quả phù hợp cho một quy trình định kỳ, nhằm kết hợp các phân đoạn nhỏ hơn thành các phân đoạn lớn hơn phù hợp. [2] Khi thuật toán tìm kiếm chọn lọc hoàn thành thành công, nhiệm vụ tiếp theo của chúng ta là trích xuất các đặc trưng và đưa ra dự đoán thích hợp. Sau đó, chúng ta có thể đưa ra các đề xuất ứng cử viên cuối cùng và các mạng nơ-ron tích chập có thể được sử dụng để tạo vectơ đặc trưng n chiều (2048 hoặc 4096) làm đầu ra.

Với sự trợ giúp của mạng nơ-ron tích chập được đào tạo trước, chúng ta có thể đạt được nhiệm vụ trích xuất đặc trưng một cách dễ dàng. [2] Bước cuối cùng của R-CNN là đưa ra các dự đoán thích hợp cho hình ảnh và gắn nhãn hộp giới hạn tương ứng cho phù hợp.