Phát Hiện Loại Trái Cây Bằng Mô Hình YOLOv8

Phát hiện loại trái cây là một trong những ứng dụng quan trọng của công nghệ AI trong nông… 71 trang · Trường Đại Học Quản Lý và Công Nghệ Hải Phòng · 2024.

• Tác giả: Nguyễn Tuấn Hùng
• Người hướng dẫn: TS. Hứa Thị Hằng Thắm
• Trường học: Trường Đại Học Quản Lý và Công Nghệ Hải Phòng
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phát Hiện Loại Trái Cây
• Loại tài liệu: đề tài tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Hải Phòng

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIẢI THIẾU TỔNG QUAN
• 1.1. Phát hiện đối tượng
• 1.2. Cách phát hiện đối tượng
• 1.2.1. Kỹ thuật xử lý ảnh truyền thống
• 1.2.2. Mạng học sâu hiện đại
• 1.3. Các phương pháp phát hiện phổ biến hiện nay
• 1.3.1. Phương pháp mô tả đặc trưng (HOG)
• 1.3.2. Mạng nơ-ron tích chập theo vùng (R-CNN)
• 1.3.2.1. Faster R-CNN
• 1.3.2.2. Mạng đề xuất vùng (RPN)
• 1.3.3. YOLO
• 2. CHƯƠNG 2: MÔ HÌNH HỆ THỐNG PHÂN LOẠI TRÁI CÂY
• 2.1. Giới thiệu một số loại trái cây
• 2.2. Sự hoạt động của mô hình hệ thống phát hiện trái cây
• 2.2.1. Quá trình huấn luyện
• 2.2.2. Chuẩn bị ảnh
• 2.2.3. Quá trình đánh nhãn cho các đối tượng
• 2.2.4. Phát hiện loại trái cây bằng YOLO
• 3. CHƯƠNG 3: CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Môi trường thử nghiệm
• 3.2. Ngôn ngữ lập trình Python
• 3.3. Môi trường phát triển tích hợp Pycharm
• 3.4. Các đặc trưng
• 3.4.1. Công cụ trực tuyến Google Collab
• 3.4.2. Những đặc trưng chính trong Google Colab
• 3.5. Tạo bộ dữ liệu học để huấn luyện
• 3.6. Đào tạo mô hình phát hiện loại trái cây
• 3.7. Giá trị các biểu đồ
• 3.8. Giao diện ứng dụng phát hiện loại trái cây
• 3.9. Kết quả thử nghiệm trên mô hình đã huấn luyện
• 3.10. Đánh giá mô hình sau khi thử nghiệm
• 3.11. Kết quả huấn luyện
• 3.11.1. Thời gian huấn luyện
• 3.11.2. Ưu điểm của mô hình
• 3.11.3. Nhược điểm của mô hình
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Phát Hiện Loại Trái Cây Bằng Mô Hình YOLOv8

Phát hiện loại trái cây là một trong những ứng dụng quan trọng của công nghệ AI trong nông nghiệp. Mô hình YOLOv8 (You Only Look Once version 8) đã trở thành một công cụ mạnh mẽ trong việc nhận diện và phân loại trái cây. Với khả năng xử lý hình ảnh nhanh chóng và chính xác, YOLOv8 giúp nâng cao hiệu quả trong việc phân loại trái cây, từ đó cải thiện chất lượng sản phẩm và tăng giá trị kinh tế cho nông dân.

1.1. Khái niệm về Phát Hiện Đối Tượng trong Thị Giác Máy Tính

Phát hiện đối tượng là một lĩnh vực quan trọng trong thị giác máy tính, liên quan đến việc xác định và phân loại các đối tượng trong hình ảnh. Mô hình YOLOv8 sử dụng mạng nơ-ron tích chập để thực hiện nhiệm vụ này một cách hiệu quả.

1.2. Lợi ích của Việc Phát Hiện Loại Trái Cây

Việc phát hiện loại trái cây giúp giảm thiểu thời gian và công sức trong quá trình phân loại. Nó cũng đảm bảo chất lượng sản phẩm, giúp người tiêu dùng an tâm hơn về nguồn gốc và chất lượng trái cây.

II. Thách Thức Trong Phát Hiện Loại Trái Cây Bằng YOLOv8

Mặc dù mô hình YOLOv8 mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức trong việc phát hiện loại trái cây. Các yếu tố như điều kiện ánh sáng, độ phân giải hình ảnh và sự che khuất của trái cây có thể ảnh hưởng đến độ chính xác của mô hình. Ngoài ra, việc thu thập và gán nhãn dữ liệu cũng là một thách thức lớn.

2.1. Ảnh Hưởng của Điều Kiện Ánh Sáng

Điều kiện ánh sáng không đồng nhất có thể làm giảm độ chính xác của mô hình YOLOv8. Việc phát hiện trái cây trong môi trường ánh sáng yếu hoặc quá sáng có thể dẫn đến sai sót trong nhận diện.

2.2. Vấn Đề Che Khuất và Độ Phân Giải

Sự che khuất giữa các trái cây hoặc giữa trái cây với các đối tượng khác có thể gây khó khăn cho mô hình trong việc nhận diện chính xác. Độ phân giải hình ảnh thấp cũng có thể làm giảm khả năng phát hiện.

III. Phương Pháp Cài Đặt Mô Hình YOLOv8 Để Phát Hiện Trái Cây

Cài đặt mô hình YOLOv8 để phát hiện trái cây bao gồm nhiều bước quan trọng. Đầu tiên, cần thu thập dữ liệu hình ảnh trái cây và gán nhãn cho chúng. Sau đó, mô hình sẽ được huấn luyện trên tập dữ liệu này để cải thiện độ chính xác trong việc nhận diện.

3.1. Thu Thập và Gán Nhãn Dữ Liệu Hình Ảnh

Quá trình thu thập dữ liệu hình ảnh trái cây là rất quan trọng. Các hình ảnh cần được gán nhãn chính xác để mô hình có thể học hỏi và nhận diện đúng loại trái cây.

3.2. Huấn Luyện Mô Hình YOLOv8

Sau khi thu thập dữ liệu, mô hình YOLOv8 sẽ được huấn luyện. Quá trình này bao gồm việc điều chỉnh các tham số để tối ưu hóa độ chính xác của mô hình trong việc phát hiện trái cây.

IV. Ứng Dụng Thực Tiễn Của Mô Hình YOLOv8 Trong Nông Nghiệp

Mô hình YOLOv8 đã được áp dụng rộng rãi trong nông nghiệp để phát hiện và phân loại trái cây. Các ứng dụng này không chỉ giúp nâng cao hiệu quả sản xuất mà còn cải thiện chất lượng sản phẩm. Nhiều nông trại đã áp dụng công nghệ này để tự động hóa quy trình phân loại trái cây.

4.1. Tự Động Hóa Quy Trình Phân Loại

Việc áp dụng YOLOv8 giúp tự động hóa quy trình phân loại trái cây, giảm thiểu thời gian và công sức của công nhân. Điều này giúp tăng năng suất và giảm chi phí sản xuất.

4.2. Cải Thiện Chất Lượng Sản Phẩm

Mô hình YOLOv8 giúp phát hiện nhanh chóng các trái cây không đạt tiêu chuẩn, từ đó nâng cao chất lượng sản phẩm và đảm bảo sự hài lòng của người tiêu dùng.

V. Kết Luận và Tương Lai Của Phát Hiện Loại Trái Cây Bằng YOLOv8

Phát hiện loại trái cây bằng mô hình YOLOv8 không chỉ là một bước tiến trong công nghệ mà còn mở ra nhiều cơ hội cho ngành nông nghiệp. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến hơn nữa trong việc nâng cao chất lượng và hiệu quả sản xuất.

5.1. Tiềm Năng Phát Triển Công Nghệ

Công nghệ phát hiện trái cây bằng YOLOv8 có tiềm năng phát triển mạnh mẽ trong tương lai. Các nghiên cứu và cải tiến liên tục sẽ giúp nâng cao độ chính xác và khả năng ứng dụng của mô hình.

5.2. Hướng Đi Mới Trong Nông Nghiệp Thông Minh

Việc áp dụng công nghệ AI trong nông nghiệp sẽ mở ra hướng đi mới cho ngành này. Các mô hình như YOLOv8 sẽ trở thành công cụ không thể thiếu trong việc nâng cao hiệu quả sản xuất và chất lượng sản phẩm.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong ngành sản xuất nông nghiệp và hệ thống phân phối bán lẻ hiện đại, việc kiểm định chất lượng và phân loại nông sản đóng vai trò thiết yếu nhằm đảm bảo tính đồng nhất của sản phẩm thương mại. Tuy nhiên, quy trình phân loại thủ công bộc lộ nhiều hạn chế do tiêu tốn chi phí nhân công, mất nhiều thời gian và khó duy trì độ chính xác đồng đều khi xử lý khối lượng lớn hàng nghìn quả. Bên cạnh đó, thực tiễn đặt ra các yêu cầu phức tạp như phát hiện nhanh quả hư hỏng, dập nát hoặc phân biệt xuất xứ nông sản (ví dụ: nho Việt Nam và nho Trung Quốc) để hỗ trợ nhà phân phối ra quyết định kinh doanh và minh bạch hóa thông tin cho người tiêu dùng.

Đề tài "Phát hiện loại trái cây" được thực hiện nhằm xây dựng giải pháp thị giác máy tính giải quyết bài toán nhận diện và phân loại tự động. Đồ án xác định các mục tiêu và nhiệm vụ cụ thể:

1. Mô tả tóm tắt đề tài: Tìm hiểu mô hình phát hiện đối tượng YOLOv8 áp dụng cho bài toán phát hiện loại trái cây; thiết kế và xây dựng chương trình ứng dụng nhận diện tự động.
2. Nội dung hướng dẫn và triển khai:
   • Nghiên cứu tổng quan về bài toán phát hiện đối tượng (Object Detection) và cơ chế hoạt động của mô hình YOLOv8.
   • Thu thập, tiền xử lý và xây dựng bộ dữ liệu hình ảnh các loại trái cây phục vụ quá trình huấn luyện.
   • Cài đặt, cấu hình và huấn luyện mô hình phát hiện đối tượng với mạng YOLOv8.
   • Thử nghiệm, đánh giá mô hình trên tập dữ liệu hình ảnh tĩnh và luồng video.
   • Nhận xét, đánh giá kết quả thực nghiệm và đưa ra khuyến nghị ứng dụng.
3. Kết quả cần đạt được: Xây dựng hoàn chỉnh mô hình YOLOv8 phát hiện trái cây; phát triển ứng dụng nhận diện trên ảnh/video; hoàn thiện báo cáo đồ án tốt nghiệp.

• Đối tượng nghiên cứu: 7 loại trái cây phổ biến bao gồm cam, xoài, táo, chuối, nho, ổi và dưa hấu.
• Phạm vi nghiên cứu:
  • Không gian: Đồ án thực hiện tại Khoa Công nghệ Thông tin, Trường Đại học Quản lý và Công nghệ Hải Phòng, phối hợp thực tập tại Công ty TNHH Đào tạo và Tích hợp Công nghệ e-Teck.
  • Thời gian: Hoàn thành và bảo vệ vào tháng 5 năm 2024.

---

Cơ sở lý thuyết và phương pháp

Đề tài tiếp cận bài toán phát hiện đối tượng bằng cách tổng hợp cơ sở lý thuyết từ các phương pháp xử lý ảnh truyền thống đến các kiến trúc học sâu (Deep Learning) hiện đại.

Khung lý thuyết và mô hình phát hiện đối tượng

Bài toán phát hiện đối tượng tập trung giải quyết hai câu hỏi cơ bản: "Đối tượng cần tìm có xuất hiện trong hình ảnh không?" và "Nếu có, vị trí của nó nằm ở đâu (thông qua bounding box)?".

• Phương pháp truyền thống: Sử dụng bộ mô tả đặc trưng HOG (Histogram of Oriented Gradients). HOG chia ảnh thành các ô nhỏ (cells) kích thước $8 \times 8$ điểm ảnh, tính toán 64 vector gradient rồi rút gọn thành biểu đồ 9 giá trị hướng gradient, sau đó chuẩn hóa theo khối (blocks) để tạo ra vector đặc trưng bất biến với ánh sáng. Nhược điểm của kỹ thuật này là độ chính xác hạn chế trong môi trường nền phức tạp hoặc đối tượng bị che khuất.
• Mạng nơ-ron tích chập hai giai đoạn (Two-stage Detectors):
  • R-CNN: Sử dụng thuật toán Selective Search để trích xuất khoảng 2.000 vùng đề xuất (region proposals), sau đó đưa qua mạng CNN để phân loại và hồi quy hộp bao.
  • Fast R-CNN: Truyền toàn bộ bức ảnh qua mạng CNN một lần duy nhất để tạo bản đồ đặc trưng, cải thiện tốc độ xử lý so với R-CNN.
  • Faster R-CNN: Thay thế Selective Search bằng mạng đề xuất vùng RPN (Region Proposal Network), giảm thời gian tạo vùng biên xuống còn khoảng 10 ms mỗi ảnh.
• Mạng nơ-ron tích chập một giai đoạn (One-stage Detectors - Họ mô hình YOLO):
  • YOLOv1 – YOLOv7: Quá trình phát triển từ kiến trúc chia lưới đơn giản (v1: 45 FPS, 63.4 mAP), bổ sung Anchor Boxes và IoU (v2: 67 FPS, 76.8 mAP), xương sống Darknet-53 kết hợp bộ phân loại Logistic (v3: 28.2 mAP), các kỹ thuật Bag of Freebies / Bag of Specials (v4: 43.5 mAP), triển khai PyTorch linh hoạt (v5), đến các cải tiến mô-đun BiC và tự chưng cất (v6), tái tham số hóa mô hình và gán nhãn động (v7: 56.8 mAP).
  • Kiến trúc YOLOv8: Mô hình hiện đại tích hợp kiến trúc backbone CSPDarknet, phân nhánh C2f, và loại bỏ hoàn toàn anchor box (Anchor-free detection head). Cơ chế này cho phép dự đoán trực tiếp tâm đối tượng, giảm độ phức tạp trong khâu Triệt tiêu không tối đa (Non-Maximum Suppression - NMS).

Phương pháp nghiên cứu và hệ thống độ đo

Đề tài sử dụng phương pháp thực nghiệm kỹ thuật, bao gồm các bước: thu thập dữ liệu thứ cấp, gán nhãn thủ công kết hợp bán tự động, áp dụng kỹ thuật tăng cường dữ liệu (Data Augmentation), huấn luyện mô hình có giám sát trên nền tảng điện toán đám mây và kiểm thử độc lập.

Hiệu năng của mô hình được đánh giá qua các chỉ số thống kê chuẩn:

• Precision (Độ chính xác): Tỷ lệ các trường hợp mô hình dự đoán đúng trên tổng số các trường hợp dự đoán là dương tính. $$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$
• Recall (Độ nhớ lại / Độ nhạy): Tỷ lệ phát hiện chính xác đối tượng thực tế có trong dữ liệu. $$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$ (Trong đó: TP là Dương tính thực, FP là Dương tính giả, TN là Âm tính thực, FN là Âm tính giả).
• AP (Average Precision): Độ chính xác trung bình tính theo phương pháp nội suy 11 điểm trên các mức Recall từ 0.0 đến 1.0.
• mAP (Mean Average Precision): Trung bình cộng giá trị AP của tất cả 7 lớp trái cây cần nhận diện.

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu tổng quan

Chương 1 trình bày bối cảnh thực tiễn của ngành nông nghiệp và bán lẻ, phân tích sự cần thiết của việc ứng dụng thị giác máy tính vào tự động hóa phân loại nông sản. Tác giả tổng hợp bức tranh công nghệ phát hiện đối tượng qua hai nhánh tiếp cận: xử lý ảnh truyền thống (OpenCV, trích xuất đặc trưng HOG) và mạng nơ-ron học sâu.

Chương này đi sâu vào phân tích lộ trình phát triển của các kiến trúc mạng:

• Phân tích cơ chế hoạt động của các mạng hai giai đoạn gồm R-CNN, Fast R-CNN và Faster R-CNN với mạng đề xuất vùng RPN.
• Khái quát lịch sử phát triển của dòng mô hình YOLO từ phiên bản YOLOv1 (năm 2015) qua các mốc YOLOv2, YOLOv3, YOLOv4, YOLOv5, YOLOv6, YOLOv7, YOLOv8 và các biến thể mới như YOLOv9, YOLO-NAS, YOLO-World.
• Thiết lập cơ sở toán học cho các tiêu chuẩn đánh giá mô hình phân loại và phát hiện đối tượng, bao gồm bảng ma trận nhầm lẫn (Confusion Matrix), các công thức Precision, Recall, AP 11 điểm nội suy và mAP.

Chương 2: Mô hình hệ thống phân loại trái cây

Chương 2 mô tả chi tiết đặc điểm hình thái và sinh học của 7 loại trái cây được lựa chọn trong đề tài:

• Cam: Các giống cam sành, cam xoàn, cam ham lin, cam Xã Đoài.
• Xoài: Xoài Cát Hòa Lộc, Cát Chu, xoài keo, xoài Úc với các hình dạng tròn, bầu dục, biến đổi màu sắc từ xanh sang vàng.
• Táo, Chuối (chuối tiêu, chuối ngự, chuối sứ), Nho, Ổi và Dưa hấu: Đặc trưng về kích thước, màu sắc vỏ và dạng mọc (đơn lẻ hoặc theo chùm/nải).

Tiếp đó, chương 2 thiết lập sơ đồ khối hoạt động của hệ thống phân loại, quy trình thu thập ảnh, xử lý dữ liệu và cấu hình gán nhãn hộp bao (Bounding Box) thông qua nền tảng Roboflow. Tác giả phân tích cấu trúc chi tiết của mạng YOLOv8, tập trung vào thiết kế mô-đun hóa của Backbone, Neck và cơ chế đầu ra không neo (Anchor-free detection head), kết hợp thuật toán tối ưu hóa RAdam (Rectified Adam).

Chương 3: Cài đặt, thử nghiệm và đánh giá

Chương 3 trình bày toàn bộ quá trình thực nghiệm kỹ thuật:

• Thiết lập môi trường phần mềm với ngôn ngữ Python, môi trường phát triển tích hợp PyCharm, và hạ tầng huấn luyện trực tuyến Google Colab (sử dụng GPU/TPU) kết nối đồng bộ dữ liệu qua Google Drive.
• Xây dựng bộ dữ liệu huấn luyện chuẩn hóa về kích thước $640 \times 640$ pixels.
• Quá trình đào tạo mô hình YOLOv8 với số lượng chu kỳ huấn luyện 100 epochs.
• Phân tích các biểu đồ tổn thất (loss), biểu đồ hiệu suất, ma trận nhầm lẫn (Confusion Matrix) sau huấn luyện.
• Thiết kế giao diện ứng dụng cho phép người dùng nạp ảnh tĩnh hoặc truyền luồng video thời gian thực để thực hiện phát hiện trái cây tự động.
• Đánh giá chi tiết ưu điểm, nhược điểm và ghi nhận các trường hợp nhận diện sai lệch trong thực tế.

---

Thiết kế và triển khai

Hệ thống phát hiện loại trái cây được thiết kế theo quy trình xử lý thị giác máy tính khép kín, từ khâu chuẩn bị dữ liệu đầu vào đến triển khai ứng dụng thực tế.

Công nghệ và môi trường phát triển

• Ngôn ngữ lập trình: Python.
• Môi trường phát triển tích hợp (IDE): PyCharm.
• Hạ tầng huấn luyện: Google Colab hỗ trợ đơn vị xử lý đồ họa (GPU) và đơn vị xử lý Tensor (TPU), liên kết trực tiếp với Google Drive để lưu trữ trọng số mô hình.
• Công cụ gán nhãn và xử lý dữ liệu: Nền tảng Roboflow, hỗ trợ gán nhãn Bounding Box, kiểm tra sức khỏe dữ liệu (Health check) và thực hiện các kỹ thuật tăng cường dữ liệu (Data Augmentation) như xoay, lật, thay đổi độ sáng và màu sắc.

Cấu trúc dữ liệu huấn luyện

Dữ liệu hình ảnh được thu thập đa dạng về góc chụp, cường độ ánh sáng và bối cảnh không gian. Kích thước ảnh đầu vào được chuẩn hóa về định dạng $640 \times 640$ pixels theo yêu cầu tối ưu của mạng YOLOv8.

STT	Tên loại trái cây	Số lượng ảnh (Bảng 3-1)
1	Táo	1.189
2	Cam	1.087
3	Chuối	985
4	Xoài	935
5	Dưa hấu	878
6	Nho	875
7	Ổi	810
Tổng	7 lớp đối tượng	6.759

Triển khai mô hình và giao diện

1. Huấn luyện mô hình: Tập dữ liệu 6.759 ảnh được phân chia thành các tập huấn luyện (Train), tập kiểm định (Validation) và tập kiểm thử (Test). Quá trình đào tạo mô hình được cấu hình qua tệp định dạng YAML, thực thi trên Google Colab với số chu kỳ lặp 100 epochs.
2. Kiến trúc phát hiện: Tận dụng cơ chế Anchor-free của YOLOv8 giúp loại bỏ sự phụ thuộc vào các hộp neo cố định, giảm thiểu các phép tính toán không cần thiết trong giai đoạn hậu xử lý lọc biên NMS.
3. Ứng dụng thực nghiệm: Xây dựng giao diện chương trình cho phép nhận diện trái cây trên 2 phương thức:
   • Hình ảnh tĩnh: Nhận diện đơn đối tượng hoặc đồng thời nhiều loại quả khác nhau trong cùng một khung hình.
   • Video thời gian thực: Xử lý luồng khung hình liên tục để đóng khung và hiển thị tên loại trái cây kèm độ tin cậy.

---

Kết quả và đóng góp

Kết quả đạt được

• Đã thu thập và chuẩn hóa thành công bộ dữ liệu gồm 6.759 hình ảnh thuộc 7 nhóm trái cây phổ biến tại Việt Nam, hoàn thiện gán nhãn chính xác trên Roboflow.
• Huấn luyện thành công mô hình YOLOv8 trên tập dữ liệu tùy chỉnh sau 100 epochs, ghi nhận ma trận nhầm lẫn phản ánh tỷ lệ phân loại chính xác giữa các lớp đối tượng.
• Triển khai thành công phần mềm có giao diện trực quan, đáp ứng khả năng phân loại chính xác các trường hợp ảnh tĩnh có nhiều loại quả xếp chồng hoặc phân bố rải rác.
• Thử nghiệm thành công tính năng nhận diện đối tượng trái cây trên định dạng video với tốc độ xử lý đáp ứng yêu cầu thời gian thực.

Đóng góp của đề tài

• Cung cấp tài liệu tổng quan hệ thống hóa quá trình phát triển của các thuật toán phát hiện đối tượng từ HOG, họ R-CNN đến toàn bộ các thế hệ mạng YOLO (v1 đến v8).
• Xây dựng hoàn chỉnh quy trình kỹ thuật xây dựng ứng dụng AI trong nông nghiệp: từ tiền xử lý dữ liệu, gán nhãn, cấu hình huấn luyện YOLOv8 trên Google Colab đến đóng gói ứng dụng giao diện.
• Đặt nền tảng thực nghiệm ban đầu cho các nghiên cứu tiếp theo về tự động hóa phân loại nông sản phục vụ dây chuyền đóng gói hoặc bán lẻ thông minh.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

• Hiện tượng nhận diện sai lệch: Trong quá trình thử nghiệm thực tế, mô hình vẫn ghi nhận một số trường hợp dự đoán sai nhãn (False Positive/False Negative), cụ thể như quả xoài bị nhận dạng nhầm hoặc các chùm nho có mật độ quả dày đặc bị bỏ sót hoặc nhận diện sai.
• Tính phức tạp của bối cảnh: Khả năng nhận diện bị suy giảm khi đối tượng bị che khuất phần lớn, điều kiện ánh sáng thay đổi đột ngột hoặc góc chụp quá xa.

Hướng nghiên cứu tiếp

• Tiếp tục thu thập và bổ sung thêm dữ liệu hình ảnh ở các điều kiện môi trường phức tạp (thiếu sáng, bóng râm, quả bị che khuất).
• Nghiên cứu mở rộng bài toán nhận diện nhằm phân biệt quả đạt chuẩn chất lượng với quả bị hư hỏng, thối dập.
• Nâng cấp mô hình để phân biệt nguồn gốc xuất xứ của nông sản (ví dụ: phân biệt nho Việt Nam và nho nhập khẩu).
• Thử nghiệm tích hợp mô hình lên các thiết bị phần cứng nhúng phục vụ tự động hóa trực tiếp tại nông trại và siêu thị.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên chuyên ngành Công nghệ Thông tin, Kỹ thuật Phần mềm và Khoa học Dữ liệu đang nghiên cứu về thị giác máy tính và học sâu. Tài liệu cung cấp hướng dẫn từng bước về việc sử dụng nền tảng Roboflow để quản lý dữ liệu, kỹ thuật kết nối Google Colab với Google Drive để đào tạo mô hình học sâu, cũng như cách triển khai kiến trúc YOLOv8 vào một bài toán thực tế trong đời sống.

---

Câu hỏi thường gặp

1. Đồ án sử dụng kiến trúc mô hình nào để phát hiện trái cây và có điểm gì cải tiến so với các phiên bản trước?
Đồ án sử dụng mô hình YOLOv8. Cải tiến nổi bật của YOLOv8 so với các phiên bản tiền nhiệm là thiết kế Anchor-free (không sử dụng anchor box), giúp mô hình dự đoán trực tiếp tâm đối tượng thay vì điều chỉnh từ các hộp neo định sẵn, từ đó giảm số lượng dự đoán hộp biên và tăng tốc độ xử lý của quá trình Triệt tiêu không tối đa (NMS).

2. Bộ dữ liệu của đồ án gồm những loại trái cây nào và tổng số lượng ảnh là bao nhiêu?
Bộ dữ liệu gồm 7 loại trái cây với tổng cộng 6.759 hình ảnh, cụ thể: Táo (1.189 ảnh), Cam (1.087 ảnh), Chuối (985 ảnh), Xoài (935 ảnh), Dưa hấu (878 ảnh), Nho (875 ảnh) và Ổi (810 ảnh).

3. Công cụ nào được tác giả sử dụng để gán nhãn và tiền xử lý hình ảnh?
Tác giả sử dụng nền tảng Roboflow để tập trung dữ liệu, gán nhãn Bounding Box cho các đối tượng và áp dụng các kỹ thuật tăng cường dữ liệu (Data Augmentation) như xoay, lật và thay đổi màu sắc.

4. Mô hình được huấn luyện trong bao nhiêu chu kỳ (epochs) và trên hạ tầng nào?
Mô hình được huấn luyện với 100 epochs trên môi trường điện toán đám mây Google Colab (sử dụng tài nguyên GPU/TPU) và kết nối lưu trữ với Google Drive.

5. Trong phần thử nghiệm thực tế, mô hình gặp phải những lỗi nhận diện cụ thể nào?
Theo kết quả thử nghiệm ở Chương 3, mô hình còn gặp lỗi nhận diện sai nhãn ở một số trường hợp cụ thể như quả xoài bị nhận dạng sai và chùm nho bị nhận diện không chính xác.

---

Kết luận

Đồ án tốt nghiệp "Phát hiện loại trái cây" của sinh viên Nguyễn Tuấn Hùng đã hoàn thành đầy đủ các mục tiêu nghiên cứu và nhiệm vụ kỹ thuật được giao. Bằng việc ứng dụng mạng học sâu YOLOv8 kết hợp với quy trình xử lý dữ liệu trên Roboflow và hạ tầng Google Colab, tác giả đã xây dựng thành công ứng dụng nhận diện 7 loại trái cây trên cả hình ảnh tĩnh và video. Công trình mang tính ứng dụng thực tiễn cao, đóng vai trò làm cơ sở nền tảng cho việc phát triển các hệ thống phân loại nông sản tự động trong tương lai.

Trích đoạn nội dung tài liệu

Bà GIÁO DĀC VÀ ĐÀO T¾O TR¯äNG Đ¾I HàC QUÀN LÝ VÀ CÔNG NGHâ HÀI PHÒNG ------------------------------- Đà ÁN TÞT NGHIâP NGÀNH : CÔNG NGHâ THÔNG TIN Sinh viên: NGUYàN TUÂN HÙNG GiÁng viên h°ãng d¿n: TS. Hà THk H¯¡NG TH¡M HÀI PHÒNG - 2024 Bà GIÁO DĀC VÀ ĐÀO T¾O TR¯äNG Đ¾I HàC QUÀN LÝ VÀ CÔNG NGHâ HÀI PHÒNG ------------------------------- ĐË TÀI : PHÁT HIâN LO¾I TRÁI CÂY (CAM, TÁO, LÊ, ĐÀO, .) Đà ÁN TÞT NGHIâP Đ¾I HàC Hâ CHÍNH QUY NGÀNH : CÔNG NGHâ THÔNG TIN Sinh viên: NGUYàN TUÂN HÙNG GiÁng viên h°ãng d¿n: TS. Hà THk H¯¡NG TH¡M HÀI PHÒNG, THÁNG 5 - 2024 Bà GIÁO DĀC VÀ ĐÀO T¾O TR¯äNG Đ¾I HàC QUÀN LÝ VÀ CÔNG NGHâ HÀI PHÒNG ---------------------------------------------- NHIâM VĀ ĐË TÀI TÞT NGHIâP Sinh viên : Nguyễn TuÃn Hùng - MSV : 1912111009 Lãp : CT2301M Ngành : Công Nghệ Thông Tin Tên đß tài : Phát hiện lo¿i trái cây NHIâM VĀ ĐË TÀI ❖ Nái dung và các yêu cầu cần giÁi quy¿t trong nhiãm vā đß tài tßt nghiãp a) Mô tÁ tóm tÃt đß tài Tìm hiểu về mô hình phát hiện đối t°ÿng bằng YOLOv8 cho bài toán phát hiện lo¿i trái cây, thiết kế xây dựng ch°¡ng trình phát hiện lo¿i trái cây. b) Nái dung h°ãng d¿n - Tìm hiểu về bài toán phát hiện đối t°ÿng nói chung và phát hiện phát hiện đối t°ÿng bằng YOLOv8.

- Phân tích, thu thập dữ liệu hình Ánh trái cây để huÃn luyện phát hiện đối t°ÿng. - Cài đặt mô hình phát hiện đối t°ÿng bằng YOLOv8 - Thử nghiệm mô hình trên hình Ánh và video để phát hiện trái cáy. - Nhận xét đánh giá, kết luận và đ°a ra khuyến nghị khi āng dāng. c) K¿t quÁ cần đ¿t đ°ÿc - Đã xây dựng đ°ÿc mô hình phát hiện đối t°ÿng trái cây bằng YOLOv8.

- Xây dựng đ°ÿc āng dāng phát hiện lo¿i trái cây trên hình Ánh và video. - Viết báo cáo đß án tốt nghiệp. ❖ Các tài liãu, sß liãu cần thi¿t - Tài liệu tham khÁo lập trình ngôn ngữ Python. - Tài liệu về ph°¡ng pháp nhận diện đối t°ÿng bằng YOLO.

❖ Đßa đißm thực tÁp tßt nghiãp - Công Ty TNHH Đào T¿o và Tích Hÿp Công Nghệ e-Teck 2 CÁC CÁN Bà H¯âNG D¾N ĐË TÀI TÞT NGHIâP Há và tên : Hß Thị H°¡ng Th¡m Hác hàm, hác vß : Tiến sĩ C¢ quan công tác : Tr°ßng Đ¿i Học Hàng HÁi Việt Nam Nái dung h°ãng d¿n : - Tìm hiểu về bài toán phát hiện đối t°ÿng nói chung và phát hiện phát hiện đối t°ÿng bằng YOLOv8. - Phân tích, thu thập dữ liệu hình Ánh trái cây để huÃn luyện phát hiện đối t°ÿng. - Cài đặt mô hình phát hiện đối t°ÿng bằng YOLOv8 - Thử nghiệm mô hình trên hình Ánh và video để phát hiện trái cáy. - Nhận xét đánh giá, kết luận và đ°a ra khuyến nghị khi āng dāng.

K¿t quÁ cần đ¿t đ°ÿc: - Đã xây dựng đ°ÿc mô hình phát hiện đối t°ÿng trái cây bằng YOLOv8. - Xây dựng đ°ÿc āng dāng phát hiện lo¿i trái cây trên hình Ánh và video. - Viết báo cáo đß án tốt nghiệp. Đề tài tốt nghiệp đ°ÿc giao ngày &.

tháng 05 năm 2024 Yêu cầu phÁi hoàn thành xong tr°ớc ngày. Tháng 05 năm 2024 Đã nhận nhiệm vā ĐTTN Đã giao nhiệm vā ĐTTN Sinh viên Gi¿ng viên hướng dẫn Nguyễn TuÃn Hùng TS. Hß Thị H°¡ng Th¡m H¿i Phòng, ngày 25 tháng 05 năm 2024 TR¯æNG KHOA 3 Cáng Hòa Xã Hái Chă Nghĩa Viãt Nam Đác lÁp - Tự do - H¿nh phúc PHI¾U NHÀN XÉT CĂA GIÀNG VIÊN H¯âNG D¾N TÞT NGHIâP Há và tên giÁng viên: Hß Thị H°¡ng Th¡m Đ¢n vß công tác : Tr°ßng Đ¿i Học Hàng HÁi Há và tên sinh viên : Nguyễn TuÃn Hùng Chuyên ngành : Công Nghệ Thông Tin 1. Tinh thần thái đá căa sinh viên trong quá trình làm đß tài tßt nghiãp.

Đánh giá chÃt l°ÿng căa đá án/khóa luÁn (so vãi nái dung yêu cầu đã đß ra trong nhiãm vā Đ.N, trên các m¿t lý luÁn, thực tián, tính toán sß liãu. Ý ki¿n căa giÁng viên h°ãng d¿n tßt nghiãp Đ°ÿc bÁo vệ Không đ°ÿc bÁo vệ Điểm h°ớng dẫn H¿i Phòng, ngày.năm 2024 GiÁng viên h°ãng d¿n ( ký và ghi rõ họ tên) 4 Cáng hòa xã hái chă nghĩa Viãt Nam Đác lÁp - Tự do - H¿nh phúc PHI¾U NHÀN XÉT CĂA GIÀNG VIÊN CHÂM PHÀN BIâN Há và tên giÁng viên: Phùng Anh TuÃn Đ¢n vß công tác: Tr°ßng QuÁn Lý Và Công Nghệ HÁi Phòng Há và tên sinh viên: Nguyễn TuÃn Hùng - Chuyên ngành: Công Nghệ Thông Tin Đß tài tßt nghiãp: Phát Hiện Lo¿i Trái Cây 1. Phần nhÁn xét căa giÁng viên chÃm phÁn biãn. Ý ki¿n căa giÁng viên chÃm phÁn biãn Đ°ÿc bÁo vệ Không đ°ÿc bÁo vệ Điểm phÁn biện H¿i Phòng, ngày.năm 2024 GiÁng viên chÃm phÁn biãn (ký và ghi rõ họ tên) 5 Låi cÁm ¢n Đß án tốt nghiệp đ°ÿc hoàn thành t¿i Tr°ßng Đ¿i Học QuÁn Lý và Công Nghệ HÁi Phòng.

Trong thßi gian học tập và làm đề tài đß án < Phân hiện lo¿i trái cây (cam, táo, lê, đào, .)= em đã nhận đ°ÿc rÃt nhiều sự h°ớng dẫn chỉ bÁo để hoàn thiện đề tài. Điều đầu tiên, em xin gửi lßi cÁm ¡n trân thành đến có TS. Hß Thị H°¡ng Th¡m. Cô đã h°ớng dẫn, chỉ bÁo, truyền đ¿t kiến thāc tâm huyết để em có thể hoàn thành đề tài đß án này.

Tiếp đến em xin chân thành cÁm ¡n đến Tr°ßng Đ¿i Học QuÁn Lý và Công Nghệ HÁi Phòng n¡i em đã học tập, các học viên nhóm lớp Công Nghệ Thông Tin khóa 2019 – 2023 đã t¿o điều kiện, giúp đỡ, cá vũ về tinh thần cho em trong suốt quá trình học tập, hoàn thiện đß án. Trân trọng HÁi Phòng, ngày 15 tháng 5 năm 2024 Sinh Viên Nguyễn TuÃn Hùng 6 LäI CAM ĐOAN Sinh viên xin cam đoan đề tài <Phát Hiện Lo¿i Trái Cây (cam, táo, lê, đào, .)= là công trình nghiên cāu đác lập d°ới sự h°ớng dẫn cÿa TS. Hß Thị H°¡ng Th¡m – GiÁng viên Khoa Công nghệ thông tin Tr°ßng Đ¿i Học Hàng HÁi Việt Nam. Đề tài là sự cố gắng, quyết tâm cÿa cá nhân sinh viên trong việc tiếp cận kiến thāc chuyên môn mới để hoàn thành đ¿t māc tiêu cÿa đề tài.

Các dữ liệu đề nghiên cāu thực nghiệm là trung thāc có ngußn gốc trích dẫn rõ ràng. Sinh viên xin hoàn toàn chịu trách nghiệm với lßi cam đoan này Ng°ßi cam đoan Nguyễn TuÃn Hùng 7 MĀC LĀC Låi Cam Đoan. 8 Danh māc hình Ánh. 11 Danh sách bÁng.

13 BÁng các tÿ khóa Vi¿t TÃt. 13 Ch°¢ng 1: Giãi thiãu tãng quan. Phát hiện đối t°ÿng. Cách phát hiện đối t°ÿng.

Các Ph°¡ng pháp phát hiện phá biến hiện nay. Ph°¡ng pháp mô tÁ đặc tr°ng (HOG). Bài toán phát hiện lo¿i trái cây. Đánh giá đá tin cậy cÿa bài toán phân lo¿i.

Precision và Recall .27 Ch°¢ng 2: mô hình hã thßng phân lo¿i trái cây. Giới thiệu mát số lo¿i trái cây. S¡ đß ho¿t đáng cÿa mô hình hệ thống phát hiện trái cây. Quá trình HuÃn Luyện.

Chuẩn bị Ánh. Quá trình đánh nhãn cho các đối t°ÿng. Phát hiện lo¿i trái cây bằng YOLO .43 Ch°¢ng 3: Cài đ¿t, thā nghiãm và đánh giá. Môi tr°ßng thử nghiệm.

Ngôn nhữ lập trình Python. Môi tr°ßng phát triển tích hÿp Pycharm. Các đặc tr°ng:. Công cā trực tuyến Google Collab.

Những đặc tr°ng chính trong Google Colab. T¿o bá dữ liệu học để huÃn luyện. Đào t¿o mô hình phát hiện lo¿i trái cây. Giá trị các biểu đß.

Giao diện āng dāng phát hiện lo¿i trái cây. Kết quÁ thử nghiệm trên mô hình đã huÃn luyện. Đánh giá mô hình sau khi thử nghiệm. Kết quÁ huÃn luyện:.

Thßi gian huÃn luyện:. ¯u điểm cÿa mô hình:. Nh°ÿc điểm cÿa mô hình:. 67 TÀI LIâU THAM KHÀO.

68 10 DANH MĀC HÌNH ÀNH Hình 1.1: Công nhân đang phân lo¿i trái cây.2: Trái cây đ°ÿc xếp trong siêu thị.3: Phát hiện đối t°ÿng.4: Phát hiện đối t°ÿng dựa trên học sâu cho các ph°¡ng tiện.5: Kiến trúc hệ thống HOG để phát hiện đối t°ÿng.6: Mô hình R-CNN.7: Faster R-CNN – S¡ đß kiến trúc.8: M¿ng đề xuÃt vùng (RPN).9: ví dā biểu đß thể hiện P và R để tính AP .1 : Hình d¿ng quÁ cam .2 : Hình Ánh trái xoài .3: Hình Ánh trái táo .5: Hình Ánh nho .9: Mát số hình Ánh d°a hÃu khác .10 : S¡ đß ho¿t đáng cÿa mô hình phát hiện trái cây .11: Āng dāng YOLOv3 cho tÿ l¿nh thông minh trong ẩm thực và nhà hàng.12: Phát hiện đối t°ÿng nhỏ với YOLOv5 trong phân tích giao thông .13: Āng dāng hệ thống AI đ°ÿc đào t¿o để phát hiện máy bay với YOLOv7 .14: Kiến trúc YOLOv8.15: Hình dung anchor box trong YOLO .16: detection head cÿa YOLOv5 .17: detection head cÿa YOLOv8 .18: Hiệu suÃt trên Tập dữ liệu Phát hiện Đối t°ÿng MS COCO .1: đặc tr°ng tăng c°ßng hình Ánh trên Roboflow .2: Health check đ°ÿc thống kê trên Roboflow.3: cài các th° viện hß trÿ.4: Ân chọn biểu t°ÿng drive trong phần tệp .5: Đoãn mã kết nối Google Colab với Google Drive .6: đo¿n mã để bắt đầu đào t¿o .7: Biều đß thống kế sau khi đào t¿o.8: ma trận nhầm lẫn (hiệu suÃt dự đoán cÿa mô hình với epochs=100 .9: giao diện ch°¡ng trình .10: trái xoài bị nhận sai .11: chùm nho bị nhận diện sai .12: Kết quÁ phân lo¿i trái cây trên Ánh tĩnh có nhiều lo¿i quÁ .13: nhận diện bằng video .65 12 DANH SÁCH BÀNG BÁng Tên bÁng Trang 3-1 Số l°ÿng Ánh cÿa từng lo¿i 58 3-2 BÁng thử nghiệm với các epochs khác nhau 54 3-3 BÁng thử nghiệm phân lo¿i hình Ánh tĩnh 67 BÀNG CÁC Tþ KHÓA VI¾T TÂT Tÿ Vi¿t Nghĩa Ti¿ng Anh Nghĩa Ti¿ng Viãt TÃt AI Artificial Intelligence Trí tuệ nhân t¿o AP Average Precision Đá chính xác trung bình CNN Convolutional Neural Network M¿ng n¡ ron tích chập FN False Negative Âm tính giÁ FP False Positive D°¡ng tính giÁ GPU Graphics Processing Unit Đ¡n vị xử lý đß họa HOG Histogram of Oriented Gradient Biểu đß Gradient có h°ớng Integrated Development Environ- môi tr°ßng phát triển tích IDE ment hÿp IoU Intersection over Union Giao điểm qua Liên hiệp P Precision Đá chính xác R Recall Đá nhớ l¿i TN True Negative Âm tính thực TP True Positive D°¡ng tính thực TPU Tensor Processing Unit Đ¡n vị Xử lý Tensor YOLO You Only Look One B¿n chỉ nhìn mát lần 13 CH¯¡NG 1: GIâI THIâU TâNG QUAN 1. Đ¿t vÃn đß Với sự tiến bá không ngừng cÿa công nghệ và sự tăng tr°áng nhanh chóng cÿa dữ liệu thông qua m¿ng l°ới internet toàn cầu, chúng ta đã chāng kiến nhiều b°ớc tiến v°ÿt bậc trong lĩnh vực học máy, đặc biệt là thị giác máy tính.