Đặt vấn đề Với sự tiến bộ không ngừng của công nghệ và sự tăng trưởng nhanh chóng của dữ liệu thông qua mạng lưới internet toàn cầu, chúng ta đã chứng kiến nhiều bước tiến vượt bậc trong lĩnh vực học máy, đặc biệt là thị giác máy tính. Khả năng này có thể được áp dụng một cách hiệu quả trong ngành sản xuất và bán lẻ trái cây, nơi việc phát hiện và phân loại trái cây đóng vai trò then chốt để đảm bảo chất lượng và tính nhất quán của sản phẩm. Tuy nhiên, việc này có thể tốn kém và mất thời gian nếu thực hiện bằng tay, đặc biệt khi xử lý với số lượng lớn. Do đó, việc sử dụng công nghệ để phát hiện và phân loại trái cây có thể cải thiện đáng kể hiệu suất và chất lượng sản phẩm.1: Công nhân đang phân loại trái cây.
Trong nông nghiệp, người nông dân phải xử lý hàng nghìn quả từ nhiều loại trái cây khác nhau, việc phân loại quả hư, dập hoặc kém chất lượng là thách thức lớn, tốn nhiều thời gian và công sức. Bài toán đặt ra là làm sao để giúp nhanh 14 chóng loại bỏ sản phẩm không đạt chất lượng, nâng cao chất lượng tổng thể và giá trị bán ra, cải thiện thu nhập cho nông dân. Ngoài ra làm cách nào để có thể phân biệt nguồn gốc trái cây, như nho Việt Nam hay nho Trung Quốc, giúp nhà phân phối đưa ra quyết định kinh doanh hiệu quả và người tiêu dùng an tâm hơn về nguồn gốc sản phẩm. Lúc này ta cần một công cụ để giúp ta giải quyết những vấn đề trên.
Với đề tài “Phát hiện loại trái cây”, như là bước đầu tiền để bắt đầu xây dựng một mô hình nâng cao chất lượng nông nghiệp tạo nền tảng cho các mô hình tiên tiến hơn trong tương lai.2: Trái cây được xếp trong siêu thị. Phát hiện đối tượng 1. Khái niệm Phát hiện đối tượng, một lĩnh vực quan trọng trong thị giác máy tính và xử lý ảnh, liên quan đến việc xác định các trường hợp cụ thể của đối tượng ngữ nghĩa thuộc một lớp nhất định trong hình ảnh và video kỹ thuật số. Các mô hình phát hiện đối tượng thường được huấn luyện để xác định các đối tượng cụ thể trong hình ảnh, video hoặc trong thời gian thực.
[1] Phát hiện đối tượng đóng vai trò quan trọng trong sự phát triển của học sâu và xử lý ảnh. Mục tiêu của nó là phát triển các mô hình tính toán để cung cấp thông tin cơ bản nhất cần thiết cho các ứng dụng thị giác máy tính, trả lời hai câu hỏi chính: ‘Đối tượng cần tìm có xuất hiện trong hình ảnh không?’ và ‘Nếu có, vị trí của nó là gì?’.3: Phát hiện đối tượng. 16 Phát hiện đối tượng là một trong những vấn đề cơ bản của thị giác máy tính, tạo nền tảng cho nhiều nhiệm vụ khác như phân đoạn thực thể và hình ảnh, tạo chú thích cho hình ảnh, theo dõi đối tượng, và nhiều hơn nữa. Các ứng dụng cụ thể của phát hiện đối tượng bao gồm phát hiện người đi bộ, phát hiện động vật, phát hiện xe cộ, đếm người, phát hiện khuôn mặt, phát hiện văn bản, phát hiện tư thế, nhận dạng biển số và như ở đây là phát hiện trái cây.
Cách phát hiện đối tượng Để phát hiện đối tượng, có thể sử dụng các kỹ thuật xử lý ảnh truyền thống hoặc mạng học sâu hiện đại. Mỗi phương pháp có ưu điểm và nhược điểm riêng, phù hợp với các yêu cầu và điều kiện khác nhau. Cách 1: Kỹ thuật xử lý ảnh truyền thống Các kỹ thuật xử lý ảnh truyền thống không yêu cầu dữ liệu lịch sử để đào tạo và tự giám sát. OpenCV là một công cụ phổ biến cho các nhiệm vụ xử lý ảnh truyền thống.
Một số ưu và nhược điểm của phương pháp này bao gồm Ưu điểm: Không yêu cầu hình ảnh được gán nhãn thủ công, giúp giảm bớt khối lượng công việc và chi phí liên quan đến việc tạo dữ liệu đào tạo. Nhược điểm: - Hạn chế trong các tình huống phức tạp như nền không đồng nhất, đối tượng bị che khuất một phần, điều kiện ánh sáng và bóng tối thay đổi, và các hiệu ứng nhiễu. - Độ chính xác và độ tin cậy thường không cao bằng các phương pháp học sâu. [1] Cách 2: Mạng học sâu hiện đại Các phương pháp học sâu thường phụ thuộc vào học có giám sát hoặc không giám sát, với các phương pháp học có giám sát là tiêu chuẩn trong các nhiệm vụ thị giác máy tính.
Hiệu suất của các phương pháp này bị giới hạn bởi sức mạnh tính toán của GPU, đang tăng nhanh từng năm. 17 Ưu điểm: - Phát hiện đối tượng bằng học sâu mạnh mẽ hơn đối với các trường hợp đối tượng bị che khuất, cảnh quan phức tạp và điều kiện ánh sáng thách thức. - Độ chính xác cao hơn so với các phương pháp truyền thống. Nhược điểm: - Yêu cầu một lượng lớn dữ liệu đào tạo.
Quá trình gán nhãn hình ảnh là công việc tốn nhiều thời gian và chi phí.000 hình ảnh để đào tạo thuật toán phát hiện đối tượng tùy chỉnh được coi là một tập dữ liệu nhỏ. - Cần có sức mạnh tính toán cao, đặc biệt là GPU, để xử lý và đào tạo mô hình. Để giảm bớt khó khăn trong việc thu thập và gán nhãn dữ liệu, có thể sử dụng các bộ dữ liệu đã được gán nhãn sẵn như MS COCO, Caltech, KITTI, PAS- CAL VOC, và V5. Những bộ dữ liệu này cung cấp một lượng lớn hình ảnh đã được gán nhãn, giúp rút ngắn quá trình thu thập và chuẩn bị dữ liệu cho việc đào tạo mô hình học sâu.4: Phát hiện đối tượng dựa trên học sâu cho các phương tiện.
Các Phương pháp phát hiện phổ biến hiện nay 1. Phương pháp mô tả đặc trưng (HOG) Hình 1.5: Kiến trúc hệ thống HOG để phát hiện đối tượng. Phương pháp mô tả đặc trưng (Histogram of Oriented Gradient – HOG) là một trong những phương pháp phát hiện đối tượng lâu đời nhất. Nó được giới thiệu lần đầu tiên vào năm 1986.
Mặc dù có một số phát triển trong thập kỷ sau đó, cách tiếp cận này không trở nên phổ biến cho đến năm 2005 khi nó bắt đầu được sử dụng trong nhiều nhiệm vụ liên quan đến thị giác máy tính. HOG sử dụng trình trích xuất đặc trưng để xác định các đối tượng trong hình ảnh. [2] Bản chất của phương pháp HOG là sử dụng thông tin về sự phân bố của các cường độ gradient hoặc của hướng biên để mô tả các đối tượng cục bộ trong ảnh. Các toán tử HOG được cài đặt bằng cách chia nhỏ một bức ảnh thành các vùng con, được gọi là cell và với mỗi cell, ta sẽ tính toán một histogram về các hướng của gradients cho các điểm nằm trong cell.
Ghép các histogram lại với nhau ta sẽ có một biểu diễn cho bức ảnh ban đầu. Để tăng cường hiệu năng nhận dạng, các histogram cục bộ có thể được chuẩn hóa về độ tương phản bằng cách tính một ngưỡng cường độ trong một vùng lớn hơn cell, gọi là các khối và sử dụng giá trị ngưỡng đó để chuẩn hóa tất cả các 19 cell trong khối. Kết quả sau bước chuẩn hóa sẽ là một vector đặc trưng có tính bất biến đối với các thay đổi về điều kiện ánh sáng. [2] Trước khi chúng ta hiểu kiến trúc tổng thể của HOG, hãy xem cách nó hoạt động.
Đối với một điểm ảnh cụ thể trong hình ảnh, biểu đồ tần suất của gradient được tính bằng cách xem xét các giá trị dọc và ngang để có được các vectơ đối tượng. Với sự trợ giúp của độ lớn gradient và các góc gradient, chúng ta có thể có được giá trị rõ ràng cho điểm ảnh hiện tại bằng cách khám phá các thực thể khác trong môi trường xung quanh ngang và dọc của chúng. [2] Như thể hiện trong biểu diễn hình ảnh ở trên, chúng tôi sẽ xem xét một phân đoạn hình ảnh có kích thước cụ thể. Bước đầu tiên là tìm gradient bằng cách chia toàn bộ tính toán của hình ảnh thành các biểu diễn gradient của 8×8 ô.
Với sự trợ giúp của 64 vectơ gradient đạt được, chúng ta có thể chia mỗi ô thành các góc và tính toán biểu đồ cho diện tích cụ thể. Quá trình này làm giảm kích thước của 64 vectơ xuống kích thước nhỏ hơn là 9 giá trị. [2] Khi chúng tôi có được kích thước của các giá trị biểu đồ điểm 9 cho mỗi ô, chúng tôi có thể chọn tạo chồng chéo cho các khối ô. Các bước cuối cùng là tạo các khối đặc trưng, chuẩn hóa các vectơ đặc trưng thu được và thu thập tất cả các vectơ đặc trưng để có được đặc trưng HOG tổng thể.
Mạng nơ-ron • Mạng nơ-ron tích chập theo vùng (R-CNN) Hình 1.6: Mô hình R-CNN. [17] 20 Các mạng nơ-ron tích chập dựa trên khu vực là một cải tiến trong quy trình phát hiện đối tượng từ các phương pháp HOG và SIFT (biến đổi đặc trưng không đổi theo tỉ lệ) trước đây. Trong các mô hình R-CNN, chúng ta cố gắng trích xuất các đặc trưng thiết yếu nhất (thường là khoảng 2000 đặc trưng) bằng cách sử dụng các đặc trưng chọn lọc. Quá trình lựa chọn các trích xuất quan trọng nhất có thể được thực hiện với sự trợ giúp của thuật toán tìm kiếm chọn lọc, nhằm đạt được các đề xuất khu vực quan trọng hơn.
[2] Quy trình làm việc của thuật toán tìm kiếm chọn lọc để chọn các đề xuất khu vực quan trọng nhất bao gồm việc tạo nhiều phân đoạn phụ trên một hình ảnh cụ thể và chọn các mục ứng cử viên cho nhiệm vụ của bạn. Thuật toán tham lam sau đó có thể được sử dụng để kết hợp các mục hiệu quả phù hợp cho một quy trình định kỳ, nhằm kết hợp các phân đoạn nhỏ hơn thành các phân đoạn lớn hơn phù hợp. [2] Khi thuật toán tìm kiếm chọn lọc hoàn thành thành công, nhiệm vụ tiếp theo của chúng ta là trích xuất các đặc trưng và đưa ra dự đoán thích hợp. Sau đó, chúng ta có thể đưa ra các đề xuất ứng cử viên cuối cùng và các mạng nơ-ron tích chập có thể được sử dụng để tạo vectơ đặc trưng n chiều (2048 hoặc 4096) làm đầu ra.
Với sự trợ giúp của mạng nơ-ron tích chập được đào tạo trước, chúng ta có thể đạt được nhiệm vụ trích xuất đặc trưng một cách dễ dàng. [2] Bước cuối cùng của R-CNN là đưa ra các dự đoán thích hợp cho hình ảnh và gắn nhãn hộp giới hạn tương ứng cho phù hợp.