Đồ án tốt nghiệp: Thiết kế và thi công mô hình phân loại trái cây bằng CNN

Đồ án tốt nghiệp phân loại trái cây tự động bằng xử lý ảnh và Deep Learning (CNN). Chi tiết thiết kế, thi công mô hình trên Raspberry Pi.

• Tác giả: Đặng Minh Cảnh
• Người hướng dẫn: ThS. Nguyễn Duy Thảo
• Trường học: Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử Truyền thông
• Đề tài: Đồ án: Phân loại trái cây bằng AI (CNN, Raspberry Pi)
• Loại tài liệu: Đề tài tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Tp. Hồ Chí Minh

Tóm tắt

I. Tổng quan về đồ án phân loại trái cây bằng AI

Đồ án phân loại trái cây bằng AI (CNN) là một ứng dụng thực tiễn kết hợp học sâu (Deep Learning) với phần cứng Raspberry Pi. Dự án này được thực hiện tại Trường Đại học Sư phạm Kỹ thuật TP.HCM, nhằm tạo ra một mô hình tự động phân loại ba loại trái cây khác nhau. Hệ thống sử dụng mạng nơ-ron tích chập (Convolutional Neural Network) để nhận dạng và phân loại hình ảnh trái cây với độ chính xác cao. Mục tiêu chính của đồ án là kết hợp công nghệ xử lý ảnh, trí tuệ nhân tạo và tự động hóa để tạo ra một giải pháp thực tế cho ngành công nghiệp nông sản. Dự án này thể hiện ứng dụng của công nghệ AI trong cuộc sống hàng ngày, đặc biệt là trong lĩnh vực kiểm soát chất lượng và phân loại sản phẩm.

1.1. Khái niệm về mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập (CNN) là một kiến trúc học sâu đặc biệt được thiết kế để xử lý dữ liệu hình ảnh. CNN hoạt động thông qua các lớp tích chập, các lớp pooling và các lớp kết nối toàn phần. Mỗi lớp tích chập sử dụng các bộ lọc (kernel) để trích xuất các đặc trưng từ ảnh đầu vào. Công nghệ CNN được ứng dụng rộng rãi trong nhận dạng hình ảnh, phân loại đối tượng và xử lý thị giác máy tính.

1.2. Ứng dụng thực tiễn của AI trong phân loại sản phẩm

Ứng dụng AI trong phân loại trái cây mang lại nhiều lợi ích cho ngành nông sản hiện đại. Hệ thống tự động này giúp tăng hiệu suất, giảm chi phí nhân công và nâng cao độ chính xác trong phân loại sản phẩm. Công nghệ nhận dạng ảnh cho phép máy tự động phân biệt giữa các loại trái cây dựa trên đặc trưng hình ảnh như màu sắc, kích thước và hình dạng. Điều này đặc biệt quan trọng để đảm bảo chất lượng hàng hóa trước khi xuất khẩu.

II. Kiến trúc hệ thống phân loại trái cây

Hệ thống phân loại trái cây được thiết kế với kiến trúc toàn diện bao gồm ba thành phần chính: khối chụp ảnh, khối xử lý và khối thực thi. Khối chụp ảnh sử dụng camera Raspberry Pi để chụp hình ảnh trái cây, kết hợp với cảm biến hồng ngoại E18-D80NK để phát hiện vị trí sản phẩm trên băng tải. Khối xử lý chạy mô hình CNN trên Raspberry Pi 3 Model B để phân tích và phân loại hình ảnh. Khối thực thi sử dụng động cơ servo MG996R và hệ thống băng tải mini để di chuyển trái cây đến các vị trí phân loại khác nhau. Toàn bộ hệ thống được lập trình bằng Python và thư viện TensorFlow để đảm bảo hiệu suất cao.

2.1. Phần cứng chính của mô hình

Raspberry Pi 3 Model B là bộ xử lý chính của hệ thống, cung cấp đủ sức mạnh tính toán để chạy mô hình CNN. Camera Raspberry Pi được sử dụng để захват hình ảnh trái cây với độ phân giải cao. Cảm biến E18-D80NK phát hiện sự có mặt của sản phẩm, còn servo MG996R điều khiển cơ cấu phân loại. Hệ thống được cấp nguồn bằng ba nguồn riêng biệt: nguồn 24V cho băng tải, nguồn 5V 3A cho servo, và nguồn Tổ ong 5A cho Raspberry Pi.

2.2. Quy trình hoạt động của mô hình phân loại

Quy trình hoạt động bắt đầu khi trái cây được đặt lên băng tải. Cảm biến hồng ngoại phát hiện vị trí sản phẩm và kích hoạt hệ thống chụp ảnh. Camera Raspberry Pi chụp ảnh trái cây và gửi dữ liệu đến mô hình CNN để phân loại. Sau khi nhận diện được loại trái cây, hệ thống điều khiển servo để di chuyển sản phẩm vào hạng mục tương ứng. Toàn bộ quá trình được theo dõi và hiển thị trên giao diện màn hình để người dùng giám sát.

III. Mô hình học sâu CNN cho nhận dạng trái cây

Mô hình CNN được xây dựng và huấn luyện để phân loại ba loại trái cây khác nhau. Mô hình sử dụng tập dữ liệu (dataset) chứa hàng nghìn hình ảnh trái cây đã được gắn nhãn. Quá trình huấn luyện sử dụng thư viện TensorFlow và Python để tối ưu hóa trọng số của mạng nơ-ron. Lớp tích chập trích xuất các đặc trưng từ ảnh gốc, trong khi lớp pooling giảm kích thước dữ liệu để tăng hiệu suất xử lý. Hàm kích hoạt ReLU được sử dụng để giới thiệu tính phi tuyến tính vào mô hình. Kết quả huấn luyện cho thấy độ chính xác cao trên tập validation, chứng minh hiệu quả của mô hình AI.

3.1. Các lớp chính trong kiến trúc CNN

Lớp tích chập (Convolutional Layer) là thành phần cốt lõi của mạng CNN, sử dụng các bộ lọc (kernel) để trích xuất đặc trưng từ ảnh. Lớp pooling giảm kích thước dữ liệu bằng cách lấy giá trị cực đại hoặc trung bình trong các vùng nhỏ. Lớp kết nối toàn phần (Fully Connected) kết hợp các đặc trưng được trích xuất để thực hiện phân loại cuối cùng. Hàm softmax tính xác suất cho mỗi loại trái cây, giúp mô hình đưa ra quyết định phân loại chính xác.

3.2. Quá trình huấn luyện và tối ưu hóa mô hình

Quá trình huấn luyện (training) sử dụng SGD (Stochastic Gradient Descent) hoặc Adam optimizer để cập nhật trọng số mô hình. Tập dữ liệu được chia thành tập huấn luyện và tập kiểm tra để đánh giá hiệu suất mô hình. Hàm mất mát (loss function) đo lường sự khác biệt giữa dự đoán và nhãn thực tế, giúp mô hình học tập hiệu quả. Kỹ thuật regularization được áp dụng để tránh overfitting và cải thiện khả năng tổng quát hóa của mô hình.

IV. Kết quả thực nghiệm và ứng dụng thực tế

Kết quả thực nghiệm của đồ án cho thấy độ chính xác phân loại đạt mức 95% trên tập validation dataset. Mô hình CNN có khả năng nhận dạng chính xác ba loại trái cây trong các điều kiện ánh sáng khác nhau. Giao diện điều khiển trên màn hình cung cấp thông tin chi tiết về quá trình phân loại, giúp người dùng giám sát và điều chỉnh hệ thống. Thời gian xử lý trung bình cho mỗi sản phẩm là 2-3 giây, cho phép hệ thống hoạt động liên tục với năng suất cao. Đồ án này chứng minh rằng kết hợp AI với Raspberry Pi tạo ra một giải pháp hiệu quả, chi phí thấp và dễ triển khai cho các ứng dụng tự động hóa công nghiệp.

4.1. Các chỉ số hiệu suất của mô hình

Độ chính xác (Accuracy) là chỉ số chính, đo lường tỷ lệ dự đoán chính xác so với tổng số mẫu. Precision và Recall cung cấp thông tin chi tiết hơn về hiệu suất cho từng loại trái cây. F1-score kết hợp Precision và Recall để đánh giá toàn diện hiệu suất mô hình. Ma trận nhầm lẫn (Confusion Matrix) cho thấy các trường hợp mô hình phân loại sai lệch ở đâu, giúp cải thiện mô hình trong tương lai.

4.2. Hướng phát triển và cải tiến trong tương lai

Hướng phát triển tiếp theo bao gồm mở rộng số lượng loại trái cây từ ba loại lên mười loại trở lên. Cải thiện độ chính xác thông qua transfer learning và sử dụng các mô hình pre-trained như ResNet hoặc MobileNet. Tối ưu hóa tốc độ xử lý để tăng năng suất hệ thống lên hơn 100 sản phẩm/phút. Tích hợp IoT cho phép giám sát từ xa và điều khiển qua ứng dụng mobile. Ngoài ra, có thể phát triển phiên bản edge computing chạy trực tiếp trên thiết bị để giảm độ trễ.

Trích đoạn nội dung tài liệu

đặt vấn đề dẫn nhập, lý do chọn đề tài, mục tiêu, nội dung nghiên cứu, các giới hạn thông số và bố cục đồ án. Chƣơng 2: Cơ Sở Lý Thuyết. Nội dung chƣơng bao gồm lý thuyết cơ bản về xử lý ảnh, giới thiệu về mạng nơ- ron tích chập (CNN), giới thiệu cơ bản về Raspberry Pi, ngôn ngữ lập trình Python và thƣ viện hỗ trợ Open CV, giới thiệu về cảm biến E18-D80NK, Servo. Chƣơng 3: Thiết Kế và Tính Toán Từ những cơ sở lý thuyết có đƣợc, nhóm đề tài sẽ trình bày về sơ đồ khối, chức năng từng khối và kết nối của hệ thống.

Chƣơng 4: Thi Công Hệ Thống Sau khi thực hiện tính toán và thiết kế, nhóm đề tài sẽ tiến hành thi công hệ thống và trình bày lại quá trình thi công tại chƣơng này. Chƣơng 5: Kết Qủa - Nhận Xét - Đánh Giá Những kết quả đạt đƣợc cùng với những nhận xét, đánh giá về toàn bộ hệ thống nhóm đề tài sẽ tóm tắt tại Chƣơng 5. Chƣơng 6: Kết Luận và Hƣớng Phát Triển Cuối cùng, nhóm xin đƣợc trình bày những kết luận đã đƣợc rút ra trong suốt quá trình thực hiện đề tài cùng với hƣớng phát triển, cải tiến của đề tài sao cho phù hợp với thực tế hơn. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 3 CHƢƠNG 2.

CƠ SỞ LÝ THUYẾT Chƣơng 2: CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH 2.1 Giới thiệu về xử lý ảnh Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa học mới so với nhiều ngành khoa học khác nhƣng tốc độ phát triển của nó rất nhanh đặc biệt là máy tính chuyên dụng riêng cho nó. Xử lý ảnh là kỹ thuật áp dụng trong việc tăng cƣờng và xử lý các ảnh thu nhận từ các thiết bị nhƣ camera, webcam… Do đó, xử lý ảnh đã đƣợc ứng dụng và phát triển trong rất nhiều lĩnh vực quan trọng nhƣ:  Trong lĩnh vực quân sự: xử lý và nhận dạng ảnh quân sự.  Trong lĩnh vực giao tiếp: nhận dạng ảnh, xử lý âm thanh, đồ họa.

 Trong lĩnh vực an ninh, bảo mật: nhận diện khuôn mặt ngƣời, nhận diện vân tay, mẫu mắt, …  Trong lĩnh vực giải trí: trò chơi điện tử.  Trong lĩnh vực y tế: xử lý ảnh y sinh, chụp X quang, MRI,… Sau đây, ta sẽ xét các bƣớc cần thiết trong quá trình xử lý ảnh. Đầu tiên, ảnh tự nhiên từ thế giới bên ngoài đƣợc thu nhận qua các thiết bị thu (nhƣ camera, máy chụp ảnh). Trƣớc đây, ảnh thu qua camera là các ảnh tƣơng tự (loại camera ống kiểu CCIR).

Gần đây với sự phát triển của công nghệ, ảnh màu hoặc đen trắng đƣợc lấy ra từ camera, sau đó nó đƣợc chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo. Mặt khác ảnh có thể đƣợc quét từ vệ tinh chụp trực tiếp bằng máy quét ảnh. THU NHẬN TIỀN XỬ LÝ PHÂN ĐOẠN BIỂU DIỄN VÀ NHẬN DẠNG ẢNH ẢNH ẢNH MÔ TẢ VÀ NỘI SUY CƠ SỞ TRI THỨC Hình 2.1: Các bước cơ bản của xử lý ảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƢƠNG 2. CƠ SỞ LÝ THUYẾT  Thu nhận ảnh(Image Acquisition) : Ảnh có thể nhận qua camera màu hoặc đen trắng.

Thƣờng ảnh nhận qua camera là ảnh tƣơng tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hóa (nhƣ loại CCD – Change Coupled Device) là loại photodiot tạo cƣờng độ sáng tại mỗi điểm ảnh. Camera thƣờng dùng là loại quét dòng, ảnh tạo ra dạng 2 chiều. Chất lƣợng một ảnh thu nhận đƣợc phụ thuộc vào thiết bị thu, vào môi trƣờng (ánh sáng, phong cảnh).  Tiền xử lý(Image processing): Sau bộ thu nhận, ảnh có thể nhiễu độ tƣơng phản thấp nên cần đƣa vào bộ tiền xử lý để nâng cao chất lƣợng.

Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tƣơng phản để làm ảnh rõ hơn, nét hơn.  Phân đoạn(Segmentation) hay phân vùng ảnh: Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thƣ cho mục đích phân loại bƣu phẩm, cần chia các câu chữ về địa chỉ hoặc tên ngƣời thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh.

Kết quả nhận dạng phụ thuộc rất nhiều vào công đoạn này.  Biểu diễn ảnh(Image Representation): Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trƣng (Feature Selection) gắn với việc tách các đặc tính của ảnh dƣới dạng các thông tin định lƣợng hoặc làm cơ sở để phân biệt lớp đối tƣợng này với đối tƣợng khác trong phạm vi ảnh nhận đƣợc.

Ví dụ: trong nhận dạng ký tự trên phong bì thƣ, chúng ta miêu tả các đặc trƣng của từng ký tự giúp phân biệt ký tự này với ký tự khác. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 5 CHƢƠNG 2. CƠ SỞ LÝ THUYẾT  Nhận dạng và nội suy ảnh(Image Recognition and Interpretation): Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thƣờng thu đƣợc bằng cách so sánh với mẫu chuẩn đã đƣợc học (hoặc lƣu) từ trƣớc.

Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thƣ có thể đƣợc nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh đƣợc phân theo hai loại nhận dạng ảnh cơ bản:  Nhận dạng theo tham số.

 Nhận dạng theo cấu trúc. Một số đối tƣợng nhận dạng khá phổ biến hiện nay đang đƣợc áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt ngƣời…  Cơ sở tri thức(Knowledge Base): Nhƣ đã nói ở trên, ảnh là một đối tƣợng khá phức tạp về đƣờng nét, độ sáng tối, dung lƣợng điểm ảnh, môi trƣờng để thu ảnh phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phƣơng pháp toán học đảm bảo tiện lợi cho xử lý, ngƣời ta mong muốn bắt chƣớc quy trình tiếp nhận và xử lý ảnh theo cách của con ngƣời. Trong các bƣớc xử lý đó, nhiều khâu hiện nay đã xử lý theo các phƣơng pháp trí tuệ con ngƣời.

Vì vậy, ở đây các cơ sở tri thức đƣợc phát huy.  Mô tả: Ảnh sau khi số hoá sẽ đƣợc lƣu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo để phân tích. Nếu lƣu trữ ảnh trực tiếp từ các ảnh thô, đòi hỏi dung lƣợng bộ nhớ cực lớn và không hiệu quả theo quan điểm ứng dụng và công nghệ. Thông thƣờng, các ảnh thô đó đƣợc đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh đƣợc gọi là các đặc trƣng ảnh (Image Features) nhƣ: biên ảnh (Boundary), vùng ảnh (Region).

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 CHƢƠNG 2.2 PHƢƠNG PHÁP DÙNG NOTRON TÍCH CHẬP 2.1 Phƣơng pháp học sâu (Deep Learning) Hình 2. 2: Tổng quan về trí tuệ nhân tạo Các mạng huấn luyện theo phƣơng pháp học sâu còn đƣợc gọi với cái tên khác là mạng nơ-ron sâu (Deep Neural Network) do cách thức hoạt động của chúng. Về cơ bản, các mạng này bao gồm rất nhiều lớp khác nhau, mỗi lớp sẽ phân tích dữ liệu đầu vào theo các khía cạnh khác nhau và theo mức độ trừu tƣợng nâng cao dần. Cụ thể, với một mạng học sâu cho nhận dạng ảnh, các lớp đầu tiên trong mạng chỉ làm nhiệm vụ rất đơn giản là tìm kiếm các đƣờng thẳng, đƣờng cong, hoặc đốm màu trong ảnh đầu vào.

Các thông tin này sẽ đƣợc sử dụng làm đầu vào cho các lớp tiếp theo, với nhiệm vụ khó hơn là từ các đƣờng, các cạnh đó tìm ra các thành phần của vật thể trong ảnh. Cuối cùng, các lớp cao nhất trong mạng huấn luyện sẽ nhận nhiệm vụ phát hiện ra vật thể trong ảnh. Với cách thức học thông tin từ ảnh lần lƣợt qua rất nhiều lớp, nhiều tầng khác nhau nhƣ vậy, các phƣơng pháp này có thể giúp cho máy tính hiểu đƣợc những dữ liệu phức tạp bằng nhiều lớp thông tin đơn giản qua từng bƣớc phân tích. Đó cũng là lý do chúng đƣợc gọi là các phƣơng pháp học sâu.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 7 CHƢƠNG 2.2 Mô hình mạng tổng quát mạng nơ-ron Hình 2.3: Mạng nơ-ron tổng quát Mô hình tổng quát mạng nơ-ron bao gồm 3 lớp cơ bản: Input layer (lớp đầu vào), hidden layer (lớp ẩn), output layer (lớp đầu ra). Trong mỗi lớp sẽ chứa các nơ-ron đƣợc liên kết với các nơ-ron khác ở các lớp gần kề. Mỗi mô hình luôn có một lớp đầu vào và một lớp đầu ra, có hoặc không có các lớp ẩn. Các nơ-ron trong lớp ẩn và lớp đầu ra liên kết với các nơ-ron ở lớp trƣớc đó với các trọng số w và trong mỗi nơ-ron có hệ số bias riêng.

Mỗi lớp ẩn đƣợc gọi là fully connected layer (lớp kết nối đầy đủ) theo đúng ý nghĩa của nó do các nơ-ron đƣợc kết nối với tất cả nơ-ron của lớp trƣớc nhƣ đã nêu trên. Cả mô hình đƣợc gọi là fully connected neural network (FCN).3 Tập dữ liệu huấn luyện Về cơ bản, máy học yêu cầu phải có một tập dữ liệu (dataset). Tập dữ liệu này có thể hiểu là những gì chúng ta muốn cho máy tính “học” và sau khi quá trình “học” hoàn tất thì máy tính có thể nhận biết đƣợc đối tƣợng đã “học” trong những hoàn cảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 8 CHƢƠNG 2. CƠ SỞ LÝ THUYẾT khác nhau.

Do đó, việc chuẩn bị tập dữ liệu huấn luyện là điều quan trọng bậc nhất trong máy học. Nhóm thực hiện đề tài đã chuẩn bị một tập dữ liệu huấn luyện theo yêu cầu của đề tài tƣơng ứng 3 loại trái cây khác nhau: táo, chanh và lê. Tập dữ liệu bao gồm 1346 ảnh, trong đó ảnh táo chiếm 508 ảnh, ảnh chanh chiếm 534 ảnh và ảnh lê chiếm 549 ảnh.