Đồ án tốt nghiệp: Thiết kế mô hình phân loại trái cây bằng xử lý ảnh - ĐH SPKT

Đồ án tốt nghiệp: Mô hình phân loại trái cây tự động bằng xử lý ảnh. Tài liệu hướng dẫn thiết kế, thi công hệ thống sử dụng Raspberry Pi và CNN.

• Tác giả: Võ Thanh Duy
• Người hướng dẫn: ThS. Nguyễn Duy Thảo
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Điện Tử Truyền Thông
• Đề tài: Ứng Dụng Xử Lý Ảnh Vào Thiết Kế Và Thi Công Mô Hình Phân Loại Trái Cây
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2020
• Địa điểm: Thành Phố Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Hệ thống Phân loại Trái cây Tự động

Phân loại trái cây tự động bằng xử lý ảnh là một giải pháp công nghệ tiên tiến trong lĩnh vực nông nghiệp hiện đại. Hệ thống này kết hợp xử lý ảnh số, trí tuệ nhân tạo và mạng nơ-ron tích chập (CNN) để nhận diện và phân loại các loại trái cây một cách chính xác và nhanh chóng. Ứng dụng xử lý ảnh vào thiết kế mô hình phân loại trái cây giúp tự động hóa quy trình kiểm soát chất lượng, nâng cao hiệu suất sản xuất và giảm chi phí nhân công. Công nghệ này sử dụng camera Raspberry Pi để thu thập hình ảnh trái cây, sau đó xử lý và phân tích thông qua mô hình học máy đã được đào tạo. Hệ thống hoạt động trên nền tảng Raspberry Pi 3 Model B, một máy tính nhỏ gọn nhưng mạnh mẽ, cho phép thực hiện các tác vụ phức tạp với chi phí thấp.

1.1. Khái niệm Xử lý Ảnh và Ứng dụng

Xử lý ảnh là quá trình áp dụng các thuật toán toán học để cải thiện, phân tích và trích xuất thông tin từ hình ảnh kỹ thuật số. Phân loại trái cây sử dụng các kỹ thuật xử lý ảnh như tiền xử lý, phân tích đặc trưng và nhận diện mẫu. Các bước cơ bản bao gồm: nắn chỉnh ảnh, tăng cường độ tương phản, và trích xuất đặc trưng. Ứng dụng thực tế giúp tự động hóa dây chuyền sản xuất, kiểm soát chất lượng và phân loại hàng hóa nhanh chóng.

1.2. Ý nghĩa và Lợi ích của Tự động hóa

Tự động hóa phân loại trái cây mang lại nhiều lợi ích kinh tế và kỹ thuật. Hệ thống giảm sai sót nhân công, tăng tốc độ xử lý và độ chính xác so với phương pháp thủ công. Mô hình phân loại tự động hoạt động 24/7 mà không cần nghỉ ngơi, nâng cao năng suất lao động. Tiết kiệm chi phí nhân công, cải thiện tiêu chuẩn chất lượng sản phẩm và tối ưu hóa quy trình sản xuất nông nghiệp.

II. Nguyên lý Hoạt động của Mạng Nơ ron Tích chập CNN

Mạng nơ-ron tích chập (CNN) là một kiến trúc học sâu (deep learning) đặc biệt phù hợp để xử lý dữ liệu hình ảnh. CNN phân loại trái cây hoạt động dựa trên nguyên lý nhận biết các đặc trưng hình ảnh ở các tầng khác nhau. Tầng tích chập (convolutional layer) thực hiện phép tính tích chập giữa ảnh đầu vào và các bộ lọc (filters) để trích xuất đặc trưng cực tiểu. Tầng gộp (pooling layer) giảm kích thước dữ liệu và bảo toàn thông tin quan trọng. Tầng kết nối đầy đủ (fully connected) thực hiện phân loại cuối cùng dựa trên các đặc trưng đã học. Quá trình đào tạo sử dụng hàng nghìn ảnh trái cây và thuật toán tối ưu hóa để điều chỉnh trọng số mạng, giúp mô hình đạt độ chính xác cao.

2.1. Cấu trúc và Các thành phần của CNN

Mạng nơ-ron tích chập bao gồm nhiều lớp xử lý khác nhau. Tầng tích chập sử dụng ma trận filter để phát hiện các đặc trưng như cạnh, viền, màu sắc. Tầng pooling thực hiện max pooling hoặc average pooling để giảm kích thước dữ liệu. Tầng kích hoạt ReLU giới thiệu phi tuyến tính vào mô hình. Tầng kết nối đầy đủ được sử dụng ở cuối để thực hiện phân loại cuối cùng thành các danh mục trái cây khác nhau.

2.2. Quá trình Đào tạo và Tối ưu hóa Mô hình

Quá trình đào tạo CNN sử dụng tập dữ liệu đã gán nhãn chứa hàng ngàn ảnh trái cây. Thuật toán lan truyền ngược (backpropagation) tính toán gradient và cập nhật trọng số. Hàm mất mát (loss function) đo lường sai số giữa dự đoán và kết quả thực tế. Sử dụng Google Colaboratory với GPU Tesla để tăng tốc độ huấn luyện. Kỹ thuật regularization như dropout giúp ngăn chặn overfitting và cải thiện khả năng tổng quát hóa của mô hình.

III. Thành phần Phần cứng của Hệ thống

Hệ thống phân loại trái cây được xây dựng trên nền tảng Raspberry Pi 3 Model B, một máy tính nhúng nhỏ gọn nhưng đủ mạnh để chạy mô hình học máy. Camera Raspberry Pi có độ phân giải 5 megapixel, cho phép thu thập ảnh chất lượng cao của trái cây. Cảm biến hồng ngoại E18-D80NK phát hiện sự có mặt của trái cây trên băng tải và kích hoạt hệ thống xử lý. Động cơ servo MG946R điều khiển cơ cấu phân loại để đẩy trái cây vào các hộc chứa khác nhau dựa trên kết quả dự đoán. Hệ thống băng tải vận chuyển trái cây qua camera một cách liên tục và ổn định. Tất cả các thành phần được tích hợp thành một mô hình hoàn chỉnh với giao diện điều khiển trực quan.

3.1. Raspberry Pi 3 và Camera Module

Raspberry Pi 3 Model B chứa bộ xử lý ARMv8 4 nhân, RAM 1GB và GPU VideoCore IV. Camera Raspberry Pi kết nối qua cổng CSI với độ phân giải 2592 × 1944 pixel. Hỗ trợ quay video Full HD và chụp ảnh tĩnh chất lượng cao. Giao diện GPIO trên Raspberry Pi cho phép kết nối với các cảm biến và động cơ khác, làm cho nó lý tưởng cho các ứng dụng IoT và tự động hóa.

3.2. Cảm biến và Cơ cấu Chuyển động

Cảm biến hồng ngoại E18-D80NK có phạm vi phát hiện 3-80cm, phù hợp để phát hiện trái cây trên băng tải. Động cơ servo MG946R có mô men xoắn 10kg-cm, tốc độ 60°/0.16s, đủ để di chuyển cơ cấu phân loại. Hệ thống relay 5V bảo vệ Raspberry Pi khỏi dòng điện lớn từ động cơ. Băng tải mini được độc lập điều khiển bởi module relay để vận chuyển trái cây liên tục.

IV. Kết quả và Hướng Phát triển của Hệ thống

Hệ thống phân loại trái cây tự động đã được thiết kế, thi công và kiểm tra thành công. Mô hình CNN đạt độ chính xác cao trong phân loại 3 loại trái cây (táo, cam, chuối). Giao diện điều khiển cung cấp thông tin thời gian thực về kết quả phân loại và tình trạng hệ thống. Giao diện Web cho phép giám sát từ xa thông qua trình duyệt web. Kết quả thực nghiệm cho thấy tốc độ xử lý khoảng 2-3 trái cây/giây với độ chính xác trên 95%. Hướng phát triển bao gồm mở rộng số lượng loại trái cây, tối ưu hóa độ chính xác, cải thiện tốc độ xử lý và tích hợp AI nâng cao để dự đoán độ chín của trái cây.

4.1. Kết quả Đạt được

Hệ thống hoạt động ổn định với độ chính xác phân loại 95-98% trên tập dữ liệu kiểm tra. Giao diện người dùng hiển thị số lượng trái cây phân loại theo loại và tỷ lệ phần trăm. Tốc độ xử lý đạt 2-3 trái cây mỗi giây cho phép phục vụ nhu cầu thương mại. Mô hình được lưu trữ dưới định dạng TensorFlow Lite cho Raspberry Pi. Hệ thống tiêu thụ điện năng thấp, phù hợp cho ứng dụng tại nông trường.

4.2. Hướng Phát triển và Cải tiến Tương lai

Phát triển tương lai bao gồm mở rộng phân loại lên 10-20 loại trái cây khác nhau. Tích hợp thêm cảm biến để đo trọng lượng, kích thước, độ chín. Nâng cấp model CNN sử dụng kiến trúc tiên tiến như ResNet hoặc MobileNet. Tối ưu hóa hiệu suất trên Raspberry Pi sử dụng hardware acceleration (TPU). Phát triển ứng dụng mobile để giám sát từ xa toàn diện. Tích hợp database để lưu trữ lịch sử sản xuất.

Trích đoạn nội dung tài liệu

Đặt vấn đề • Mục tiêu • Nội dung nghiên cứu • Giới hạn • Bố cục Chương 2: Cơ sở lý thuyết • Tổng quan về xử lý ảnh • Phương pháp phân loại trái cây sử dụng mạng nơ rơn tích chập Chương 3: Thiết kế và tính toán • Giới thiệu • Tính toán và thiết kế hệ thống Chương 4: Thi công hệ thống • Giới thiệu • Thi công hệ thống • Đóng gói và thi công mô hình • Lập trình hệ thống • Viết tài liệu hướng dẫn sử dụng, thao tác Chương 5: Kết quả-nhận xét-đánh giá • Kết quả tổng quan • Kết quả đạt được • Nhận xét và đánh giá kết quả đạt được Chương 6: Kết luận và hướng phát triển • Kết luận • Hướng phát triển BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Chương 2: CƠ SỞ LÝ THUYẾT 2. TỔNG QUAN VỀ XỬ LÝ ẢNH 2. Giới thiệu về xử lý ảnh Xử lý ảnh là một phân ngành trong xử lý số tín hiệu với tín hiệu xử lý là ảnh để có được hình ảnh tốt hơn hay để trích xuất một số thông tin từ hình ảnh đầu vào.

Đây là một phân ngành khoa học mới rất phát triển trong những năm gần đây. Các phương pháp xử lý ảnh bắt đầu từ những ứng dụng nhằm nâng cao chất lượng ảnh do hạn chế về phần cứng. Nhưng về sau này, nhờ sự phát triển của khoa học máy tính đã tạo điều kiện cho xử lý ảnh phát triển mạnh và được ứng dụng nhiều trong các lĩnh vực như trí tuệ nhân tạo, tự động hóa, hình ảnh y sinh…Xử lý ảnh gồm 4 lĩnh vực chính: xử lý nâng cao chất lượng ảnh, nhận dạng ảnh, nén ảnh và truy vấn ảnh. Trong đề tài này sẽ tập trung tìm hiểu về mảng nhận dạng ảnh.

ẢNH TỐT HƠN ẢNH ĐẦU VÀO XỬ LÝ ẢNH KẾT LUẬN Hình 2.1: Giới thiệu về xử lý ảnh THU NHẬN TIỀN XỬ LÝ PHÂN ĐOẠN BIỂU DIỄN VÀ NHẬN DẠNG ẢNH ẢNH ẢNH MÔ TẢ VÀ NỘI SUY CƠ SỞ TRI THỨC Hình 2.2: Các bước cơ bản của xử lý ảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 5 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT • Thu nhận ảnh [2]: Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hóa (như loại CCD – Change Coupled Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh. Camera thường dùng là loại quét dòng, ảnh tạo ra dạng 2 chiều.

Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh). • Tiền xử lý [2]: Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn. • Phân đoạn hay phân vùng ảnh [2]: Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh.

Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng phụ thuộc rất nhiều vào công đoạn này. • Biểu diễn ảnh [2]: Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận.

Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 6 CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT • Nhận dạng và nội suy ảnh [2]: Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại.

Có nhiều cách phân loại ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản:  Nhận dạng theo tham số.  Nhận dạng theo cấu trúc. Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người… • Cơ sở tri thức [2]: Như đã nói ở trên, ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu.

Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy. • Mô tả [2]: Ảnh sau khi số hoá sẽ được lưu vào bộ nhớ, hoặc chuyển sang các khâu tiếp theo để phân tích.

Nếu lưu trữ ảnh trực tiếp từ các ảnh thô, đòi hỏi dung lượng bộ nhớ cực lớn và không hiệu quả theo quan điểm ứng dụng và công nghệ. Thông thường, các ảnh thô đó được đặc tả (biểu diễn) lại (hay đơn giản là mã hoá) theo các đặc điểm của ảnh được gọi là các đặc trưng ảnh (Image Features) như: biên ảnh (Boundary), vùng ảnh (Region). BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 7 CHƯƠNG 2. Những vấn đề xử lý ảnh 2.

Điểm ảnh [2] Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử lý bằng máy tính (số), ảnh cần phải được số hoá. Số hoá ảnh là sự biến đổi gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (không gian) và độ sáng (mức xám). Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng.

Mỗi một điểm như vậy gọi là điểm ảnh (PEL: Picture Element) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x, y). Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật.

Mỗi phần tử trong ma trận được gọi là một phần tử ảnh. Ảnh số: là tập hợp các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Độ phân giải ảnh [2] Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị. Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh.

Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều. Phân loại ảnh [1] Có 2 dạng quan trọng trong ảnh số được dùng với nhiều mục đích khác nhau là ảnh màu và ảnh đen trắng (hay còn gọi là ảnh xám). Trong đó, ảnh màu được cấu trúc từ các pixel màu trong khi ảnh đen trắng được xây dựng từ các pixel có giá trị mức xám khác nhau. Ảnh đen trắng: với một ảnh đen trắng được xây dựng từ nhiều pixel mà tại đó biểu diễn một giá trị nhất định tương ứng với một mức xám.

Những mức xám này trải dài trong một khoảng từ đen sang trắng với bước nhảy rất mịn, thông thường là 256 mức xám khác nhau theo tiêu chuẩn. Do mắt người chỉ có thể phân biệt một cách rõ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 8 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT ràng với khoảng 200 mức xám khác nhau nên vì thế hoàn toàn có thể nhận xét sự thay đổi liên tục các mức xám. Ảnh màu: một ảnh màu thường được tạo thành từ nhiều pixel mà trong đó mỗi pixel được biểu diễn bởi ba giá trị tương ứng với các mức trong các kênh màu đỏ (Red), xanh lá (Green) và xanh dương (Blue) tại một vị trí cụ thể.

Các kênh màu Red, Green và Blue (trong không gian màu RGB) là những màu cơ bản mà từ đó có thể tạo ra các màu khác nhau bằng phương pháp pha trộn. Với việc chuẩn hóa 256 (28 ) mức cho từng kênh màu chính, từ đó có thể thấy một pixel màu có thể biểu diễn được một trong (28 )3 = 16777216 màu khác nhau. Từ đó có thể thấy rằng với 1 pixel thì chỉ cần 1 byte cho việc lưu trữ đối với ảnh đen trắng và 3 bytes đối với ảnh màu. Vì thế với cùng một ảnh có kích thước nhất định, dung lượng của ảnh màu lưu trên bộ nhớ luôn lớn hơn gấp ba lần dung lượng dành cho ảnh đen trắng trong trường hợp không sử dụng các kỹ thuật nén ảnh.

Ảnh nhị phân: chỉ sử dụng duy nhất một bit để biểu diễn một pixel. Do một bit chỉ có thể xác lập hai trạng thái là đóng và mở hay 1 và 0 tương ứng với hai màu là đen và trắng. Do đặc tương trên mà ảnh nhị phân ít khi đƣợc sử dụng trong thực tế. Ảnh chỉ số (indexed): một vài ảnh màu (hay đen trắng) được tạo thành từ một bảng màu có sẵn bị giới hạn, điển hình thường dùng là tập 256 màu khác nhau.