Chương 1: Giới thiệu tổng quan để đưa ra cái nhìn tổng quan, vạch ra hướng đi để tiếp cận đề tài cho chính xác và giải pháp đã được ứng dụng trong bài toán nhận dạng và phân loại hoa quả theo màu sắc - Chương 2: Khảo sát hệ thống: Ở chương này trình bày nhiệm vụ , quy trình xử lý, phê phán và đưa ra yêu cầu mới cho hệ thống Thiều Thị Trang Vương– Khoa học máy tính K65 7 Đồ án Khoa học máy tính - Chương 3: Cơ sở lý thuyết: Ở chương này sẽ đi sâu hơn vào huấn luyện trong Học sâu thường được sử dụng trong lĩnh vực Nhận dạng ảnh – nơron tích chập và tìm hiểu chìa khóa giải quyết bài toán nhận dạng ảnh Mô tả tổng quan về hệ thống nhận dạng hoa quả tự động với các mô đun chính như máy chủ, bộ huấn luyện và nhận dạng bộ tiền xử lý. Ngoài ra, cách thức thu thập, chỉnh sửa cơ sở dữ liệu ảnh và cách cài đặt, triển khai môi trường huấn luyện cho mô hình mạng nơron tích chập đã chọn ở chương 2 - Chương 4: Phân tích hệ thống - Chương 5: Thiết kế hệ thống - Chương 6: Kết luận: Tổng kết tất cả các nội dung đã trình bày ở đề tài, đánh giá và đưa ra hướng phát triển đề tài Tài liệu tham khảo - Tài liệu tham khảo Thiều Thị Trang Vương– Khoa học máy tính K65 8 Đồ án Khoa học máy tính CHƯƠNG 2. KHẢO SÁT HỆ THỐNG 1. Nhiệm vụ cơ bản Giúp nhận diện và phân loại quả có màu sắc thay đổi theo tính chất.
Sau khi thu hoạch, trước khi đưa nông sản ra thị trường thì cần phải trải qua nhiều khâu phân loại để loại bỏ sản phẩm chưa đạt yêu cầu. Riêng với hệ thống phân loại quả sẽ được đưa vào hệ thống qua băng tải và đưa đến các khu phân loại theo nhiều nguyên tắc như kích thước, khối lượng và màu sắc quả, …để chọn lọc những quả có chất lượng tốt nhất và phù hợp với nhu cầu sử dụng của người tiêu dùng 2. Cơ cấu tổ chức - Thu thập dữ liệu để huấn luyện mô hình nhận dạng và phân loại quả theo màu sắc gồm: Ảnh hoa quả : Cách ảnh hoa quả cần được chụp với chất lượng tốt và có thể nhìn rõ màu sắc của hoa quả Nhãn màu: Mỗi ảnh hoa quả cần được gắn nhãn màu để mô hình có thể nhìn rõ màu sắc của hoa quả - Bộ huấn luyện mô hình Môi trường huấn luyện Cấu hình mạng huấn luyện AlexNet Một số hình ảnh đặc trưng do mạng AlexNet tính toán 3. Quy trình xử lý - Nhận ảnh hoa quả :Hệ thống sẽ nhận ảnh hoa quả từ nguồn đầu vào, chẳng hạn như máy ảnh, thiết bị quét hoặc thiết bị di động.
Ảnh hoa quả cần được thu nhận trong môi trường ánh sáng đồng đều và không nhiễu - Xử lý ảnh: Ảnh hoa quả sẽ được xử lý để loại bỏ phần nhiễu và cải thiện chất lượng gồm: Chuẩn hóa ảnh: quá trình chuyển đổi các giá trị pixel của ảnh về một phạm vi nhất định Cắt ảnh: loại bỏ các phần không cần thiết của ảnh ==> giúp cải thiện tốc độ và độ chính xác Cân bằng trắng: quá trình điều chỉnh màu sắc của ảnh sao cho phù hợp với ánh sáng môi trường ==> giúp hệ thống nhận diện và phân loại quả chính xác hơn trong điều kiện ảnh sáng không tốt Loại bỏ nhiễu: quá trình loại bỏ pixel nhiễu từ ảnh ==> giúp hệ thống nhận diện và phân loại quả chính xác hơn - Tính toán các đặc trưng màu sắc: các thông tin mô tả màu sắc của hoa quả. Các đặc trưng màu sắc thường được sử dụng bao gồm: Cường độ màu: phân biệt các loại hoa quả có màu sắc tương tự nhau Thiều Thị Trang Vương– Khoa học máy tính K65 9 Đồ án Khoa học máy tính Độ bão hòa màu: phân biệt các loại hoa quả có màu sắc khác nhau Độ tương phản: phân biệt các loại hoa quả có màu sắc khác nhau Khoảng cách màu: phân biệt các loại hoa quả có màu sắc hoàn toàn khác nhau Tương quan màu: phân biệt các loại hoa quả có màu sắc liên quan đến nhau - Huấn luyện mô hình học sâu: cần được huấn luyện trên bộ dữ liệu ảnh hoa quả đã được tính toán các đặc trưng màu sắc. Bộ dữ liệu ảnh hoa quả cần có sự đa dạng về màu sắc, kích thước và góc đôh chụp của hoa quả - Nhận diện hoa quả: Sau khi hoa quả đã được xử lý, hệ thống sẽ sử dụng một mô hình học máy để nhận diện hoa quả. Mô hình thường sử dụng là mạng nơ-ron tích chập (CNN) - Phân loại hoa quả: sau khi hoa quả đã được nhận diện, hệ thống sẽ được sử dụng một mô hình học máy khác để phân loại hoa quả 4.
Phê phán hiện trạng của Hệ thống Nhìn chung hệ thống hoàn thiện xây dựng bộ cơ sở dự liệu ảnh phục vụ cho việc huấn luyện nhận dạng cho các loại hoa quả. Thống kê được các đặc trưng thường được sử dụng để huấn luyện bộ phận nhận dạng hoa quả trong các phương pháp học máy truyền thống. Cài đặt và tinh chỉnh được một mạng nơ-ron tích chập đã được huấn luyện trước để áp dụng vào bài toán nhận dạng và phân loại hoa quả theo màu sắc. Tuy nhiên hệ thống còn một số hạn chế: dữ liệu phục vụ cho việc huấn luyện hệ thống còn chưa được phong phú => cần tăng cường thêm về dữ liệu.
Yêu cầu hệ thống mới Mong muốn phát triển thêm: Kết nối với Web server để giám sát thông số. Thiết kế thêm giao diện Web để quản lý hệ thống từ xa. Có thể thay thế được các thiết bị hiện đại giúp cho việc nhận dạng trở nên chính xác Thiều Thị Trang Vương– Khoa học máy tính K65 10 Đồ án Khoa học máy tính CHƯƠNG 3: CƠ SỞ LÝ THUYẾT Bài toán tự động nhận dạng hoa quả đã xuất hiện từ lâu và đã có rất nhiều bài báo, công trình khoa học được đưa ra nhằm đề xuất hoặc cải tiến các thuật toán nhận dạng. Trong đó, xuất hiện sớm nhất là các phương pháp Xử lý ảnh – Image Processing, các phương pháp này tập trung vào phát triển các thuật toán nhằm trích xuất thông tin, ví dụ các tham số về màu sắc, hình dạng, kết cấu, kích thước, … từ bức ảnh đầu vào để nhận dạng hoa quả.
Do chỉ đơn thuần xử lý trên một vài ảnh đầu vào trong khi sự biến thiên về màu sắc, hình dạng, kích thước … của hoa quả quá phức tạp, kết quả đạt được của các phương pháp này không được cao và phạm vi áp dụng trên số lượng loại hoa quả cũng bị hạn chế. Bắt đầu từ những năm 2000s, sau khi xuất hiện một vài bài báo cáo khoa học đề xuất áp dụng phương pháp học máy – Machine Learning – vào bài toán nhận dạng hoa quả với độ chính xác cao, hướng giải quyết bài toán đã tập trung vào ứng dụng và cải tiến các thuật toán Học máy, cụ thể là nghiên cứu, thử nghiệm trích chọn các đăc trưng phù hợp nhất để đưa vào huấn luyện bộ nhận dạng tự động. Trong những năm gần đây, nhờ sự phát triển vượt bậc về sức mạnh tính toán của các máy tính cũng như sự bùng nổ dữ liệu trên internet, Học sâu – Deep Learning đã đạt được nhiều thành tựu đáng kể, đặc biệt là trong những lĩnh vực Xử lý ảnh và ngôn ngữ tự nhiên. Học sâu cũng đã được áp dụng rất thành công vào bài toán nhận dạng hoa quả, trong phạm vi hạn chế về số lượng loại hoa quả cận nhận dạng.
Phương pháp Machine Learning truyền thống Mô hình hoạt động chung của các phương pháp Machine Learning được thể hiện trong hình dưới đây: Thiều Thị Trang Vương– Khoa học máy tính K65 11 Đồ án Khoa học máy tính Hình 3.1 Các phương pháp Machine Learning Ta có thể thấy Machine Learning gồm hai giai đoạn chính là Huấn luyện – Training và Thử nghiệm – Testing, trong mỗi giai đoạn đều sử dụng hai thành phần quan trọng nhất do người xử lý bài toán thiết kế, đó là Trích chọn đặc trưng – Feature Engineering (hay còn gọi là Feature Extraction) và Thuật toán phân loại, nhận dạng … - Algorithms. Hai thành phần này có ảnh hưởng trực tiếp đến kết quả bài toán, vì thế được thiết kế rất cẩn thận, tốn nhiều thời gian, đòi hỏi người thiết kế phải có kiến thức chuyên môn và nắm rõ đặc điểm của bài toán cần xử lý. Trích chọn đặc trưng – Feature Engineering: Trong các bài toán thực tế, ta chỉ có được những dữ liệu thô chưa qua chọn lọc xử lý và để có thể đưa các dữ liệu này vào huấn luyện ta cần có những phép biến đổi để biến các dữ liệu thô thành dữ liệu chuẩn, không còn nhiễu và có khả năng biểu diễn dữ liệu tốt hơn. Các thông tin đặc trưng này là khác nhau với từng loại dữ liệu và bài toán cụ thể, vì thế trong trường hợp phép biến đổi này cần phải được tùy biến một các thích hợp để cải thiện độ chính xác của mô hình dự đoán.
Quá trình này được gọi là Trích chọn đặc trưng. Phương pháp Học sâu Là 1 lĩnh vực chuyên sâu của Học máy, đã xuất hiện từ những năm 1980s nhưng chưa phổ biến cho đến thập kỷ gần đây do các nhà khoa học đã có thể tận dụng khả năng tính toán mạnh mẽ của các máy tính hiện đại cũng như khối lượng dữ liệu khổng lồ (hình ảnh, âm thanh, văn bản … ) trên Internet. Các mạng huấn luyện theo phương pháp Học sâu còn được gọi với cái tên khác là mạng nơ – ron sâu (Deep Neural Network) do cách thức hoạt động của chúng. Thiều Thị Trang Vương– Khoa học máy tính K65 12 Đồ án Khoa học máy tính Về cơ bản, các mạng này bao gồm rất nhiều lớp khác nhau, mỗi lớp sẽ phân tích dữ liệu đầu vào theo các khía cạnh khác nhau và theo mức độ trừu tượng nâng cao dần.
Mạng Nơ – ron tích chập 2. Kiến trúc mạng nơ-ron tích chập Mạng nơ-ron tích chập (CNN – Convolutional Neural Netword) là một trong những mô hình Học sâu phổ biến nhất trong hiện nay, có khả năng nhận dạng và phân loại hình ảnh với độ chính xác rất cao, thậm chị còn tốt hơn con người trong nhiều trường hợp.