Đồ án HCMUTE: Ứng dụng công nghệ CNN để phân loại sản phẩm trên băng chuyền

Đồ án nghiên cứu hcmute ứng dụng công nghệ cnn vào việc phân loại sản phẩm trên băng chuyền, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán kỹ thuật.

• Tác giả: Trần Quốc Trọng
• Người hướng dẫn: TS. Trương Ngọc Sơn
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Ứng Dụng Công Nghệ CNN Trong Phân Loại Sản Phẩm Băng Chuyền Tại HCMUTE
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2018
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
• LỜI CẢM ƠN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH ẢNH, BIỂU ĐỒ
• 1. CHƯƠNG 1: TÌNH HÌNH NGHIÊN CỨU
• 1.1. MỤC TIÊU NGHIÊN CỨU
• 1.2. GIỚI HẠN ĐỀ TÀI
• 1.3. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.4. NỘI DUNG ĐỒ ÁN
• 2. CHƯƠNG 2: MẠNG NEURAL TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN)
• 2.1. Giới thiệu
• 2.2. Các lớp trong mạng CNN
• 2.3. Ứng dụng của mô hình
• 2.4. Các khái niệm cơ bản trong Tensorflow
• 3. CHƯƠNG 3: THIẾT KẾ PHẦN MỀM
• 4. CHƯƠNG 4: KẾT QUẢ VÀ THỰC NGHIỆM
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phân loại sản phẩm băng chuyền Tổng quan và mục tiêu

Đề tài "Ứng dụng công nghệ CNN vào việc phân loại sản phẩm trên băng chuyền" tại HCMUTE (Trường Đại học Công nghệ TP.HCM) tập trung vào việc ứng dụng mạng nơ-ron tích chập (CNN), một nhánh của deep learning, trong hệ thống phân loại sản phẩm băng chuyền. Mục tiêu chính là thiết kế và xây dựng một mô hình phân loại tự động, sử dụng kỹ thuật xử lý ảnh và nhận dạng vật thể dựa trên công nghệ CNN. Đề tài hướng đến giải quyết bài toán phân loại sản phẩm dựa trên đặc điểm hình ảnh, cụ thể là phân biệt hai loại sản phẩm khác nhau về kích thước. Nghiên cứu này đóng góp vào việc tự động hóa quá trình sản xuất, nâng cao hiệu suất và giảm thiểu chi phí lao động. Học máy và trí tuệ nhân tạo đóng vai trò quan trọng trong việc phát triển mô hình này. Automatic product classification và conveyor belt system là hai khía cạnh trọng tâm của nghiên cứu.

1.1. Ứng dụng công nghệ CNN trong hệ thống

Công nghệ CNN được chọn vì khả năng xử lý hiệu quả dữ liệu ảnh. Thuật toán CNN cho phép nhận diện vật thể và phân tích ảnh một cách chính xác. Mô hình CNN được huấn luyện để nhận biết các đặc trưng của từng loại sản phẩm, từ đó đưa ra quyết định phân loại. Quá trình này liên quan đến việc xây dựng mô hình CNN, tối ưu hóa mô hình, và đánh giá hiệu quả. Các kỹ thuật xử lý ảnh được áp dụng để cải thiện chất lượng dữ liệu đầu vào, góp phần nâng cao độ chính xác của hệ thống. Image recognition và object detection là hai chức năng cốt lõi được thực hiện bởi mô hình CNN. Việc sử dụng TensorFlow, một thư viện deep learning, hỗ trợ đáng kể cho quá trình xây dựng và huấn luyện mô hình. Deep learning models được ứng dụng để tối đa hóa khả năng phân loại của hệ thống. Khả năng xử lý tín hiệu và xử lý ảnh cũng là những yếu tố quan trọng trong việc phát triển hệ thống.

1.2. Hạn chế và phạm vi nghiên cứu

Do thời gian hạn chế, nghiên cứu tập trung vào phân loại hai loại sản phẩm có sự khác biệt về kích thước. Hệ thống được xây dựng trên nền tảng Raspberry Pi, một thiết bị có tính năng hạn chế so với các hệ thống xử lý ảnh chuyên dụng. Bộ dữ liệu được sử dụng để huấn luyện mô hình có quy mô nhỏ, ảnh hưởng đến độ tổng quát của mô hình. Dữ liệu huấn luyện chủ yếu được thu thập từ camera trên Raspberry Pi. Công việc huấn luyện mô hình tập trung vào việc tối ưu hóa hiệu suất phân loại trên tập dữ liệu hiện có. Khả năng phân loại được đánh giá dựa trên các thước đo hiệu năng, bao gồm độ chính xác phân loại, precision, recall và F1-score. Việc mở rộng hệ thống sang phân loại nhiều loại sản phẩm hơn, hoặc tích hợp với hệ thống sản xuất thực tế, đòi hỏi nghiên cứu thêm. Kiến trúc CNN được sử dụng trong nghiên cứu này là một kiến trúc cơ bản, có thể được cải thiện bằng cách sử dụng các kiến trúc phức tạp hơn.

II. Thiết kế và triển khai hệ thống

Hệ thống bao gồm phần cứng và phần mềm. Phần cứng bao gồm Raspberry Pi 3 Model B, camera Pi, module điều khiển động cơ L298N, động cơ servo MG996, và cảm biến hồng ngoại. Phần mềm sử dụng ngôn ngữ lập trình Python và thư viện TensorFlow. Hệ thống thu thập hình ảnh từ camera, xử lý hình ảnh bằng CNN, và điều khiển động cơ để phân loại sản phẩm. Kiến trúc CNN được tùy chỉnh để phù hợp với đặc điểm của sản phẩm và dữ liệu. Image processing techniques được áp dụng để xử lý ảnh trước khi đưa vào mô hình CNN. Data augmentation có thể được sử dụng để tăng cường tập dữ liệu huấn luyện.

2.1. Thiết kế phần cứng

Raspberry Pi đóng vai trò trung tâm điều khiển. Camera Pi thu thập hình ảnh sản phẩm trên băng chuyền. Module điều khiển động cơ L298N điều khiển động cơ DC, giúp băng chuyền hoạt động. Động cơ servo MG996 điều khiển cơ cấu phân loại sản phẩm. Cảm biến hồng ngoại phát hiện sự hiện diện của sản phẩm trên băng chuyền. Kết nối giữa các thành phần được thực hiện cẩn thận để đảm bảo hệ thống hoạt động ổn định. Sơ đồ mạch điện được thiết kế để đơn giản và dễ triển khai. Các linh kiện được lựa chọn dựa trên yếu tố giá thành, hiệu năng và độ tin cậy. Việc tích hợp phần cứng được thực hiện một cách khoa học, đảm bảo tính hiệu quả và khả năng mở rộng của hệ thống. Hệ thống băng chuyền được thiết kế để đáp ứng yêu cầu phân loại hai loại sản phẩm. Conveyor belt system cần đảm bảo vận hành trơn tru và chính xác.

2.2. Thiết kế phần mềm

Phần mềm được viết bằng Python, sử dụng thư viện TensorFlow. Mô hình CNN được xây dựng và huấn luyện trên tập dữ liệu thu thập. Code xử lý ảnh, điều khiển động cơ, và giao tiếp với cảm biến được tích hợp. Giao diện người dùng (nếu có) được thiết kế đơn giản và dễ sử dụng. Quá trình huấn luyện mô hình bao gồm các bước: chuẩn bị dữ liệu, thiết kế kiến trúc mạng, huấn luyện mạng, và đánh giá hiệu suất. Model training là một quá trình quan trọng, đòi hỏi sự tinh chỉnh các tham số để đạt hiệu suất tốt nhất. Model evaluation được thực hiện bằng cách sử dụng các performance metrics như classification accuracy, precision and recall, và F1-score. Tốc độ xử lý và hiệu quả phân loại là hai chỉ số quan trọng được đánh giá. Machine learning applications được ứng dụng để tối ưu hóa hiệu suất của hệ thống.

III. Kết quả và thảo luận

Kết quả thực nghiệm cho thấy hệ thống đạt được độ chính xác phân loại cao trên tập dữ liệu kiểm tra. Các thước đo hiệu năng như độ chính xác phân loại, precision, recall và F1-score được báo cáo chi tiết. Kết quả này phản ánh hiệu quả của mô hình CNN trong việc nhận dạng và phân loại sản phẩm. Tuy nhiên, nghiên cứu cũng chỉ ra một số hạn chế, chẳng hạn như độ chính xác giảm khi gặp điều kiện ánh sáng không ổn định hoặc sản phẩm bị che khuất. Tốc độ xử lý của hệ thống cần được cải thiện để đáp ứng yêu cầu sản xuất thực tế.

3.1. Đánh giá hiệu quả hệ thống

Độ chính xác của hệ thống được đánh giá dựa trên các thước đo hiệu năng đã đề cập. Các chỉ số này cho thấy khả năng phân loại sản phẩm của hệ thống. Phân tích sai số được thực hiện để xác định nguyên nhân gây ra sai sót trong phân loại. Các yếu tố ảnh hưởng đến hiệu quả hệ thống, như chất lượng ảnh, ánh sáng, và sự đa dạng của sản phẩm, được phân tích kỹ lưỡng. Model evaluation cung cấp thông tin quý giá để cải thiện hệ thống. Precision and recall cho thấy khả năng chính xác và độ bao phủ của hệ thống. F1-score là thước đo cân bằng giữa precision và recall. Classification accuracy cho thấy tỷ lệ phân loại chính xác tổng thể. Computer vision đóng vai trò quan trọng trong việc đánh giá hiệu quả của hệ thống.

3.2. Hướng phát triển trong tương lai

Nghiên cứu có thể mở rộng bằng cách sử dụng kiến trúc CNN phức tạp hơn. Bộ dữ liệu cần được mở rộng để tăng khả năng tổng quát của mô hình. Thuật toán tối ưu hóa cần được cải tiến để giảm thời gian huấn luyện và tăng tốc độ xử lý. Hệ thống có thể được tích hợp với các thiết bị khác trong dây chuyền sản xuất. Việc ứng dụng hệ thống trong môi trường thực tế cần được xem xét. Nghiên cứu các phương pháp xử lý dữ liệu để tăng cường khả năng chống nhiễu. Ứng dụng thực tế của hệ thống này có tiềm năng lớn trong các nhà máy sản xuất. Trí tuệ nhân tạo và học máy sẽ đóng vai trò quan trọng trong việc phát triển hệ thống trong tương lai. Machine learning applications sẽ tiếp tục được nghiên cứu và phát triển.

Trích đoạn nội dung tài liệu

Đặt vấn đề về thiết kế phần cứng và phần mềm, sơ đồ nguyên lí, sơ đồ khối, chức năng của từng khối.  Chương 4: Kết quả và thực nghiệm. Chương này sẽ trình bày về kết quả mô hình cũng như chạy thực nghiệm để kiểm chứng mức độ chính xác và độ ổn định của hệ thống.  Chương 5: Kết luận và hướng phát triển.

Chương này dưa ra kết luận đã làm được và hướng phát triển đề tài. Dựa trên những kết quả mà nhóm đã thực hiện, nhóm đưa ra những vấn đề đã hoàn thành và chưa hoàn thành. Những mặt hạn chế của đề tài và hướng phát triển của đề tài trong tương lai. 3 do an CHƯƠNG 2.

MẠNG NEURAL TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN) 2. Giới thiệu Mạng neural tích chập (Convolutional Neural Netwwork) viết tắt là CNN là một mô hình mạng neural nhân tạo. Mô hình này thường được dùng trong bài toán phân loại ảnh đối tượng hoặc như một module rút trích đặc trưng của hình ảnh trong nhiều bài toán khác. Mô hình mạng neural truyền thẳng ra đời đã được áp dụng nhiều trong các bài toán nhận dạng.

Tuy nhiên mạng neural truyền thẳng không thể hiện tốt lắm đối với các dữ liệu như hình ảnh. Chính sự liên kết quá đầy đủ tạo nên những hạn chế cho mô hình. Dữ liệu hình ảnh có kích thước khá lớn, một tấm ảnh xám có kích thước 32×32 (pixels) sẽ cho ra vector đặc trưng có 1024 chiều, còn đối với ảnh màu cùng kích thước sẽ là 3072 chiều. Do đó, ta cần 3072 trọng số θ nối giữa lớp vào và một node ở lớp ẩn kế tiếp.

Số lượng trọng số sẽ càng nhân rộng hơn nữa nếu số lượng node trong lớp ẩn tăng lên, số lượng lớp ẩn tăng lên. Dựa trên tư tưởng này mạng neural tích chập ra đời với một kiến trúc khác so mới mạng truyền thẳng. Thay vì toàn bộ ảnh nối với một node thì chỉ có một phần cục bộ trong ảnh nối đến một node trong lớp tiếp theo. Dữ liệu hình ảnh thông qua các lớp của mô hình này sẽ được “học” ra các đặc trưng để tiến hành phân lớp một cách hiệu quả.

Các lớp trong mạng CNN  Về cơ bản mô hình mạng neural tích chập bao gồm các lớp sau:  Lớp Convolutional.  Lớp Fully-Connected (FC). Sự sắp xếp về số lượng và thứ tự giữa các lớp này sẽ tạo ra những mô hình khác nhau phù hợp cho các bài toán khác nhau.  Lớp Convolutional: Lớp này chính là nơi thể hiện tư tưởng ban đầu của mạng neural tích chập.

Thay vì kết nối toàn bộ điểm ảnh, lớp này sẽ sử dụng một bộ các bộ lọc (filters) có kích thước nhỏ so với ảnh (thường là 3×3 hoặc 5×5) áp vào một vùng trong ảnh và tiến hành tính tích chập giữa bộ filter và giá trị điểm ảnh trong vùng cục bộ đó. Bộ filter sẽ lần lượt được dịch chuyển theo một giá trị bước trượt (stride) chạy dọc theo ảnh và quét toàn bộ ảnh. 5 do an Như vậy với một bức ảnh 32×32 và một filter 3×3, ta sẽ có kết quả là một tấm ảnh mới có kích thước 32×32 (với điều kiện đã thêm padding vào ảnh gốc để tính tích chập cho các trường hợp filter quét ra các biên cạnh) là kết quả tích chập của filter và ảnh. Với bao nhiêu filter trong lớp này thì ta sẽ có bấy nhiêu ảnh tương ứng mà lớp này trả ra và được truyền vào lớp tiếp theo.

Các trọng số của filter ban đầu sẽ được khởi tạo ngẫu nhiên và sẽ được học dần trong quá trình huấn luyện mô hình.  Lớp RELU: Lớp này thường được cài đặt ngay sau lớp Convolutional. Lớp này sử dụng hàm kích hoạt f(x) = max(0,x). Nói một cách đơn giản, lớp này có nhiệm vụ chuyển toàn bộ giá trị âm trong kết quả lấy từ lớp Convolutional thành giá trị 0.

Ý nghĩa của cách cài đặt này chính là tạo nên tính phi tuyến cho mô hình. Tương tự như trong mạng truyền thẳng, việc xây dựng dựa trên các phép biến đổi tuyến tính sẽ khiến việc xây dựng đa tầng đa lớp trở nên vô nghĩa. Có rất nhiều cách để khiến mô hình trở nên phi tuyến như sử dụng các hàm kích hoạt sigmoid, tanh,… nhưng hàm f(x) = max(0,x) dễ cài đặt, tính toán nhanh mà vẫn hiệu quả.  Lớp Pooling: Lớp này sử dụng một cửa sổ trượt quét qua toàn bộ ảnh dữ liệu, mỗi lần trượt theo một bước trượt (stride) cho trước.

Khác với lớp Convolutional, lớp Pooling không tính tích chập mà tiến hành lấy mẫu (subsampling). Khi cửa sổ trượt trên ảnh, chỉ có một giá trị được xem là giá trị đại diện cho thông tin ảnh tại vùng đó (giá trị mẫu) được giữ lại. Các phương thức lấy phổ biến trong lớp Pooling là MaxPooling ( lấy giá trị lớn nhất), MinPooling (lấy giá trị nhỏ nhất) và AveragePooling (lấy giá trị trung bình). Xét một ảnh có kích thước 32×32 và lớp Pooling sử dụng filter có kích thước 2×2 với bước trượt stride = 2, phương pháp sử dụng là MaxPooling.

Filter sẽ lần lượt duyệt qua ảnh, với mỗi lần duyệt chỉ có giá trị lớn nhất trong 4 giá trị nằm trong vùng cửa sổ 2×2 của filter được giữ lại và đưa ra đầu ra. Như vậy sau khi qua lớp Pooling, ảnh sẽ giảm kích thước xuống còn 16×16 (kích thước mỗi chiều giảm 2 lần). 6 do an Hình 2.3: Tính toán với MaxPooling [4]. Lớp Pooling có vai trò giảm kích thước dữ liệu.

Với một bức ảnh kích thước lớn qua nhiều lớp Pooling sẽ được thu nhỏ lại tuy nhiên vẫn giữ được những đặc trưng cần cho việc nhận dạng (thông qua cách lấy mẫu). Việc giảm kích thước dữ liệu sẽ làm giảm lượng tham số, tăng hiệu quả tính toán và góp phần kiểm soát hiện tượng quá khớp (overfitting).  Lớp Fully-Connected (FC): Lớp này tương tự với lớp trong mạng neural truyền thẳng, các giá trị ảnh được liên kết đầy đủ vào node trong lớp tiếp theo. Sau khi ảnh được xử lý và rút trích đặc trưng từ các lớp trước đó, dữ liệu ảnh sẽ không còn quá lớn so với mô hình truyền thẳng nên ta có thể sử dụng mô hình truyền thẳng để tiến hành nhận dạng.

Tóm lại, lớp fully-connected đóng vai trò như một mô hình phân lớp và tiến hành dựa trên dữ liệu đã được xử lý ở các lớp trước đó. Một mạng neural tích chập được hình thành bằng cách ghép các lớp nêu trên lại với nhau. Mô hình bắt đầu với lớp Convolutional. Lớp RELU thường luôn được cài đặc ngay sau lớp Convolutional hoặc thậm chí kết hợp cả hai lớp này thành một lớp.

Các lớp tiếp theo có thể là Convolutional hay Pooling tùy theo kiến trúc mà ta muốn xây dựng. Cuối cùng sẽ là lớp FC để tiến hành phân lớp. Ứng dụng của mô hình Mạng neural tích chập được áp dụng khá nhiều trong các bài toán nhận dạng như nhận dạng vật thể trong ảnh, nhận dạng chữ viết tay (chuyển đổi chữ viết trong hình ảnh thành văn bản thô trong máy tính), nhận dạng vật thể 3D, xử lý tiếng nói, xử lý ngôn ngữ tự nhiên,… với độ chính xác trên 90%. Tuy nhiên, mạng CNN có một số hạn chế: kích thước và độ sâu của mạng neural.

Điều này làm cho mạng CNN trở nên thiếu linh hoạt khi muốn thay đổi kiến trúc cũ. 7 do an Trong thực tế, ta có thể chọn giải quyết các bài toán cụ thể mà nhu cầu mở rộng không quá lớn và không quá đòi hỏi độ linh hoạt cao. Với những bài toán như vậy thì mạng neural tích chập vẫn là một mô hình hiệu quả. Giới thiệu TensorFlow là một thư viện phần mềm mã nguồn mở dành cho máy học trong nhiều loại hình tác vụ nhận thức và hiểu ngôn ngữ.

Nó hiện đang được sử dụng cho cả nghiên cứu lẫn sản xuất bởi 50 đội khác nhau trong hàng tá sản phẩm thương mại của Google như nhận dạng giọng nói, Gmail, Google Photos, và tìm kiếm. TensorFlow nguyên thủy được phát triển bởi đội Google Brain cho mục đích nghiên cứu và sản xuất của Google và sau đó được phát hành theo giấy phép mã nguồn mở Apache 2.4: Trang chủ “Tensorflow. Các khái niệm cơ bản trong Tensorflow  Node: Tensorflow mô tả lại dòng chảy của dữ liệu thông qua graph nên mỗi một điểm giao cắt trong graph thì được gọi là Node. Tại sao điều này quan trọng thì là vì các Node chính là điểm đại diện cho việc thay đổi của dữ liệu nên việc lưu trữ lại tham chiếu của các Node này là rất quan trọng.

 Tensor:  Tensor là khái niệm cơ bản nhất trong TensorFlow. 8 do an  Là cấu trúc dữ liệu được sử dụng trong toàn TensorFlow, đại diện cho tất cả các loại dữ liệu. Hay nói cách khác là tất cả các loại. dữ liệu đều là tensor.

Việc trao đổi dữ liệu trong quá trình xử lý chỉ thông qua tensor.  Hiểu đơn giản thì tensor là mảng n chiều hay list cộng thêm 1 vài thứ thú vị khác.  Có 3 thuộc tính là Rank, Shape, Type.  Rank: Rank là bậc hay độ sâu của một Tensor.

Ví dụ:  Tensor = [1] sẽ có rank là 1.  Tensor = [[[1,1,1],[178,62,74]]] sẽ có rank bằng 3.  Tensor = [[1,1,1],[178,62,74]] sẽ có rank bằng 2. Cách nhanh nhất để xác định rank của một Tensor là đếm số lần mở ngoặc vuông cho đến giá trị khác ngoặc vuông đầu tiên.

Việc phân rank này khá quan trọng vì nó đồng thời cũng giúp phân loại dữ liệu của Tensor. Khi ở cách rank đặc biệt cụ thể, Tensor có những tên gọi riêng như sau:  Scalar: Khi Tensor có rank bằng 0, Tensor đại diện cho một số hoặc một chuỗi cụ thể.  Vector: Vector là một Tensor rank 1. Trong python thì Vector là một list hay mảng một chiều chứa các số.

 Matrix: Đây là một Tensor rank 2 hay mảng hai chiều theo khái niệm của Python.  N-Tensor: Khi rank của Tensor tăng lên lớn hơn 2, chúng được gọi chung là N-Tensor.  Shape: Shape là một tuple có số chiều bằng với rank của Tensor tương ứng dùng để mô tả lại cấu trúc của Tensor đó. Ví dụ:  Tensor = 1 sẽ có Shape = ().

Dựa vào cấu trúc của Shape, ta dễ dàng thấy rằng ràng buộc cơ bản của Tensor là chiều của các elements trong Tensor tại mỗi bậc phải bằng nhau. 9 do an  Dtype: Đây là kiểu dữ liệu của các elements trong Tensor. Vì một Tensor chỉ có duy nhất một thuộc tính DType nên từ đó cũng suy ra là chỉ có duy nhất một kiểu DType duy nhất cho toàn bộ các elements có trong Tensor hiện tại.  Dưới đây là một số kiểu dữ liệu của một Tensor.1: Một số kiểu dữ liệu của Tensor [1].