Đồ án HCMUTE: Ứng dụng công nghệ CNN để phân loại sản phẩm trên băng chuyền

Đồ án nghiên cứu hcmute ứng dụng công nghệ cnn vào việc phân loại sản phẩm trên băng chuyền, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán kỹ thuật.

• Tác giả: Trần Quốc Trọng
• Người hướng dẫn: TS. Trương Ngọc Sơn
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Ứng Dụng Công Nghệ CNN Trong Phân Loại Sản Phẩm Băng Chuyền Tại HCMUTE
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2018
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
• LỜI CẢM ƠN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH ẢNH, BIỂU ĐỒ
• 1. CHƯƠNG 1: TÌNH HÌNH NGHIÊN CỨU
• 1.1. MỤC TIÊU NGHIÊN CỨU
• 1.2. GIỚI HẠN ĐỀ TÀI
• 1.3. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.4. NỘI DUNG ĐỒ ÁN
• 2. CHƯƠNG 2: MẠNG NEURAL TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN)
• 2.1. Giới thiệu
• 2.2. Các lớp trong mạng CNN
• 2.3. Ứng dụng của mô hình
• 2.4. Các khái niệm cơ bản trong Tensorflow
• 3. CHƯƠNG 3: THIẾT KẾ PHẦN MỀM
• 4. CHƯƠNG 4: KẾT QUẢ VÀ THỰC NGHIỆM
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phân loại sản phẩm băng chuyền Tổng quan và mục tiêu

Đề tài "Ứng dụng công nghệ CNN vào việc phân loại sản phẩm trên băng chuyền" tại HCMUTE (Trường Đại học Công nghệ TP.HCM) tập trung vào việc ứng dụng mạng nơ-ron tích chập (CNN), một nhánh của deep learning, trong hệ thống phân loại sản phẩm băng chuyền. Mục tiêu chính là thiết kế và xây dựng một mô hình phân loại tự động, sử dụng kỹ thuật xử lý ảnh và nhận dạng vật thể dựa trên công nghệ CNN. Đề tài hướng đến giải quyết bài toán phân loại sản phẩm dựa trên đặc điểm hình ảnh, cụ thể là phân biệt hai loại sản phẩm khác nhau về kích thước. Nghiên cứu này đóng góp vào việc tự động hóa quá trình sản xuất, nâng cao hiệu suất và giảm thiểu chi phí lao động. Học máy và trí tuệ nhân tạo đóng vai trò quan trọng trong việc phát triển mô hình này. Automatic product classification và conveyor belt system là hai khía cạnh trọng tâm của nghiên cứu.

1.1. Ứng dụng công nghệ CNN trong hệ thống

Công nghệ CNN được chọn vì khả năng xử lý hiệu quả dữ liệu ảnh. Thuật toán CNN cho phép nhận diện vật thể và phân tích ảnh một cách chính xác. Mô hình CNN được huấn luyện để nhận biết các đặc trưng của từng loại sản phẩm, từ đó đưa ra quyết định phân loại. Quá trình này liên quan đến việc xây dựng mô hình CNN, tối ưu hóa mô hình, và đánh giá hiệu quả. Các kỹ thuật xử lý ảnh được áp dụng để cải thiện chất lượng dữ liệu đầu vào, góp phần nâng cao độ chính xác của hệ thống. Image recognition và object detection là hai chức năng cốt lõi được thực hiện bởi mô hình CNN. Việc sử dụng TensorFlow, một thư viện deep learning, hỗ trợ đáng kể cho quá trình xây dựng và huấn luyện mô hình. Deep learning models được ứng dụng để tối đa hóa khả năng phân loại của hệ thống. Khả năng xử lý tín hiệu và xử lý ảnh cũng là những yếu tố quan trọng trong việc phát triển hệ thống.

1.2. Hạn chế và phạm vi nghiên cứu

Do thời gian hạn chế, nghiên cứu tập trung vào phân loại hai loại sản phẩm có sự khác biệt về kích thước. Hệ thống được xây dựng trên nền tảng Raspberry Pi, một thiết bị có tính năng hạn chế so với các hệ thống xử lý ảnh chuyên dụng. Bộ dữ liệu được sử dụng để huấn luyện mô hình có quy mô nhỏ, ảnh hưởng đến độ tổng quát của mô hình. Dữ liệu huấn luyện chủ yếu được thu thập từ camera trên Raspberry Pi. Công việc huấn luyện mô hình tập trung vào việc tối ưu hóa hiệu suất phân loại trên tập dữ liệu hiện có. Khả năng phân loại được đánh giá dựa trên các thước đo hiệu năng, bao gồm độ chính xác phân loại, precision, recall và F1-score. Việc mở rộng hệ thống sang phân loại nhiều loại sản phẩm hơn, hoặc tích hợp với hệ thống sản xuất thực tế, đòi hỏi nghiên cứu thêm. Kiến trúc CNN được sử dụng trong nghiên cứu này là một kiến trúc cơ bản, có thể được cải thiện bằng cách sử dụng các kiến trúc phức tạp hơn.

II. Thiết kế và triển khai hệ thống

Hệ thống bao gồm phần cứng và phần mềm. Phần cứng bao gồm Raspberry Pi 3 Model B, camera Pi, module điều khiển động cơ L298N, động cơ servo MG996, và cảm biến hồng ngoại. Phần mềm sử dụng ngôn ngữ lập trình Python và thư viện TensorFlow. Hệ thống thu thập hình ảnh từ camera, xử lý hình ảnh bằng CNN, và điều khiển động cơ để phân loại sản phẩm. Kiến trúc CNN được tùy chỉnh để phù hợp với đặc điểm của sản phẩm và dữ liệu. Image processing techniques được áp dụng để xử lý ảnh trước khi đưa vào mô hình CNN. Data augmentation có thể được sử dụng để tăng cường tập dữ liệu huấn luyện.

2.1. Thiết kế phần cứng

Raspberry Pi đóng vai trò trung tâm điều khiển. Camera Pi thu thập hình ảnh sản phẩm trên băng chuyền. Module điều khiển động cơ L298N điều khiển động cơ DC, giúp băng chuyền hoạt động. Động cơ servo MG996 điều khiển cơ cấu phân loại sản phẩm. Cảm biến hồng ngoại phát hiện sự hiện diện của sản phẩm trên băng chuyền. Kết nối giữa các thành phần được thực hiện cẩn thận để đảm bảo hệ thống hoạt động ổn định. Sơ đồ mạch điện được thiết kế để đơn giản và dễ triển khai. Các linh kiện được lựa chọn dựa trên yếu tố giá thành, hiệu năng và độ tin cậy. Việc tích hợp phần cứng được thực hiện một cách khoa học, đảm bảo tính hiệu quả và khả năng mở rộng của hệ thống. Hệ thống băng chuyền được thiết kế để đáp ứng yêu cầu phân loại hai loại sản phẩm. Conveyor belt system cần đảm bảo vận hành trơn tru và chính xác.

2.2. Thiết kế phần mềm

Phần mềm được viết bằng Python, sử dụng thư viện TensorFlow. Mô hình CNN được xây dựng và huấn luyện trên tập dữ liệu thu thập. Code xử lý ảnh, điều khiển động cơ, và giao tiếp với cảm biến được tích hợp. Giao diện người dùng (nếu có) được thiết kế đơn giản và dễ sử dụng. Quá trình huấn luyện mô hình bao gồm các bước: chuẩn bị dữ liệu, thiết kế kiến trúc mạng, huấn luyện mạng, và đánh giá hiệu suất. Model training là một quá trình quan trọng, đòi hỏi sự tinh chỉnh các tham số để đạt hiệu suất tốt nhất. Model evaluation được thực hiện bằng cách sử dụng các performance metrics như classification accuracy, precision and recall, và F1-score. Tốc độ xử lý và hiệu quả phân loại là hai chỉ số quan trọng được đánh giá. Machine learning applications được ứng dụng để tối ưu hóa hiệu suất của hệ thống.

III. Kết quả và thảo luận

Kết quả thực nghiệm cho thấy hệ thống đạt được độ chính xác phân loại cao trên tập dữ liệu kiểm tra. Các thước đo hiệu năng như độ chính xác phân loại, precision, recall và F1-score được báo cáo chi tiết. Kết quả này phản ánh hiệu quả của mô hình CNN trong việc nhận dạng và phân loại sản phẩm. Tuy nhiên, nghiên cứu cũng chỉ ra một số hạn chế, chẳng hạn như độ chính xác giảm khi gặp điều kiện ánh sáng không ổn định hoặc sản phẩm bị che khuất. Tốc độ xử lý của hệ thống cần được cải thiện để đáp ứng yêu cầu sản xuất thực tế.

3.1. Đánh giá hiệu quả hệ thống

Độ chính xác của hệ thống được đánh giá dựa trên các thước đo hiệu năng đã đề cập. Các chỉ số này cho thấy khả năng phân loại sản phẩm của hệ thống. Phân tích sai số được thực hiện để xác định nguyên nhân gây ra sai sót trong phân loại. Các yếu tố ảnh hưởng đến hiệu quả hệ thống, như chất lượng ảnh, ánh sáng, và sự đa dạng của sản phẩm, được phân tích kỹ lưỡng. Model evaluation cung cấp thông tin quý giá để cải thiện hệ thống. Precision and recall cho thấy khả năng chính xác và độ bao phủ của hệ thống. F1-score là thước đo cân bằng giữa precision và recall. Classification accuracy cho thấy tỷ lệ phân loại chính xác tổng thể. Computer vision đóng vai trò quan trọng trong việc đánh giá hiệu quả của hệ thống.

3.2. Hướng phát triển trong tương lai

Nghiên cứu có thể mở rộng bằng cách sử dụng kiến trúc CNN phức tạp hơn. Bộ dữ liệu cần được mở rộng để tăng khả năng tổng quát của mô hình. Thuật toán tối ưu hóa cần được cải tiến để giảm thời gian huấn luyện và tăng tốc độ xử lý. Hệ thống có thể được tích hợp với các thiết bị khác trong dây chuyền sản xuất. Việc ứng dụng hệ thống trong môi trường thực tế cần được xem xét. Nghiên cứu các phương pháp xử lý dữ liệu để tăng cường khả năng chống nhiễu. Ứng dụng thực tế của hệ thống này có tiềm năng lớn trong các nhà máy sản xuất. Trí tuệ nhân tạo và học máy sẽ đóng vai trò quan trọng trong việc phát triển hệ thống trong tương lai. Machine learning applications sẽ tiếp tục được nghiên cứu và phát triển.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ Học sâu (Deep Learning) phát triển mạnh mẽ và được ứng dụng sâu rộng trong các hệ thống thông minh của các tập đoàn công nghệ lớn như Google, Facebook, Youtube (nhận diện khuôn mặt, phát triển xe tự lái), việc đưa trí tuệ nhân tạo vào các hệ thống tự động hóa công nghiệp trở thành một hướng tiếp cận thiết thực. Tại Việt Nam, các doanh nghiệp công nghệ tiêu biểu như FPT cũng đã nghiên cứu và phát triển công nghệ xe tự lái dựa trên nền tảng học sâu. Xuất phát từ nhu cầu thực tiễn về việc nâng cao tính tự động hóa trong sản xuất, đề tài "Ứng dụng công nghệ CNN vào việc phân loại sản phẩm trên băng chuyền" được thực hiện bởi nhóm tác giả Trần Quốc Trọng và Đặng Quốc Vương, dưới sự hướng dẫn của TS. Trương Ngọc Sơn tại Khoa Đào tạo Chất lượng cao, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh (chuyên ngành Công nghệ Kỹ thuật Máy tính, khóa 2014–2018).

Đề tài xác định 5 mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

1. Nghiên cứu lý thuyết mạng neural tích chập (Convolutional Neural Network - CNN).
2. Nghiên cứu và sử dụng ngôn ngữ lập trình Python trong xử lý ảnh và điều khiển phần cứng.
3. Ứng dụng mạng CNN vào bài toán nhận dạng và phân loại hình ảnh vật thể.
4. Thiết kế và chế tạo mô hình hệ thống băng chuyền tích hợp xử lý ảnh tự động.
5. Lập trình điều khiển động cơ DC giảm tốc kéo băng tải và động cơ Servo gạt sản phẩm thông qua giao tiếp GPIO bằng ngôn ngữ Python.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Máy tính nhúng Raspberry Pi (sử dụng như khối xử lý trung tâm, lưu trữ dữ liệu và điều khiển ngoại vi).
• Phạm vi nghiên cứu: Tìm hiểu các hàm cơ bản trong thư viện học máy mã nguồn mở TensorFlow; giao tiếp điều khiển qua các chân GPIO của Raspberry Pi; nghiên cứu cấu trúc mạng CNN cơ bản trong bài toán gán nhãn đa lớp; lập trình Python trên hệ điều hành Linux/Raspbian.
• Giới hạn đề tài: Đề tài dừng lại ở mức độ nghiên cứu các kiến thức cơ bản của mạng CNN dùng trong bài toán gán nhãn phân loại 2 đối tượng sản phẩm (hộp to và hộp nhỏ) cùng trạng thái không có vật trên băng chuyền (Empty); hệ thống được xây dựng và thử nghiệm dưới dạng mô hình băng chuyền thực nghiệm đơn giản.

---

Cơ sở lý thuyết và phương pháp

Đề tài kết hợp giữa lý thuyết mạng neural nhân tạo hiện đại và phương pháp thiết kế hệ thống nhúng - cơ điện tử thực nghiệm.

1. Khung lý thuyết mạng neural tích chập (CNN)

Mạng CNN được lựa chọn để giải quyết nhược điểm bùng nổ tham số của mạng neural truyền thẳng (Fully-Connected). Đối với dữ liệu hình ảnh kích thước lớn (ví dụ ảnh màu $32 \times 32$ pixels tạo vector đặc trưng $3072$ chiều), mạng truyền thẳng đòi hỏi số lượng trọng số kết nối $\theta$ cực lớn giữa các lớp ẩn, dẫn đến chi phí tính toán cao và dễ quá khớp (overfitting). Mạng CNN khắc phục điều này nhờ cơ chế kết nối cục bộ và chia sẻ trọng số thông qua 4 lớp chức năng chính:

• Lớp Convolutional (Tích chập): Sử dụng các bộ lọc (filters) kích thước nhỏ ($3 \times 3$ hoặc $5 \times 5$) trượt trên ảnh theo bước trượt (stride) và phần đệm (padding) để tính tích chập, trích xuất các bản đồ đặc trưng (feature maps). Trọng số filter được khởi tạo ngẫu nhiên và cập nhật trong quá trình huấn luyện.
• Lớp RELU (Rectified Linear Unit): Áp dụng hàm kích hoạt phi tuyến $f(x) = \max(0, x)$, chuyển toàn bộ giá trị âm từ lớp tích chập thành 0 nhằm tạo tính phi tuyến cho mô hình mà vẫn đảm bảo tốc độ tính toán nhanh.
• Lớp Pooling (Lấy mẫu): Thực hiện giảm chiều không gian dữ liệu bằng các cửa sổ trượt (phổ biến là MaxPooling $2 \times 2$ với stride = 2, MinPooling hoặc AveragePooling). Việc giảm kích thước ảnh giúp thu gọn số lượng tham số, tăng hiệu năng tính toán và kiểm soát hiện tượng quá khớp.
• Lớp Fully-Connected (FC): Nằm ở cuối kiến trúc mạng, liên kết toàn bộ các đặc trưng đã trích xuất vào các node đầu ra để tiến hành phân lớp đối tượng.

2. Thư viện TensorFlow và khái niệm cốt lõi

Hệ thống sử dụng TensorFlow phiên bản 1.0 (phát triển ban đầu bởi Google Brain, phát hành theo giấy phép Apache 2.0). Dữ liệu trong TensorFlow được biểu diễn và luân chuyển qua đồ thị tính toán (Graph) với các khái niệm:

• Node: Điểm giao cắt trong đồ thị biểu diễn các phép toán hoặc sự biến đổi dữ liệu.
• Tensor: Cấu trúc dữ liệu mảng đa chiều với 3 thuộc tính: Rank (bậc/độ sâu: Scalar rank 0, Vector rank 1, Matrix rank 2, N-Tensor rank > 2), Shape (kích thước các chiều) và Dtype (kiểu dữ liệu).

Kiểu dữ liệu trong TensorFlow	Mô tả chi tiết
tf.float16 / tf.float32 / tf.float64	Kiểu số thực dấu phẩy động 16-bit, 32-bit, 64-bit
tf.bfloat16	Số thực dấu phẩy động cắt cụt 16-bit
tf.complex64 / tf.complex128	Kiểu số phức 64-bit, 128-bit
tf.int8 / tf.uint8	Số nguyên có dấu và không dấu 8-bit
tf.int16 / tf.uint16	Số nguyên có dấu và không dấu 16-bit
tf.int32 / tf.uint32	Số nguyên có dấu và không dấu 32-bit
tf.int64 / tf.uint64	Số nguyên có dấu và không dấu 64-bit
tf.boolean	Kiểu dữ liệu logic đúng/sai

3. Phương pháp học chuyển tiếp (Transfer Learning)

Để huấn luyện mô hình phân loại trên hệ thống nhúng có tài nguyên hạn chế, nhóm tác giả áp dụng phương pháp Học chuyển tiếp (Transfer Learning) dựa trên mô hình học sâu Inception-v3 do Google phát triển (đã được tiền huấn luyện trên tập dữ liệu ImageNet với 14 triệu ảnh thuộc hơn 1000 lớp đối tượng). Hệ thống tận dụng các lớp tích chập của Inception-v3 để trích xuất các tính năng nút cổ chai (Bottleneck features), sau đó loại bỏ các lớp phân loại cũ và huấn luyện lại lớp Fully-Connected cuối cùng cho tập dữ liệu sản phẩm thực tế.

---

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo cấu trúc mô-đun kết hợp chặt chẽ giữa phần cứng cơ điện tử và phần mềm nhúng.

1. Thiết kế phần cứng

Khối trung tâm sử dụng bo mạch máy tính nhúng Raspberry Pi Model B v2 kết nối với các thiết bị ngoại vi qua hệ thống chân GPIO và cổng CSI:

Thành phần phần cứng	Thông số kỹ thuật và chức năng
Kit vi xử lý trung tâm	Raspberry Pi Model B v2 (SoC Broadcom BCM2835, CPU ARM1176JZF-S 700 MHz, GPU VideoCore IV, RAM 512 MB, nguồn cấp 5V qua cổng Micro USB/GPIO, trọng lượng 45g).
Raspberry Pi Camera	Cảm biến 5 Megapixel, giao tiếp CSI (Camera Serial Interface) qua cáp dẹt (Ribbon), độ phân giải ảnh tĩnh tối đa $2592 \times 1944$ pixels, quay phim Full HD, kích thước $25 \times 20 \times 9$ mm, trọng lượng 3g.
Module Driver L298N	IC cầu H đôi L298N, điều khiển 2 động cơ DC, dòng định mức 2A/cầu H, điện áp hoạt động +5V ~ +12V, công suất tiêu tán 20W (ở 75°C), tích hợp tản nhiệt và diode chống dòng cảm ứng ngược.
Động cơ DC giảm tốc	Động cơ điện 1 chiều có chổi than, nhận tín hiệu điều khiển từ L298N để kéo băng tải.
Động cơ RC Servo MG996	Động cơ Analog Servo bánh răng kim loại, góc xoay 90 độ, kích thước $40 \times 19 \times 43$ mm, đóng vai trò cánh tay gạt cơ học đẩy sản phẩm ra khỏi băng chuyền.
Cảm biến hồng ngoại	Sử dụng cặp LED phát - thu hồng ngoại và IC so sánh LM393, góc quét 35°, khoảng cách phát hiện 2 ~ 30 cm (tùy chỉnh bằng chiết áp). Ngõ ra OUT mức logic thấp (0V) khi có vật cản và mức cao (5V) khi không có vật cản.

2. Thiết kế phần mềm và giải thuật

• Môi trường vận hành: Hệ điều hành Raspbian 8 (nhân Linux Debian, giao diện đồ họa LXDE), cài đặt qua NOOBS; ngôn ngữ lập trình Python kết hợp thư viện TensorFlow 1.0 (cài đặt qua tệp wheel .whl biên dịch cho kiến trúc ARMv7l và thư viện mock).
• Tổ chức dữ liệu huấn luyện: Ảnh chụp từ Camera Pi được lưu trữ với độ phân giải $320 \times 240$ pixels, chia thành các thư mục tương ứng với từng nhãn: our_data chứa bottleneck (lưu các phép tính nút cổ chai), inception (chứa mô hình Inception-v3), và image (chứa ảnh các loại sản phẩm). Quá trình huấn luyện sinh ra 2 tệp đầu ra: retrained_graph.pb (đồ thị mạng neural đã được cập nhật) và retrained_labels.txt (danh sách nhãn phân loại).
• Lưu đồ giải thuật toàn hệ thống:
  1. Khởi tạo hệ thống và nạp mô hình TensorFlow.
  2. Động cơ DC vận hành kéo băng chuyền đưa sản phẩm di chuyển.
  3. Cảm biến hồng ngoại quét trạng thái: khi phát hiện có vật thể đi ngang (chân OUT xuất tín hiệu 0V), gửi tín hiệu ngắt đến chân GPIO của Raspberry Pi.
  4. Raspberry Pi kích hoạt Camera Pi chụp ảnh với kích thước $320 \times 240$ pixels.
  5. Ảnh chụp được đưa vào mô hình CNN đã huấn luyện để trích xuất đặc trưng và phân lớp (Hộp to, Hộp nhỏ, Empty).
  6. Nếu kết quả nhận dạng trùng khớp với sản phẩm cần gạt, Raspberry Pi xuất tín hiệu GPIO điều khiển Servo MG996 quay một góc 90 độ để gạt sản phẩm vào khay chứa, sau đó Servo quay về vị trí ban đầu. Hệ thống tiếp tục vòng lặp giám sát.

---

Nội dung chính theo từng chương

Chương 1. Tình hình nghiên cứu

Chương này tổng quan về sự phát triển của công nghệ Học sâu trên thế giới và tại Việt Nam. Tác giả chỉ ra các ứng dụng thực tế của Deep Learning trong nhận dạng hình ảnh và xe tự lái của FPT, từ đó đặt ra bài toán ứng dụng mạng CNN vào phân loại sản phẩm. Nội dung chương xác định cụ thể 5 mục tiêu nghiên cứu, phạm vi đối tượng thực hiện trên máy tính nhúng Raspberry Pi, các giới hạn kỹ thuật của mô hình thực nghiệm và phân bổ bố cục toàn bộ đồ án gồm 5 chương.

Chương 2. Mạng neural tích chập (Convolutional Neural Network - CNN)

Chương 2 trình bày chi tiết nền tảng lý thuyết và các thành phần phần cứng được sử dụng:

• Phân tích toán học và nguyên lý hoạt động của các tầng trong mạng CNN: lớp Convolutional, lớp kích hoạt RELU, lớp lấy mẫu Pooling (MaxPooling, MinPooling, AveragePooling), và lớp Fully-Connected.
• Giới thiệu thư viện TensorFlow, kiến trúc biểu diễn luồng dữ liệu (Graph, Node) và phân loại các kiểu dữ liệu Tensor (Rank, Shape, Dtype).
• Phân tích cấu hình phần cứng máy tính nhúng Raspberry Pi, so sánh chi tiết thông số giữa Model A và Model B (về RAM, số cổng USB, cổng Ethernet RJ45, chuẩn DSI/CSI).
• Giới thiệu thông số kỹ thuật và cấu tạo của các linh kiện: Raspberry Pi Camera 5MP, động cơ DC giảm tốc, module điều khiển động cơ cầu H L298N, động cơ RC Servo MG996 và cảm biến hồng ngoại dùng IC so sánh LM393.

Chương 3. Thiết kế hệ thống

Chương 3 tập trung vào thiết kế kỹ thuật chi tiết của hệ thống phần cứng và phần mềm:

• Xây dựng sơ đồ khối tổng thể gồm khối thu thập dữ liệu (Camera Pi, cảm biến hồng ngoại), khối xử lý trung tâm (Raspberry Pi), khối chấp hành (động cơ DC qua L298N, Servo MG996) và khối cấp nguồn.
• Thiết kế sơ đồ nguyên lý kết nối chân GPIO giữa Raspberry Pi với module L298N, Camera CSI, Servo MG996 và cảm biến hồng ngoại LM393.
• Trình bày quy trình cài đặt môi trường TensorFlow 1.0 trên Raspbian Linux qua các lệnh Terminal, hướng dẫn cấu hình raspi-config để kích hoạt camera CSI và cách khắc phục lỗi không tương thích phiên bản wheel (.whl).
• Chi tiết phương pháp thu thập dữ liệu ảnh ($320 \times 240$ pixels) và triển khai phương pháp Học chuyển tiếp (Transfer Learning) với mô hình Inception-v3 để trích xuất Bottleneck, tạo ra đồ thị phân loại retrained_graph.pb và nhãn retrained_labels.txt.
• Xây dựng lưu đồ giải thuật chương trình chính và chương trình con điều khiển cơ cấu truyền động.

Chương 4. Kết quả và thực nghiệm

Chương 4 mô tả kết quả chế tạo và vận hành mô hình thực tế:

• Hoàn thiện mô hình cơ khí băng chuyền tổng thể với bộ truyền động động cơ DC, hệ thống bo mạch điều khiển được bố trí gọn gàng phía dưới khung băng chuyền.
• Lắp đặt và định vị Camera Pi, cảm biến hồng ngoại và cánh tay gạt Servo MG996 tại các vị trí làm việc trên thân băng tải.
• Thực nghiệm quá trình phân loại trên băng chuyền đối với 3 trạng thái thực tế: nhận dạng chính xác hộp kích thước nhỏ, nhận dạng chính xác hộp kích thước to, và nhận dạng trạng thái không có vật thể (Empty) khi băng tải chạy không tải.

Chương 5. Kết luận và hướng phát triển

Chương cuối cùng tổng kết toàn bộ các kết quả đạt được về mặt lý thuyết và thực nghiệm, đánh giá mức độ hoàn thành nhiệm vụ nghiên cứu, chỉ rõ các mặt hạn chế của mô hình phần cứng cũng như đề xuất các hướng mở rộng kỹ thuật trong tương lai.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm cụ thể

• Bộ dữ liệu thực nghiệm: Nhóm tác giả đã thu thập tổng cộng 650 hình ảnh bằng Camera Pi ở độ phân giải $320 \times 240$ pixels dưới nhiều góc chụp, tư thế và vị trí khác nhau của sản phẩm. Tập dữ liệu được phân chia cụ thể như sau:

STT	Nhãn sản phẩm	Tập huấn luyện (Training set)	Tập kiểm tra (Test set)	Tổng số lượng ảnh
1	Hộp to	200	50	250
2	Hộp nhỏ	200	50	250
3	Emty (Không có vật)	100	50	150
Tổng		500	150	650

• Triển khai mô hình học sâu trên phần cứng nhúng: Cài đặt và biên dịch thành công môi trường TensorFlow 1.0 trên hệ điều hành Raspbian; thực thi hiệu quả phương pháp Transfer Learning với mô hình Inception-v3 để trích xuất đặc trưng nút cổ chai và huấn luyện bộ phân loại mới.
• Vận hành hệ thống cơ điện tử: Chế tạo hoàn chỉnh mô hình băng chuyền tự động, tích hợp xử lý tín hiệu từ cảm biến hồng ngoại LM393 để kích hoạt camera chụp ảnh, nhận dạng đa lớp và điều khiển cánh tay gạt Servo MG996 phân loại chính xác hộp to, hộp nhỏ và phát hiện trạng thái Empty.

2. Đóng góp và giải pháp đề xuất

• Đề xuất giải pháp kết hợp kỹ thuật Học chuyển tiếp (Transfer Learning) với việc trích xuất đặc trưng nút cổ chai (Bottleneck) từ mạng Inception-v3, giúp giảm thiểu đáng kể khối lượng tính toán và thời gian huấn luyện mô hình học sâu, phù hợp cho việc triển khai trên máy tính nhúng có bộ nhớ và năng lực xử lý hạn chế như Raspberry Pi.
• Hiện thực hóa quy trình tích hợp giữa thuật toán xử lý ảnh Deep Learning và hệ thống điều khiển ngoại vi thời gian thực qua chân GPIO, chứng minh tính khả thi của việc ứng dụng các giải pháp thị giác máy tính dựa trên CNN vào các hệ thống phân loại sản phẩm tự động quy mô nhỏ.

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

• Mô hình phân loại chỉ dừng lại ở mức độ thử nghiệm đơn giản với 2 đối tượng hộp phân biệt theo kích thước và 1 trạng thái rỗng (Empty).
• Mạng neural tích chập có cấu trúc kích thước và độ sâu cố định, dẫn đến sự thiếu linh hoạt khi cần mở rộng quy mô hoặc thay đổi kiến trúc nhận dạng.
• Năng lực phần cứng của kit Raspberry Pi Model B v2 (RAM 512MB, CPU 700MHz) còn hạn chế về tốc độ xử lý khi chạy các mô hình học sâu so với các hệ thống máy tính công nghiệp.

2. Hướng nghiên cứu tiếp

• Nâng cấp phần cứng vi xử lý lên các dòng kit nhúng có cấu hình cao hơn nhằm cải thiện tốc độ xử lý khung hình và độ trễ nhận dạng của hệ thống.
• Mở rộng tập dữ liệu huấn luyện và phát triển khả năng nhận dạng cho nhiều chủng loại sản phẩm đa dạng hơn (về hình dáng, màu sắc, hoa văn, mã sản phẩm) thay vì chỉ phân loại 2 kích thước hộp.
• Tối ưu hóa thuật toán và cải tiến cơ cấu chấp hành cơ khí để tăng tính ổn định, độ chính xác và khả năng đáp ứng với tốc độ băng tải cao hơn trong môi trường sản xuất thực tế.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên, học viên và các kỹ sư thuộc các ngành Công nghệ Kỹ thuật Máy tính, Điện tử - Viễn thông, Tự động hóa và Công nghệ Thông tin:

• Quy trình triển khai học sâu trên thiết bị nhúng: Tài liệu cung cấp hướng dẫn từng bước về việc cài đặt thư viện TensorFlow trên nền tảng Linux ARM (Raspbian), cách xử lý các lỗi không tương thích tệp wheel (.whl) và thư viện phụ trợ mock.
• Kỹ thuật Transfer Learning thực hành: Cung cấp phương pháp chi tiết về cách tổ chức thư mục dữ liệu, trích xuất đặc trưng Bottleneck từ mô hình Inception-v3 và tái huấn luyện mạng neural để giải quyết bài toán phân loại ảnh tùy biến.
• Thiết kế hệ thống điều khiển nhúng: Cung cấp sơ đồ đấu nối phần cứng chi tiết giữa chân GPIO của Raspberry Pi với module điều khiển động cơ cầu H L298N, động cơ RC Servo MG996, Camera CSI và cảm biến hồng ngoại LM393.

---

Câu hỏi thường gặp

1. Đồ án sử dụng kiến trúc mạng học sâu nào và tại sao lại áp dụng phương pháp Transfer Learning? Đề tài sử dụng mạng neural tích chập (CNN) với mô hình cơ sở là Inception-v3 do Google phát triển (đã được tiền huấn luyện trên tập dữ liệu ImageNet gồm 14 triệu ảnh và hơn 1000 lớp). Phương pháp Transfer Learning được áp dụng nhằm tận dụng các lớp tích chập đã học sẵn của Inception-v3 để trích xuất đặc trưng nút cổ chai (Bottleneck), giúp giảm tải tính toán và loại bỏ nhu cầu huấn luyện lại toàn bộ mạng từ đầu, rất phù hợp với cấu hình giới hạn của máy tính nhúng Raspberry Pi.

2. Tập dữ liệu thực nghiệm được thu thập như thế nào và phân bổ số lượng ra sao? Dữ liệu gồm 650 hình ảnh được chụp trực tiếp từ Raspberry Pi Camera cố định trên khung băng chuyền ở độ phân giải $320 \times 240$ pixels dưới nhiều góc độ và vị trí khác nhau. Tập dữ liệu được chia thành: Tập huấn luyện (500 ảnh, gồm 200 ảnh Hộp to, 200 ảnh Hộp nhỏ, 100 ảnh Empty) và Tập kiểm tra (150 ảnh, gồm 50 ảnh Hộp to, 50 ảnh Hộp nhỏ, 50 ảnh Empty).

3. Khối điều khiển trung tâm và các linh kiện ngoại vi chính của hệ thống gồm những gì? Hệ thống sử dụng máy tính nhúng Raspberry Pi Model B v2 (RAM 512MB, CPU ARM11 700MHz) làm khối xử lý trung tâm, kết nối với: Raspberry Pi Camera 5MP qua socket CSI, cảm biến hồng ngoại dùng IC so sánh LM393, module driver cầu H L298N điều khiển động cơ DC kéo băng chuyền, và động cơ RC Servo MG996 góc quay 90 độ dùng làm cánh tay gạt phân loại.

4. Cơ chế phối hợp giữa cảm biến hồng ngoại, camera và cơ cấu gạt Servo diễn ra như thế nào? Khi băng tải chạy, nếu có sản phẩm đi qua, cảm biến hồng ngoại phát hiện vật cản và xuất mức logic thấp (0V) về chân GPIO của Raspberry Pi. Nhận được tín hiệu ngắt, Raspberry Pi kích hoạt Camera Pi chụp ảnh $320 \times 240$ pixels và nạp vào mô hình TensorFlow để phân loại. Nếu kết quả nhận dạng xác định đúng sản phẩm cần gạt, Raspberry Pi điều khiển Servo MG996 quay 90 độ để đẩy sản phẩm ra khỏi băng tải vào khay chứa, sau đó trả Servo về vị trí cũ.

5. Nhóm tác giả đã giải quyết sự cố lỗi wheel khi cài đặt TensorFlow trên Raspberry Pi như thế nào? Khi cài đặt bằng công cụ pip, hệ thống có thể báo lỗi không hỗ trợ gói cài đặt do xung đột phiên bản Python (tensorflow-1.0-cp34-cp34m-any.whl is not a supported wheel on this platform). Tác giả đã xử lý bằng cách sử dụng phiên bản wheel tương thích dành riêng cho Python 2.7 trên nền tảng ARM (v1.0-cp27-none-linux_armv7l) và chạy lệnh cài đặt tương ứng thông qua pip2, kết hợp cài đặt lại gói mock để khắc phục lỗi nhập thư viện.

---

Kết luận

Đồ án tốt nghiệp "Ứng dụng công nghệ CNN vào việc phân loại sản phẩm trên băng chuyền" đã xây dựng thành công một mô hình thực nghiệm hoàn chỉnh tích hợp giữa thuật toán học sâu và hệ thống điều khiển nhúng thời gian thực. Bằng việc áp dụng phương pháp Transfer Learning trên mô hình Inception-v3 với thư viện TensorFlow, đề tài đã giải quyết hiệu quả bài toán phân loại sản phẩm theo kích thước trên nền tảng máy tính nhúng Raspberry Pi Model B v2. Kết quả nghiên cứu khẳng định tính khả thi của việc ứng dụng mạng neural tích chập trong tự động hóa công nghiệp và cung cấp tài liệu kỹ thuật có giá trị tham khảo cao cho các nghiên cứu tiếp theo về thị giác máy tính trên hệ thống nhúng.

Trích đoạn nội dung tài liệu

Đặt vấn đề về thiết kế phần cứng và phần mềm, sơ đồ nguyên lí, sơ đồ khối, chức năng của từng khối.  Chương 4: Kết quả và thực nghiệm. Chương này sẽ trình bày về kết quả mô hình cũng như chạy thực nghiệm để kiểm chứng mức độ chính xác và độ ổn định của hệ thống.  Chương 5: Kết luận và hướng phát triển.

Chương này dưa ra kết luận đã làm được và hướng phát triển đề tài. Dựa trên những kết quả mà nhóm đã thực hiện, nhóm đưa ra những vấn đề đã hoàn thành và chưa hoàn thành. Những mặt hạn chế của đề tài và hướng phát triển của đề tài trong tương lai. 3 do an CHƯƠNG 2.

MẠNG NEURAL TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN) 2. Giới thiệu Mạng neural tích chập (Convolutional Neural Netwwork) viết tắt là CNN là một mô hình mạng neural nhân tạo. Mô hình này thường được dùng trong bài toán phân loại ảnh đối tượng hoặc như một module rút trích đặc trưng của hình ảnh trong nhiều bài toán khác. Mô hình mạng neural truyền thẳng ra đời đã được áp dụng nhiều trong các bài toán nhận dạng.

Tuy nhiên mạng neural truyền thẳng không thể hiện tốt lắm đối với các dữ liệu như hình ảnh. Chính sự liên kết quá đầy đủ tạo nên những hạn chế cho mô hình. Dữ liệu hình ảnh có kích thước khá lớn, một tấm ảnh xám có kích thước 32×32 (pixels) sẽ cho ra vector đặc trưng có 1024 chiều, còn đối với ảnh màu cùng kích thước sẽ là 3072 chiều. Do đó, ta cần 3072 trọng số θ nối giữa lớp vào và một node ở lớp ẩn kế tiếp.

Số lượng trọng số sẽ càng nhân rộng hơn nữa nếu số lượng node trong lớp ẩn tăng lên, số lượng lớp ẩn tăng lên. Dựa trên tư tưởng này mạng neural tích chập ra đời với một kiến trúc khác so mới mạng truyền thẳng. Thay vì toàn bộ ảnh nối với một node thì chỉ có một phần cục bộ trong ảnh nối đến một node trong lớp tiếp theo. Dữ liệu hình ảnh thông qua các lớp của mô hình này sẽ được “học” ra các đặc trưng để tiến hành phân lớp một cách hiệu quả.

Các lớp trong mạng CNN  Về cơ bản mô hình mạng neural tích chập bao gồm các lớp sau:  Lớp Convolutional.  Lớp Fully-Connected (FC). Sự sắp xếp về số lượng và thứ tự giữa các lớp này sẽ tạo ra những mô hình khác nhau phù hợp cho các bài toán khác nhau.  Lớp Convolutional: Lớp này chính là nơi thể hiện tư tưởng ban đầu của mạng neural tích chập.

Thay vì kết nối toàn bộ điểm ảnh, lớp này sẽ sử dụng một bộ các bộ lọc (filters) có kích thước nhỏ so với ảnh (thường là 3×3 hoặc 5×5) áp vào một vùng trong ảnh và tiến hành tính tích chập giữa bộ filter và giá trị điểm ảnh trong vùng cục bộ đó. Bộ filter sẽ lần lượt được dịch chuyển theo một giá trị bước trượt (stride) chạy dọc theo ảnh và quét toàn bộ ảnh. 5 do an Như vậy với một bức ảnh 32×32 và một filter 3×3, ta sẽ có kết quả là một tấm ảnh mới có kích thước 32×32 (với điều kiện đã thêm padding vào ảnh gốc để tính tích chập cho các trường hợp filter quét ra các biên cạnh) là kết quả tích chập của filter và ảnh. Với bao nhiêu filter trong lớp này thì ta sẽ có bấy nhiêu ảnh tương ứng mà lớp này trả ra và được truyền vào lớp tiếp theo.

Các trọng số của filter ban đầu sẽ được khởi tạo ngẫu nhiên và sẽ được học dần trong quá trình huấn luyện mô hình.  Lớp RELU: Lớp này thường được cài đặt ngay sau lớp Convolutional. Lớp này sử dụng hàm kích hoạt f(x) = max(0,x). Nói một cách đơn giản, lớp này có nhiệm vụ chuyển toàn bộ giá trị âm trong kết quả lấy từ lớp Convolutional thành giá trị 0.

Ý nghĩa của cách cài đặt này chính là tạo nên tính phi tuyến cho mô hình. Tương tự như trong mạng truyền thẳng, việc xây dựng dựa trên các phép biến đổi tuyến tính sẽ khiến việc xây dựng đa tầng đa lớp trở nên vô nghĩa. Có rất nhiều cách để khiến mô hình trở nên phi tuyến như sử dụng các hàm kích hoạt sigmoid, tanh,… nhưng hàm f(x) = max(0,x) dễ cài đặt, tính toán nhanh mà vẫn hiệu quả.  Lớp Pooling: Lớp này sử dụng một cửa sổ trượt quét qua toàn bộ ảnh dữ liệu, mỗi lần trượt theo một bước trượt (stride) cho trước.

Khác với lớp Convolutional, lớp Pooling không tính tích chập mà tiến hành lấy mẫu (subsampling). Khi cửa sổ trượt trên ảnh, chỉ có một giá trị được xem là giá trị đại diện cho thông tin ảnh tại vùng đó (giá trị mẫu) được giữ lại. Các phương thức lấy phổ biến trong lớp Pooling là MaxPooling ( lấy giá trị lớn nhất), MinPooling (lấy giá trị nhỏ nhất) và AveragePooling (lấy giá trị trung bình). Xét một ảnh có kích thước 32×32 và lớp Pooling sử dụng filter có kích thước 2×2 với bước trượt stride = 2, phương pháp sử dụng là MaxPooling.

Filter sẽ lần lượt duyệt qua ảnh, với mỗi lần duyệt chỉ có giá trị lớn nhất trong 4 giá trị nằm trong vùng cửa sổ 2×2 của filter được giữ lại và đưa ra đầu ra. Như vậy sau khi qua lớp Pooling, ảnh sẽ giảm kích thước xuống còn 16×16 (kích thước mỗi chiều giảm 2 lần). 6 do an Hình 2.3: Tính toán với MaxPooling [4]. Lớp Pooling có vai trò giảm kích thước dữ liệu.

Với một bức ảnh kích thước lớn qua nhiều lớp Pooling sẽ được thu nhỏ lại tuy nhiên vẫn giữ được những đặc trưng cần cho việc nhận dạng (thông qua cách lấy mẫu). Việc giảm kích thước dữ liệu sẽ làm giảm lượng tham số, tăng hiệu quả tính toán và góp phần kiểm soát hiện tượng quá khớp (overfitting).  Lớp Fully-Connected (FC): Lớp này tương tự với lớp trong mạng neural truyền thẳng, các giá trị ảnh được liên kết đầy đủ vào node trong lớp tiếp theo. Sau khi ảnh được xử lý và rút trích đặc trưng từ các lớp trước đó, dữ liệu ảnh sẽ không còn quá lớn so với mô hình truyền thẳng nên ta có thể sử dụng mô hình truyền thẳng để tiến hành nhận dạng.

Tóm lại, lớp fully-connected đóng vai trò như một mô hình phân lớp và tiến hành dựa trên dữ liệu đã được xử lý ở các lớp trước đó. Một mạng neural tích chập được hình thành bằng cách ghép các lớp nêu trên lại với nhau. Mô hình bắt đầu với lớp Convolutional. Lớp RELU thường luôn được cài đặc ngay sau lớp Convolutional hoặc thậm chí kết hợp cả hai lớp này thành một lớp.

Các lớp tiếp theo có thể là Convolutional hay Pooling tùy theo kiến trúc mà ta muốn xây dựng. Cuối cùng sẽ là lớp FC để tiến hành phân lớp. Ứng dụng của mô hình Mạng neural tích chập được áp dụng khá nhiều trong các bài toán nhận dạng như nhận dạng vật thể trong ảnh, nhận dạng chữ viết tay (chuyển đổi chữ viết trong hình ảnh thành văn bản thô trong máy tính), nhận dạng vật thể 3D, xử lý tiếng nói, xử lý ngôn ngữ tự nhiên,… với độ chính xác trên 90%. Tuy nhiên, mạng CNN có một số hạn chế: kích thước và độ sâu của mạng neural.

Điều này làm cho mạng CNN trở nên thiếu linh hoạt khi muốn thay đổi kiến trúc cũ. 7 do an Trong thực tế, ta có thể chọn giải quyết các bài toán cụ thể mà nhu cầu mở rộng không quá lớn và không quá đòi hỏi độ linh hoạt cao. Với những bài toán như vậy thì mạng neural tích chập vẫn là một mô hình hiệu quả. Giới thiệu TensorFlow là một thư viện phần mềm mã nguồn mở dành cho máy học trong nhiều loại hình tác vụ nhận thức và hiểu ngôn ngữ.

Nó hiện đang được sử dụng cho cả nghiên cứu lẫn sản xuất bởi 50 đội khác nhau trong hàng tá sản phẩm thương mại của Google như nhận dạng giọng nói, Gmail, Google Photos, và tìm kiếm. TensorFlow nguyên thủy được phát triển bởi đội Google Brain cho mục đích nghiên cứu và sản xuất của Google và sau đó được phát hành theo giấy phép mã nguồn mở Apache 2.4: Trang chủ “Tensorflow. Các khái niệm cơ bản trong Tensorflow  Node: Tensorflow mô tả lại dòng chảy của dữ liệu thông qua graph nên mỗi một điểm giao cắt trong graph thì được gọi là Node. Tại sao điều này quan trọng thì là vì các Node chính là điểm đại diện cho việc thay đổi của dữ liệu nên việc lưu trữ lại tham chiếu của các Node này là rất quan trọng.

 Tensor:  Tensor là khái niệm cơ bản nhất trong TensorFlow. 8 do an  Là cấu trúc dữ liệu được sử dụng trong toàn TensorFlow, đại diện cho tất cả các loại dữ liệu. Hay nói cách khác là tất cả các loại. dữ liệu đều là tensor.

Việc trao đổi dữ liệu trong quá trình xử lý chỉ thông qua tensor.  Hiểu đơn giản thì tensor là mảng n chiều hay list cộng thêm 1 vài thứ thú vị khác.  Có 3 thuộc tính là Rank, Shape, Type.  Rank: Rank là bậc hay độ sâu của một Tensor.

Ví dụ:  Tensor = [1] sẽ có rank là 1.  Tensor = [[[1,1,1],[178,62,74]]] sẽ có rank bằng 3.  Tensor = [[1,1,1],[178,62,74]] sẽ có rank bằng 2. Cách nhanh nhất để xác định rank của một Tensor là đếm số lần mở ngoặc vuông cho đến giá trị khác ngoặc vuông đầu tiên.

Việc phân rank này khá quan trọng vì nó đồng thời cũng giúp phân loại dữ liệu của Tensor. Khi ở cách rank đặc biệt cụ thể, Tensor có những tên gọi riêng như sau:  Scalar: Khi Tensor có rank bằng 0, Tensor đại diện cho một số hoặc một chuỗi cụ thể.  Vector: Vector là một Tensor rank 1. Trong python thì Vector là một list hay mảng một chiều chứa các số.

 Matrix: Đây là một Tensor rank 2 hay mảng hai chiều theo khái niệm của Python.  N-Tensor: Khi rank của Tensor tăng lên lớn hơn 2, chúng được gọi chung là N-Tensor.  Shape: Shape là một tuple có số chiều bằng với rank của Tensor tương ứng dùng để mô tả lại cấu trúc của Tensor đó. Ví dụ:  Tensor = 1 sẽ có Shape = ().

Dựa vào cấu trúc của Shape, ta dễ dàng thấy rằng ràng buộc cơ bản của Tensor là chiều của các elements trong Tensor tại mỗi bậc phải bằng nhau. 9 do an  Dtype: Đây là kiểu dữ liệu của các elements trong Tensor. Vì một Tensor chỉ có duy nhất một thuộc tính DType nên từ đó cũng suy ra là chỉ có duy nhất một kiểu DType duy nhất cho toàn bộ các elements có trong Tensor hiện tại.  Dưới đây là một số kiểu dữ liệu của một Tensor.1: Một số kiểu dữ liệu của Tensor [1].