Đồ án HCMUTE: Nghiên cứu và ứng dụng machine vision để phát hiện sản phẩm lỗi trong công nghiệp

Đồ án nghiên cứu hcmute nghiên cứu và ứng dụng machine vision phát hiện sản phẩm lỗi trong công nghiệp, thiết kế chi tiết, tính toán kỹ thuật theo tiêu chuẩn, đánh giá tính khả

• Tác giả: Phạm Hoàng Việt
• Người hướng dẫn: ThS. Nguyễn Tử Đức
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật Điều khiển và Tự động hóa
• Đề tài: Nghiên cứu ứng dụng machine vision phát hiện sản phẩm lỗi trong công nghiệp
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu
• 1.2. Tổng quan về machine vision trong công nghiệp
• 1.3. Mục tiêu của đề tài
• 1.4. Đối tượng và phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 1.6. Nội dung của đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu về hệ thống Machine Vision
• 2.2. Giới thiệu về Machine Vision
• 2.3. Khái niệm về Machine Vision
• TÀI LIỆU THAM KHẢO
• Phụ lục 1: Chương trình huấn luyện mô hình nhận dạng
• Phụ lục 2: Chương trình chạy mô hình và xử lý ảnh phát hiện lỗi

Tóm tắt

I. Tổng quan về Machine Vision trong công nghiệp

Machine Vision, hay thị giác máy tính, là công nghệ sử dụng các hệ thống cảm biến không tiếp xúc để nhận diện và phân tích hình ảnh nhằm thực hiện các nhiệm vụ kiểm tra chất lượng sản phẩm trong quy trình sản xuất. Công nghệ này đã trở thành một phần không thể thiếu trong công nghiệp 4.0, giúp tối ưu hóa quy trình tự động hóa và nâng cao hiệu quả sản xuất. Hệ thống Machine Vision thường bao gồm camera công nghiệp, phần mềm xử lý hình ảnh và các thiết bị điều khiển. Việc áp dụng AI và deep learning trong machine vision đã giúp cải thiện khả năng phát hiện lỗi, từ đó giảm thiểu tỷ lệ sản phẩm lỗi trong dây chuyền sản xuất. Theo một nghiên cứu, hệ thống này có thể đạt tốc độ xử lý lên đến 1.5-2 giây cho mỗi sản phẩm, cho thấy tính hiệu quả và độ tin cậy cao trong việc phát hiện lỗi.

1.1. Lợi ích của Machine Vision

Việc áp dụng Machine Vision trong sản xuất mang lại nhiều lợi ích đáng kể. Đầu tiên, nó giúp tăng cường độ chính xác trong việc kiểm tra sản phẩm, giảm thiểu sai sót do con người gây ra. Thứ hai, hệ thống này có khả năng hoạt động liên tục mà không bị mệt mỏi, từ đó nâng cao năng suất sản xuất. Cuối cùng, việc sử dụng machine vision còn giúp tiết kiệm chi phí lao động và thời gian kiểm tra, đồng thời cải thiện chất lượng sản phẩm đầu ra. Như một ví dụ, một nhà máy sản xuất có thể giảm tỷ lệ sản phẩm lỗi xuống dưới 1% nhờ vào việc áp dụng công nghệ này.

II. Các ứng dụng của Machine Vision trong công nghiệp

Machine Vision được ứng dụng rộng rãi trong nhiều lĩnh vực của công nghiệp. Một trong những ứng dụng phổ biến nhất là trong kiểm tra chất lượng sản phẩm. Hệ thống này có thể phát hiện các khiếm khuyết như vết nứt, móp méo hoặc các lỗi khác mà mắt thường khó nhận thấy. Ngoài ra, machine vision còn được sử dụng trong việc phân loại sản phẩm, giúp tự động hóa quy trình phân loại và đóng gói. Hệ thống này cũng có thể được tích hợp với các công nghệ khác như IoT để theo dõi và phân tích dữ liệu sản xuất theo thời gian thực. Điều này không chỉ giúp cải thiện quy trình sản xuất mà còn tạo ra một nhà máy thông minh, nơi mọi thứ được kết nối và tự động hóa.

2.1. Kiểm tra chất lượng sản phẩm

Kiểm tra chất lượng sản phẩm là một trong những ứng dụng quan trọng nhất của Machine Vision. Hệ thống này có khả năng phát hiện các lỗi nhỏ nhất trong sản phẩm, từ đó đảm bảo rằng chỉ những sản phẩm đạt tiêu chuẩn mới được đưa ra thị trường. Việc sử dụng camera công nghiệp kết hợp với các thuật toán xử lý hình ảnh giúp tăng cường khả năng phát hiện lỗi, từ đó giảm thiểu rủi ro cho doanh nghiệp. Theo một nghiên cứu, việc áp dụng machine vision trong kiểm tra chất lượng đã giúp một số công ty giảm tỷ lệ sản phẩm lỗi xuống dưới 0.5%, cho thấy hiệu quả vượt trội của công nghệ này.

III. Công nghệ và kỹ thuật trong Machine Vision

Công nghệ Machine Vision dựa trên nhiều kỹ thuật khác nhau, bao gồm xử lý ảnh, trí tuệ nhân tạo và học sâu. Các thuật toán xử lý ảnh giúp chuyển đổi hình ảnh thu được từ camera thành dữ liệu có thể phân tích. Deep learning và mạng nơron tích chập (CNN) được sử dụng để nhận diện và phân loại các đối tượng trong hình ảnh. Việc áp dụng các công nghệ này không chỉ giúp cải thiện độ chính xác trong việc phát hiện lỗi mà còn tăng tốc độ xử lý hình ảnh. Hệ thống Machine Vision hiện đại có thể xử lý hàng trăm hình ảnh mỗi giây, cho phép kiểm tra chất lượng sản phẩm trong thời gian thực.

3.1. Xử lý ảnh và các thuật toán

Xử lý ảnh là bước đầu tiên trong quy trình Machine Vision. Các thuật toán xử lý ảnh như lọc, phân đoạn và nhận diện đối tượng được sử dụng để chuẩn bị dữ liệu cho các bước tiếp theo. Việc sử dụng thư viện OpenCV cho phép các kỹ sư phát triển các ứng dụng xử lý ảnh một cách nhanh chóng và hiệu quả. Các thuật toán này giúp cải thiện chất lượng hình ảnh, từ đó nâng cao khả năng phát hiện lỗi. Hệ thống có thể được tùy chỉnh để phù hợp với từng loại sản phẩm cụ thể, đảm bảo rằng mọi khiếm khuyết đều được phát hiện kịp thời.

IV. Kết quả và đánh giá hiệu quả của hệ thống

Kết quả thử nghiệm cho thấy hệ thống Machine Vision có khả năng phát hiện lỗi với độ chính xác cao. Các thử nghiệm được thực hiện trong điều kiện sản xuất thực tế, cho thấy rằng hệ thống có thể phát hiện các khiếm khuyết như móp đầu, móp giữa và các lỗi khác với tỷ lệ chính xác lên đến 95%. Điều này chứng tỏ rằng việc áp dụng công nghệ machine vision không chỉ giúp nâng cao chất lượng sản phẩm mà còn tối ưu hóa quy trình sản xuất. Hệ thống cũng cho thấy khả năng hoạt động ổn định trong môi trường sản xuất, từ đó giảm thiểu thời gian dừng máy và tăng năng suất.

4.1. Đánh giá hiệu quả

Đánh giá hiệu quả của hệ thống Machine Vision được thực hiện thông qua các chỉ số như tỷ lệ phát hiện lỗi, thời gian xử lý và độ tin cậy của hệ thống. Kết quả cho thấy rằng hệ thống không chỉ phát hiện lỗi một cách chính xác mà còn hoạt động nhanh chóng, với thời gian xử lý trung bình chỉ khoảng 1.5 giây cho mỗi sản phẩm. Điều này cho phép các nhà máy duy trì tốc độ sản xuất cao mà không làm giảm chất lượng sản phẩm. Hệ thống cũng cho thấy khả năng tự động hóa cao, giúp giảm thiểu sự can thiệp của con người trong quá trình kiểm tra chất lượng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong các dây chuyền sản xuất công nghiệp truyền thống, công đoạn kiểm tra ngoại quan và đánh giá chất lượng sản phẩm chủ yếu phụ thuộc vào nhân công trực tiếp. Phương thức này bộc lộ nhiều hạn chế lớn: tốc độ kiểm tra chậm, người lao động dễ mệt mỏi và suy giảm thị giác khi làm việc lặp đi lặp lại trong thời gian dài, dẫn đến việc đưa ra các đánh giá thiếu chính xác hoặc để lọt sản phẩm lỗi sang các công đoạn tiếp theo, gây tổn thất kinh tế cho doanh nghiệp. Đặc biệt, khi tốc độ của dây chuyền sản xuất tăng cao, xác suất xảy ra sai sót trong khâu kiểm soát chất lượng thủ công càng lớn.

Trước yêu cầu tối ưu hóa sản xuất và tự động hóa trong kỷ nguyên Công nghiệp 4.0, công nghệ Thị giác máy (Machine Vision) kết hợp cùng Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) đã trở thành giải pháp thay thế hiệu quả nhờ độ ổn định cao, tốc độ phản hồi nhanh và khả năng tự động học trích xuất đặc trưng từ dữ liệu hình ảnh. Đề tài "Nghiên cứu và ứng dụng Machine Vision phát hiện sản phẩm lỗi trong công nghiệp" được thực hiện nhằm xây dựng một mô hình hệ thống kiểm tra ngoại quan tự động, có khả năng phân loại sản phẩm đạt chuẩn và sản phẩm khiếm khuyết theo thời gian thực.

Mục tiêu của đề tài:

1. Nghiên cứu và lựa chọn các thành phần phần cứng phù hợp và tương thích gồm cảm biến, máy tính nhúng và bộ điều khiển công nghiệp.
2. Ứng dụng kỹ thuật xử lý ảnh và mạng nơ-ron tích chập để thu nhận ảnh đầu vào, thực hiện tiền xử lý và phát hiện các dạng khiếm khuyết của sản phẩm, từ đó đưa ra tín hiệu phân loại sản phẩm đạt hoặc lỗi ở đầu ra.
3. Xây dựng một hệ thống hoàn chỉnh có khả năng thu nhận và phân loại sản phẩm theo thời gian thực trên mô hình băng chuyền, phục vụ mục tiêu tối ưu hóa quy trình tự động hóa sản xuất.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Hệ thống Machine Vision ứng dụng nhận dạng và phân loại lỗi ngoại quan; mô hình băng tải mô phỏng dây chuyền sản xuất; các thiết bị phần cứng gồm bo mạch máy tính nhúng NVIDIA Jetson Nano Developer Kit, 2 máy ảnh Logitech, cảm biến tiệm cận hồng ngoại, mạch cách ly quang và bộ điều khiển lập trình PLC Siemens S7-1200.
• Đối tượng thử nghiệm cụ thể: Vỏ lon nước với các dạng khiếm khuyết hình học/ngoại quan gồm: móp đầu, móp trên, móp giữa, móp dưới và móp một bên.
• Phạm vi không gian và thời gian: Đề tài được triển khai thực nghiệm tại Khoa Đào tạo Chất lượng cao, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, thực hiện từ ngày 24/02/2020 đến ngày 27/07/2020.

---

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng nghiên cứu dựa trên sự kết hợp giữa lý thuyết xử lý ảnh số, trí tuệ nhân tạo (máy học, học sâu) và điều khiển tự động hóa công nghiệp.

Khung lý thuyết và mô hình sử dụng

• Lý thuyết xử lý ảnh số: Quá trình chuyển đổi tín hiệu thị giác, biểu diễn ảnh màu bằng tensor 3 chiều (kênh RGB), chuyển đổi sang ảnh xám (grayscale) và ảnh nhị phân (binary thresholding), các phép toán hình thái học (giãn ảnh nhị phân - dilation), phân đoạn ảnh và trích chọn vùng quan tâm (ROI - Region of Interest).
• Trí tuệ nhân tạo và Học sâu (Deep Learning): Nguyên lý hoạt động của mạng nơ-ron tích chập (CNN) gồm các lớp tích chập (Convolutional layer) để trích xuất đặc trưng không gian, các hàm kích hoạt phi tuyến (Activation Function: ReLU, Sigmoid...), lớp gộp (Max Pooling, Average Pooling) để giảm số chiều dữ liệu, và lớp kết nối đầy đủ (Fully Connected layer) kết hợp hàm Softmax ở tầng cuối cùng để tính toán xác suất phân loại.
• Học chuyển giao (Transfer Learning) và Fine-tuning: Tận dụng kiến trúc mạng nơ-ron đã được huấn luyện trước VGG16 (Pre-trained model VGG16), loại bỏ các lớp kết nối đầy đủ nguyên bản của VGG16 và thay thế bằng các lớp fully connected mới; áp dụng kỹ thuật đóng băng (freeze) và mở băng (unfreeze) các lớp trích xuất đặc trưng để huấn luyện thích nghi với tập dữ liệu phân loại lon lỗi.
• Thuật toán tối ưu hóa: Khảo sát các giải thuật tối ưu hóa dựa trên Gradient Descent gồm: Stochastic Gradient Descent (SGD), Nesterov Accelerated Gradient (NAG), Root Mean Square Propagation (RMSProp), Adaptive Gradient Algorithm (Adagrad) và Adaptive Moment Estimation (Adam).

Phương pháp nghiên cứu thực tế

Tác giả áp dụng phương pháp nghiên cứu thiết kế - thực nghiệm hệ thống kỹ thuật (Engineering Design & Experimental Methodology):

• Thu thập và tiền xử lý dữ liệu ảnh: Trực tiếp ghi hình và chụp ảnh các mẫu lon nước đạt tiêu chuẩn và các mẫu bị biến dạng móp méo trên băng chuyền. Tiến hành cắt tách ảnh gốc thành các phân vùng độc lập và áp dụng kỹ thuật làm giàu dữ liệu (Data Augmentation) như lật ảnh ngang (horizontal flip), thay đổi độ sáng để gia tăng kích thước tập huấn luyện.
• Huấn luyện và đánh giá mô hình học máy: Sử dụng môi trường lập trình Visual Studio Code, ngôn ngữ Python cùng các thư viện OpenCV, TensorFlow và Keras để xây dựng pipeline tiền xử lý ảnh và huấn luyện mô hình phân loại. Đánh giá sự biến thiên của độ chính xác (accuracy) và hàm mất mát (loss) qua các chu kỳ huấn luyện (epochs).
• Tích hợp phần cứng và điều khiển logic: Thiết lập giao tiếp phần cứng giữa bo mạch nhúng NVIDIA Jetson Nano với cảm biến quang/hồng ngoại và PLC Siemens S7-1200 thông qua mạch đệm cách ly quang (Opto TLP281) nhằm đảm bảo an toàn điện áp và tương thích mức logic giữa hai hệ thống.

---

Thiết kế và triển khai hệ thống

Đồ án triển khai một hệ thống Machine Vision hoàn chỉnh từ khâu thu nhận tín hiệu vật lý đến điều khiển cơ cấu chấp hành trên mô hình dây chuyền sản xuất tự động.

Thành phần hệ thống	Thiết bị / Công nghệ sử dụng	Chức năng kỹ thuật trong hệ thống
Xử lý trung tâm	NVIDIA Jetson Nano Developer Kit	Chạy hệ điều hành Linux, thực thi chương trình xử lý ảnh OpenCV và mô hình Deep Learning (VGG16 Transfer Learning) theo thời gian thực.
Thu nhận hình ảnh	02 Máy ảnh (Camera) Logitech	Thu nhận tín hiệu hình ảnh sản phẩm lon nước trên băng chuyền khi có lệnh kích hoạt.
Cảm biến phát hiện	Cảm biến vật cản hồng ngoại E3F-DS30C4 (NPN, 6-36V)	Phát hiện vị trí sản phẩm khi đi qua vùng kiểm tra và kích hoạt tín hiệu chụp ảnh tới Jetson Nano.
Ghép nối tín hiệu	Mạch Opto cách ly 4 kênh TLP281	Cách ly quang học và chuyển đổi mức logic giữa chân GPIO của Jetson Nano (3.3V) với ngõ vào Digital Input của PLC (24V DC).
Điều khiển chấp hành	Module PLC Siemens S7-1200 CPU 1214C DC/DC/DC	Nhận tín hiệu phân loại (Defect/OK) từ Jetson Nano để điều khiển cơ cấu loại bỏ sản phẩm lỗi và vận hành băng tải.
Môi trường phần mềm	Python, OpenCV, TensorFlow, Keras, VS Code	Xây dựng thuật toán xử lý ảnh, tạo mặt nạ nhị phân, huấn luyện và suy luận mạng nơ-ron phân loại khiếm khuyết.

Quy trình vận hành logic của hệ thống:

1. Băng tải vận chuyển lon nước đến vị trí kiểm tra; cảm biến hồng ngoại E3F-DS30C4 phát hiện vật cản và gửi tín hiệu kích hoạt về chân GPIO Input của Jetson Nano.
2. Jetson Nano phát lệnh cho Camera Logitech chụp ảnh sản phẩm.
3. Hình ảnh đầu vào được đưa qua chu trình xử lý ảnh: cắt lấy vùng ảnh quan tâm (tách thành 3 ảnh bộ phận), chuyển sang ảnh xám, tạo ảnh nhị phân và giãn ảnh để làm nổi bật biên dạng khiếm khuyết.
4. Dữ liệu ảnh sau tiền xử lý được đưa vào mạng VGG16 đã tinh chỉnh; lớp Softmax tính toán xác suất và đưa ra kết luận phân loại (Sản phẩm bình thường hoặc Sản phẩm bị lỗi: móp đầu, móp trên, móp giữa, móp dưới, móp một bên).
5. Nếu phát hiện sản phẩm lỗi, Jetson Nano xuất tín hiệu logic mức cao qua chân GPIO Output, đi qua mạch cách ly Opto TLP281 kích hoạt ngõ vào của PLC S7-1200 để PLC điều khiển cơ cấu cơ khí loại bỏ lon hỏng khỏi băng chuyền.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày bối cảnh ra đời của công nghệ thị giác máy trong sản xuất công nghiệp, nhấn mạnh sự thay thế nhân công thủ công bằng hệ thống tự động để nâng cao tính nhất quán và tốc độ kiểm tra. Tác giả giới thiệu tổng quan về sự phát triển của Mạng nơ-ron tích chập (CNN) từ thập niên 1990 đến các đột phá trong nhận dạng chữ viết, khuôn mặt và phát hiện lỗi sản phẩm. Nội dung chương xác định cụ thể mục tiêu, đối tượng, phạm vi nghiên cứu thực nghiệm với phôi vỏ lon nước, phương pháp tiếp cận và cấu trúc tổng thể của 6 chương trong đồ án.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp nền tảng lý thuyết toàn diện về:

• Hệ thống Machine Vision: Khái niệm, thành phần cấu tạo, vai trò then chốt của ánh sáng công nghiệp và các ứng dụng thực tế trong Smart Factory (bảo trì dự đoán với giải pháp ZDT của FANUC, kiểm tra bao bì thuốc trong ngành dược của Pharma Packaging Systems, đọc mã vạch trên bo mạch in PCB Panel Scan, kiểm tra 360 độ chai lọ của Acquire Automation).
• Xử lý ảnh số: Lịch sử phát triển, các giai đoạn xử lý (thu nhận ảnh, tiền xử lý, phân đoạn ảnh, biểu diễn và mô tả), định nghĩa điểm ảnh (pixel), độ phân giải, mức xám (ảnh 8-bit, 256 mức xám), ảnh màu RGB, ảnh nhị phân và giới thiệu thư viện mã nguồn mở OpenCV cùng các module API chức năng.
• Trí tuệ nhân tạo và Học máy: Phân định mối quan hệ giữa AI, Machine Learning và Deep Learning; phân tích 4 hình thức học máy (học có giám sát, học không giám sát, học bán giám sát, học tăng cường); cấu trúc Perceptron và mạng nơ-ron sâu.
• Khảo sát các Framework Deep Learning: So sánh ưu và nhược điểm của 8 framework/thư viện gồm Scikit-Learn, TensorFlow, Keras, Microsoft CNTK, Caffe, Caffe2, Torch, PyTorch và MXNet.

Chương 3: Các kỹ thuật xử lý tín hiệu ảnh trong Machine Vision

Chương 3 đi sâu vào chi tiết giải thuật và kiến trúc mô hình học sâu áp dụng trong hệ thống:

• Tiền xử lý ảnh: Quy trình chuyển đổi không gian màu RGB sang ảnh xám, phân ngưỡng nhị phân và thuật toán giãn ảnh nhị phân nhằm tách biệt vùng phôi lon khỏi nền.
• Cấu trúc mạng nơ-ron tích chập (CNN): Phân tích toán học và cơ chế hoạt động của lớp tích chập với các bộ lọc (kernels/filters), các hàm kích hoạt (ReLU, Sigmoid...), lớp gộp (Max Pooling, Average Pooling) và lớp kết nối đầy đủ.
• Kiến trúc VGG16 và Transfer Learning: Cấu trúc chi tiết mô hình tiền huấn luyện VGG16; quy trình cắt bỏ các lớp fully connected cũ, tích hợp lớp phân loại mới, đóng băng các tầng tích chập ban đầu và mở khóa huấn luyện lại (fine-tuning) trên tập dữ liệu ảnh lon.
• Thuật toán tối ưu hóa Gradient Descent: Trình bày nguyên lý của các bộ tối ưu hóa SGD, RMSProp, NAG, Adagrad và Adam.
• Lưu đồ thuật toán: Xây dựng sơ đồ khối và lưu đồ giải thuật tổng thể cho luồng xử lý tín hiệu ảnh và suy luận mạng nơ-ron của hệ thống.

Chương 4: Thiết kế phần cứng

Chương 4 mô tả chi tiết việc lựa chọn, thông số kỹ thuật và phương thức kết nối các module phần cứng:

• NVIDIA Jetson Nano Developer Kit: Khảo sát thông số cấu hình phần cứng (CPU ARM Cortex-A57, GPU Maxwell 128 nhân, RAM 4GB LPDDR4), sơ đồ chân GPIO và khả năng tăng tốc suy luận với TensorRT.
• Cảm biến tiệm cận hồng ngoại E3F-DS30C4 NPN: Cấu tạo, kích thước, nguyên lý hoạt động với dải điện áp 6-36V DC.
• Mạch Opto cách ly 4 kênh TLP281: Sơ đồ nguyên lý mạch, chức năng chuyển đổi cách ly mức logic 3.3V từ Jetson Nano sang 24V DC cho PLC.
• PLC Siemens S7-1200 CPU 1214C DC/DC/DC: Khảo sát thông số các dòng PLC S7-1200 và cấu hình ngõ vào/ra điều khiển.
• Sơ đồ nối dây tổng thể: Bản vẽ chi tiết kết nối giữa Jetson Nano GPIO, mạch TLP281, ngõ vào PLC và cảm biến hồng ngoại.

Chương 5: Kết quả, so sánh, thực nghiệm, phân tích, tổng hợp

Chương 5 trình bày toàn bộ quá trình thực nghiệm và các kết quả thu được:

• Xây dựng tập dữ liệu: Thu thập ảnh chụp các trường hợp lon bị lỗi; phân tách một ảnh chụp ban đầu thành 3 ảnh thành phần riêng biệt; thực hiện làm giàu dữ liệu bằng cách lật ảnh theo chiều ngang và biến đổi các mức độ chiếu sáng khác nhau.
• Quá trình huấn luyện: Thiết lập kích thước lô (batch size), kích thước ảnh đầu vào (image size) và các siêu tham số trong môi trường Visual Studio Code; trích xuất trực quan các mặt nạ đặc trưng sau lớp tích chập đầu tiên; theo dõi đồ thị biến thiên độ chính xác và độ mất mát qua các epoch.
• Kết quả thực nghiệm phân loại: Đánh giá xác suất đầu ra sau hàm Softmax; minh chứng khả năng nhận dạng chính xác các trường hợp lỗi thực tế gồm lon móp một bên, lon móp đáy/móp dưới, lon móp trên và lon móp đầu.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được về mặt phần cứng và phần mềm, đánh giá những ưu điểm và hạn chế còn tồn tại của hệ thống trong môi trường thử nghiệm, đồng thời đề xuất các định hướng nghiên cứu và cải tiến tiếp theo.

---

Kết quả và đóng góp

Kết quả kỹ thuật đạt được

• Chế tạo thành công mô hình phần cứng tích hợp: Xây dựng hoàn chỉnh hệ thống kiểm tra ngoại quan kết hợp giữa băng tải mô hình, bo mạch nhúng NVIDIA Jetson Nano, 2 camera Logitech, cảm biến hồng ngoại E3F-DS30C4, mạch đệm Opto TLP281 và PLC Siemens S7-1200 CPU 1214C.
• Xây dựng pipeline xử lý ảnh và suy luận Deep Learning: Thực hiện tiền xử lý tách vùng quan tâm (ROI), nhị phân hóa, giãn ảnh và tinh chỉnh thành công mô hình học sâu VGG16 Transfer Learning phục vụ nhận dạng khuyết tật.
• Khả năng phân loại khuyết tật: Hệ thống nhận diện và phân loại chính xác các trường hợp lon nước bị lỗi ngoại quan gồm: móp đầu, móp trên, móp giữa, móp dưới và móp một bên.
• Tốc độ xử lý thực nghiệm: Hệ thống đạt tốc độ xử lý từ 1.5 đến 2 giây/sản phẩm trong điều kiện chiếu sáng cố định.

Đóng góp thực tiễn của đề tài

• Minh chứng tính khả thi của việc triển khai các mô hình học sâu phức tạp (CNN/VGG16) lên các nền tảng máy tính nhúng giá thành thấp (NVIDIA Jetson Nano) để giải quyết bài toán kiểm tra chất lượng sản phẩm trong công nghiệp.
• Cung cấp giải pháp ghép nối phần cứng chuẩn hóa giữa hệ thống xử lý thị giác máy tính dựa trên nền tảng nhúng (mức logic 3.3V) với hệ thống điều khiển tự động hóa công nghiệp tiêu chuẩn PLC (mức điện áp 24V DC) qua mạch cách ly quang Opto TLP281.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Tốc độ đáp ứng chưa tối ưu cho công nghiệp thực tế: Thời gian xử lý 1.5 – 2 giây cho một sản phẩm còn chậm so với yêu cầu của các dây chuyền sản xuất công nghiệp tốc độ cao trong thực tế. Nguyên nhân do đề tài sử dụng camera chuẩn USB thông thường (Logitech) và bo mạch máy tính nhúng phổ thông (Jetson Nano) thay vì camera công nghiệp và máy tính công nghiệp chuyên dụng (IPC).
• Độ nhạy cảm với điều kiện chiếu sáng: Quá trình tiền xử lý ảnh và trích xuất đặc trưng đòi hỏi điều kiện ánh sáng môi trường phải được thiết lập cố định; sự thay đổi nguồn sáng xung quanh có thể ảnh hưởng đến độ tin cậy của thuật toán.

Hướng phát triển tiếp theo

• Nâng cấp phần cứng thu nhận ảnh sang các dòng camera công nghiệp chuyên dụng có tốc độ khung hình cao, độ phân giải tốt và khả năng chống nhiễu quang học.
• Ứng dụng máy tính công nghiệp hoặc các dòng vi xử lý nhúng mạnh hơn kết hợp thư viện tăng tốc TensorRT để rút ngắn thời gian suy luận của mô hình.
• Mở rộng tập dữ liệu huấn luyện và tối ưu hóa giải thuật để hệ thống có khả năng thích nghi với môi trường ánh sáng biến thiên và kiểm tra được đa dạng các chủng loại sản phẩm khác nhau.

---

Giá trị tham khảo

Tài liệu đồ án là nguồn tư liệu tham khảo hữu ích cho:

• Sinh viên và nghiên cứu sinh thuộc các ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Cơ điện tử, Kỹ thuật Robot, Công nghệ Thông tin và Thị giác máy tính khi thực hiện đồ án tốt nghiệp hoặc các dự án nghiên cứu về ứng dụng AI trong sản xuất.
• Kỹ sư tự động hóa tại các nhà máy: Tham khảo cấu trúc ghép nối tín hiệu liên tầng giữa máy tính nhúng (Linux/Jetson Nano) và PLC công nghiệp (Siemens S7-1200) thông qua mạch cách ly quang TLP281.
• Lập trình viên thị giác máy: Tham khảo quy trình tiền xử lý ảnh với OpenCV, kỹ thuật cắt chia ảnh thành phần, phương pháp làm giàu dữ liệu và quy trình Fine-tuning mô hình Pre-trained VGG16 bằng Keras/TensorFlow để nhận diện các khuyết tật cơ học trên bề mặt kim loại.

---

Câu hỏi thường gặp

1. Đề tài sử dụng mô hình học sâu nào để nhận dạng lỗi sản phẩm và áp dụng kỹ thuật gì?
Tác giả sử dụng mô hình tiền huấn luyện VGG16 (Pre-trained Model VGG16) kết hợp kỹ thuật Học chuyển giao (Transfer Learning) và Tinh chỉnh (Fine-tuning). Các lớp kết nối đầy đủ (Fully connected layers) nguyên bản của VGG16 được loại bỏ và thay thế bằng các lớp fully connected mới, sau đó đóng băng và mở băng các tầng tích chập để huấn luyện lại với dữ liệu ảnh lon nước.

2. Các dạng khuyết tật cụ thể trên sản phẩm được hệ thống nhận dạng là gì?
Đối tượng kiểm tra là vỏ lon nước với 5 dạng biến dạng/khuyết tật hình học gồm: móp đầu, móp trên, móp giữa, móp dưới và móp một bên.

3. Tốc độ xử lý của hệ thống đạt bao nhiêu và tại sao lại chậm hơn dây chuyền thực tế?
Tốc độ xử lý thực nghiệm của hệ thống đạt từ 1.5 đến 2 giây/sản phẩm trong điều kiện ánh sáng cố định. Tốc độ này thấp hơn so với thực tế sản xuất do hệ thống sử dụng máy ảnh thông thường (Camera Logitech) và máy tính nhúng nghiên cứu (NVIDIA Jetson Nano Developer Kit) chứ không dùng camera công nghiệp và máy tính công nghiệp chuyên dụng.

4. Mạch cách ly quang Opto TLP281 đóng vai trò gì trong cấu trúc phần cứng?
Mạch Opto TLP281 4 kênh đảm nhiệm vai trò cách ly quang học và phối hợp mức điện áp logic, chuyển đổi tín hiệu điều khiển mức 3.3V từ chân GPIO của Jetson Nano sang mức tín hiệu 24V DC để đưa vào các chân ngõ vào số (Digital Input) của PLC Siemens S7-1200 an toàn, chống nhiễu.

5. Những bước tiền xử lý ảnh nào được thực hiện trước khi đưa dữ liệu vào mô hình phân loại?
Ảnh chụp từ camera được cắt tách thành 3 phân vùng riêng biệt, sau đó trải qua các bước tiền xử lý: chuyển đổi từ không gian màu RGB sang ảnh xám (grayscale), phân ngưỡng tạo ảnh nhị phân (binary threshold) và thực hiện giãn ảnh nhị phân (dilation) để làm nổi bật đường biên khuyết tật.

---

Kết luận

Đồ án tốt nghiệp của tác giả Phạm Hoàng Việt đã nghiên cứu và triển khai thành công mô hình hệ thống Machine Vision kết hợp mạng nơ-ron tích chập (VGG16 Transfer Learning) nhằm phát hiện và phân loại các khiếm khuyết ngoại quan trên sản phẩm lon nước. Nghiên cứu đã tích hợp hoàn chỉnh phần cứng từ cảm biến tiệm cận, camera, máy tính nhúng NVIDIA Jetson Nano qua mạch đệm Opto TLP281 đến bộ điều khiển PLC Siemens S7-1200 để vận hành băng tải và phân loại sản phẩm theo thời gian thực với tốc độ 1.5 – 2 giây/sản phẩm. Đây là công trình thực nghiệm có tính ứng dụng thực tiễn cao, cung cấp giải pháp tham khảo giá trị cho việc tích hợp trí tuệ nhân tạo vào các hệ thống điều khiển tự động hóa công nghiệp.

Trích đoạn nội dung tài liệu

Chương I Tổng quan: Chương này cũng cấp cái nhìn tổng quát về yêu cầu của đề tài bao gồm giới thiệu, mục tiêu, phạm vi thực hiện và nội dung đề tài. Chương II Cơ sở lý thuyết: Chương này cung cấp những kiến thức cơ bản về đề tài này như khái niệm về Machine Vision, trí tuệ nhân tạo, máy học, học sâu, mạng nơron tích chập. Chương III Các kỹ thuật xử lý tín hiệu ảnh trong Machine Vision: Chương này trình bày về các bước xử lý ảnh, cấu trúc và chức năng của mạng nơ ron tích chập. Chương IV Thiết kế phần cứng: Chương này trình bày về lựa chọn phần cứng, cách kết nối, giao tiếp giữa các thiết bị và cách hoạt động của hệ thống.

3 do an Chương V Kết quả, so sánh, thực nghiệm, phân tích, tổng hợp: Chương này thể hiện kết quả chạy thực nghiệm của đề tài, từ đó đưa ra đánh giá chung cho mô hình. Chương VI Kết luận và hướng phát triển: Chương này trình bày kết luận về những thuận lợi cũng như khó khăn khi thực hiện đề tài này. Những ý tưởng mới, định hướng phát triển đề tài này cũng được thể hiện ở đây. 4 do an Chương 2 CƠ SỞ LÝ THUYẾT Trong phần này, tổng quan về Machine Vision và các công nghệ liên quan được trình bày.

Điều này bao gồm việc giới thiệu về Machine Vision, các ứng dụng của Machine Vision, tổng quan về trí tuệ nhân tạo, máy học, học sâu, mạng thần kinh tích chập được sử dụng để nhận biết sản phẩm lỗi trong đồ án này.1 Giới thiệu về hệ thống Machine Vision 2.1 Giới thiệu về Machine Vision 2.1 Khái niệm về Machine Vision Thị giác máy (machine vision) là một dạng công nghệ cho phép thiết bị máy tính có thể theo dõi, đánh giá và xác định các hình ảnh tĩnh hoặc động. Là một mảng trong ngành thị giác máy tính (computer vision) và tương tự với camera giám sát (surveillance cameras) trong các tòa nhà, tuy nhiên nó cung cấp khả năng tự động lấy ảnh, phân tích và đánh giá. Hệ thống thị giác máy chủ yếu giúp cho máy tính có khả năng nhận diện và đánh giá hình ảnh. Nó tương tự với hệ thống nhận dạng giọng nói nhưng sử dụng hình ảnh chứ không phải âm thanh.

Một hệ thống thị giác máy thông thường bao gồm một camera và một bộ phần cứng đi kèm phần mềm để xử lý ảnh ở phía sau. Camera ở phía trước sẽ thu ảnh từ môi trường và một đối tượng cần quan sát và sau đó gửi ảnh cho hệ thống xử lý. Tùy thuộc vào thiết kế hay nhu cầu của hệ thống thị giác máy, ảnh chụp có thể được lưu trữ hay xử lý sau đó. Để bất kì một hệ thống thị giác máy nào hoạt động đáng tin cậy và hiệu quả lặp lại, điều quan trọng là phải hiểu làm thế nào các thành phần này tương tác.

5 do an Hình 2.1 Các bộ phận cấu thành hệ thống Machine Vision cơ bản Hệ thống thị giác máy sẽ hoạt động không mệt mỏi khi thực hiện kiểm tra trực tuyến 100%, dẫn đến chất lượng được cải thiện, năng suất cao hơn và chi phí sản xuất thấp hơn. Hệ thống thị giác máy công nghiệp đòi hỏi sự mạnh mẽ, độ tin cậy và ổn định cao hơn so với hệ thống thị giác học thuật / giáo dục và thường có chi phí thấp hơn nhiều so với hệ thống được sử dụng trong các ứng dụng của chính phủ / quân đội. Do đó, Machine Vision công nghiệp có chi phí thấp, độ chính xác chấp nhận được, độ bền cao, độ tin cậy cao và độ ổn định cơ học và nhiệt độ cao. Hệ thống Machine Vision dựa vào các cảm biến kỹ thuật số được bảo vệ bên trong máy ảnh công nghiệp có quang học chuyên dụng để thu được hình ảnh, phần cứng và phần mềm xử lý, phân tích, đo lường các đặc điểm khác nhau để ra quyết định.

6 do an Hình 2.2 Hệ thống Machine Vision nhìn mã sản phẩm Ví dụ: hệ thống kiểm tra mức đầy tại 1 nhà máy bia. Mỗi chai bia đi qua 1 cảm biến kiểm tra như trên hình, kích hoạt hệ thống thị giác để đèn nhấp nháy và chụp ảnh chai. Khi có được hình ảnh và lưu trữ nó trong bộ nhớ, sau đó hệ thống sẽ phân tích xử lí hình ảnh nhận được và đưa ra phản hồi. Nếu hệ thống phát hiện ra 1 chai không đầy, hoặc đầy không đúng quy chuẩn, nó sẽ báo cho thiết bị chấp hành từ chối chai đó.

Một người điều hành có thể xem các chai đã bị từ chối và thống kê quy trình liên tục trên màn hình.2 Ánh sáng trong Machine Vision Mắt người có thể nhìn rõ trong nhiều điều kiện ánh sáng, nhưng hệ thống thị giác máy không có khả năng đó. Do vậy cần phải cẩn thận chiếu sáng bộ phận đang cần kiểm tra để thị giác máy có thể “nhìn rõ” được chúng. Ánh sáng phải được điều chỉnh và không thay đổi để những thay đổi về mặt ánh sáng mà thị giác máy nhìn thấy là do những thay đổi trong bộ phận được kiểm tra tạo nên mà không phải do nguồn sáng. Ánh sáng thích hợp giúp kiểm tra nhanh hơn và chính xác hơn, Ánh sáng kém là nguyên nhân chính dẫn đến lỗi trong hệ thống kiểm tra thị giác máy.

Nói chung, ánh sáng có sẵn hoặc ánh sáng xung quanh là ánh sáng kém và hệ thống sẽ không hoạt động hiệu quả. Ví dụ: Đèn trên trần nhà có thể bị cháy, mờ hoặc bị chặn và gây lỗi hệ thống thị giác máy.3 Lợi ích của Machine Vision Thị giác máy cải thiện chất lượng và năng suất, trong khi giảm được chi phí sản xuất. Machine Vision vượt trội trong việc đo định lượng một cảnh có cấu trúc vì tốc độ, độ chính xác và độ lặp lại của nó. Trên một dây chuyền sản xuất, một hệ thống Machine Vision có thể kiểm tra hàng trăm thậm chí hàng nghìn bộ phận mỗi phút.

Với camera độ phân giải tốt, hệ thống Machine Vision dễ dàng kiểm tra các chi tiết quá nhỏ để có thể nhìn thấy bằng mắt thường. Khi loại bỏ tiếp xúc vật lí giữa hệ thống kiểm tra và các bộ phận được kiểm tra, Machine Vision sẽ ngăn ngừa hư hỏng bộ phận và loại bỏ thời gian bảo trì, chi phí hao mòn các bộ phận cơ khí. Thị giác máy mang đến lợi ích an toàn và vận hành liên tục bằng cách giảm sự tham gia của con người vào quy trình. Hơn nữa, nó giảm thiểu khả năng làm ô nhiễm phòng sạch do các loại bụi bẩn, vi khuẩn trên cơ thể người mang vào phòng, bảo vệ công nhân khỏi môi trường nguy hiểm.3 Môi trường làm việc của Machine Vision trong nhà máy 2.2 Các ứng dụng của Machine Vision trong công nghiệp và Smart Factory 2.1 Bảo trì dự đoán Việc bảo trì máy định kỳ chính là để kiểm tra xem máy móc có đang vận hành hay không, độ chính xác ra sao và hiệu suất hoạt động như thế nào để đảm bảo tiến 8 do an độ công việc đạt hiệu quả tốt nhất.

Và thời gian bảo trì máy thường nhanh hơn thời gian sửa chữa do đó sẽ tốn ít chi phí hơn. Tuy nhiên việc bảo trì thường xuyên cũng sẽ tạo ra sự lãng phí nguồn lực của doanh nghiệp. Bảo trì tiên đoán (Predicted Maintenance) là quá trình sử dụng máy học và thiết bị IoT để giám sát dữ liệu trên máy móc và linh kiện, thường sử dụng cảm biến, để thu thập điểm dữ liệu và xác định tín hiệu hoặc thực hiện hành động khắc phục trước khi tài sản hoặc linh kiện bị hỏng. Nói cách khác, bảo trì tiên đoán giúp doanh nghiệp bảo trì đúng lúc đúng chỗ cho nên sẽ tiết kiệm nguồn lực hơn so với bảo trì định kì hay sửa chữa sau khi máy móc đã hỏng.

Chúng ta xem xét rằng chỉ một phút ngừng hoạt động trong một nhà máy ô tô có thể tiêu tốn tới 20000 đô la cho các phương tiện có lợi nhuận cao. Những giải pháp như thị giác máy có thể giúp doanh nghiệp tiếp tục. Ví dụ, một chương trình phần mềm có tên ZDT được phát triển bởi FANUC, thu thập hình ảnh từ các camera gắn trên robot, những hình ảnh và siêu dữ liệu đi kèm sau đó được gửi lên đám mây để xử lý và giúp xác định các vấn đề tiềm ẩn trước khi chúng phát sinh.2 Kiểm tra bao bì lỗi trong sản xuất Điều quan trong nhất đối với các công ty dược phẩm là phải đếm các viên thuốc trong vỉ (tablet) hoặc các viên nang (pill) trước khi đóng hộp. Để giải quyết vấn đề này, Pharma Packaging Systems, có trụ sở tại Anh, đã phát triển một giải pháp có thể triển khai cho các dây chuyền sản xuất hiện có.

Một tính năng chính của giải pháp đó là sử dụng thị giác máy tính để kiểm tra các vỉ thuốc có bị hỏng hoặc bị thiếu sót. Khi vỉ thuốc đi qua dây chuyền sản xuất, hình ảnh được chụp và chuyển đến một PC chuyên dụng để xử lí hình ảnh bằng phần mềm sau đó chạy tiếp phân tích để kiểm tra xem các vỉ thuốc có đúng màu, chiều dài, chiều rộng và đầy đủ không. Hệ thống kiểm tra Machine Vision dựa trên PC đồng thời triển khai cho PC thực hiện chức năng đếm và nếu một vỉ thuốc được coi là bị lỗi, thông tin này được ghi lại và sau đó gửi tín hiệu đến bộ đếm để kiểm soát số lượng và chuyển vào container riêng biệt. Các container chứa các sản phẩm lỗi sẽ không được vận chuyển, tránh viêc phân phối những vỉ thuốc bị lỗi.

9 do an Hình 2.4 Phát hiện dược phẩm lỗi với Machine Vision 2.3 Đọc mã vạch Đọc, xác định và xử lý hàng trăm ngàn mã vạch mỗi ngày không phải là nhiệm vụ dễ dàng, điều mà con người đơn giản không thể làm được ở quy mô lớn. Ví dụ, điện thoại di động và các thiết bị điện tử yêu cầu bảng mạch in (PCB) nhỏ hoặc rất nhỏ. Khi các nhà sản xuất bị áp lực buộc phải sản xuất khối lượng PCB lớn ra thị trường công nghệ đang phát triển, họ đã hướng tới một quy trình được gọi là penalization. Trong quá trình này, một số bảng mạch giống hệt nhau được in trên một bảng lớn, mỗi mạch sau đó được tách ra để kiểm tra lần cuối.

Để kiểm tra các bảng mạch này, một giải pháp dựa trên Machine Vision có tên là Panel Scan đã được phát triển để đọc mã vạch - là các mã định danh duy nhất của mỗi mạch có trên bảng PCB. Trong lịch sử, con người đã thực hiện điều này bằng cách sử dụng máy quét mã vạch cầm tay, điều này rất tốn thời gian và ảnh hưởng đến con người.