Ứng Dụng Xử Lý Ảnh và Máy Học Phân Loại Sản Phẩm Lỗi Trên Bao Bì

Xử lý ảnh và máy học đang trở thành những công cụ quan trọng trong việc phát hiện… 101 trang · Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh · 2024.

• Tác giả: Trần Hữu Nhân
• Người hướng dẫn: TS. Huỳnh Thế Thiện
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: CNKT Điện Tử - Viễn Thông
• Đề tài: Ứng Dụng Xử Lý Ảnh và Máy Học trong Phân Loại Sản Phẩm Lỗi
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT ĐỀ TÀI
• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
• LIỆT KÊ HÌNH VẼ
• LIỆT KÊ BẢNG
• DANH MỤC CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đối tượng nghiên cứu
• 1.2. Phạm vi nghiên cứu
• 1.3. Nội dung đề tài
• 1.4. Mục tiêu
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Phát hiện sản phẩm lỗi dựa trên xử lý ảnh truyền thống
• 2.2. Phương pháp thống kê
• 2.3. Phương pháp quang phổ
• 2.4. Phương pháp mô hình
• 2.5. Tổng quan về xử lý ảnh
• 2.5.1. Phương pháp xử lý hình ảnh
• 2.5.1.1. Xử lý hình ảnh tương tự
• 2.5.1.2. Xử lý ảnh kỹ thuật số
• 2.5.2. Trình bày hình ảnh
• 2.5.3. Tiền xử lý ảnh
• 2.5.4. Kỹ thuật nâng cao hình ảnh
• 2.5.5. Phân tích hình ảnh
• 2.6. Giới thiệu ngôn ngữ lập trình Python
• 2.7. Thư viện OpenCV
• 2.8. Tổng quan về PLC
• 2.9. Tổng quan về MobileNet
• 2.9.1. Cấu trúc mạng MobileNet
• 2.9.2. Cấu trúc mạng và đào tạo
• 2.10. Giao thức TCP Modbus
• 3. CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ
• 3.1. Yêu cầu chung của hệ thống
• 3.2. Sơ đồ kết nối tổng quan
• 3.3. Thiết kế khối nguồn
• 3.4. Khối xử lý trung tâm
• 3.5. Khối điều khiển và giám sát
• 3.6. Khối cơ cấu chấp hành
• 3.7. Sơ đồ kết nối của hệ thống
• 4. CHƯƠNG 4: THI CÔNG HỆ THỐNG
• 4.1. Thi công mô hình
• 4.2. Thi công phần khung tủ điện
• 4.3. Lập trình cho PLC
• 4.4. Phần mềm lập trình cho Python
• 4.5. Hướng dẫn quy trình nhận dạng phân loại sản phẩm và sử dụng
• 5. CHƯƠNG 5: KẾT QUẢ NHẬN XÉT ĐÁNH GIÁ
• 5.1. Hệ thống mô hình
• 5.2. Hệ thống điện
• 5.3. Kết quả chạy thực nghiệm
• 5.4. Kết quả thống kê
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Nhược điểm
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng xử lý ảnh và máy học trong phân loại sản phẩm lỗi

Xử lý ảnh và máy học đang trở thành những công cụ quan trọng trong việc phát hiện và phân loại sản phẩm lỗi trong ngành công nghiệp. Việc áp dụng các công nghệ này giúp nâng cao độ chính xác và hiệu quả trong quy trình kiểm tra chất lượng sản phẩm. Hệ thống tự động hóa này không chỉ giảm thiểu sai sót do con người mà còn tiết kiệm thời gian và chi phí sản xuất.

1.1. Khái niệm về xử lý ảnh và máy học

Xử lý ảnh là quá trình chuyển đổi hình ảnh từ dạng tương tự sang dạng kỹ thuật số để phân tích. Máy học, một nhánh của trí tuệ nhân tạo, cho phép hệ thống học hỏi từ dữ liệu và cải thiện khả năng phân loại sản phẩm lỗi.

1.2. Lợi ích của việc ứng dụng công nghệ trong sản xuất

Việc ứng dụng xử lý ảnh và máy học giúp tăng cường độ chính xác trong phát hiện lỗi, giảm thiểu chi phí lao động và nâng cao hiệu suất sản xuất. Hệ thống tự động hóa này cũng giúp giảm thiểu rủi ro cho người lao động trong môi trường làm việc.

II. Vấn đề và thách thức trong phân loại sản phẩm lỗi

Mặc dù công nghệ xử lý ảnh và máy học mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức trong việc áp dụng chúng vào thực tiễn. Các vấn đề như độ chính xác của thuật toán, chất lượng dữ liệu đầu vào và khả năng xử lý trong môi trường sản xuất đa dạng cần được giải quyết.

2.1. Độ chính xác của thuật toán phân loại

Độ chính xác của các thuật toán phân loại sản phẩm lỗi phụ thuộc vào chất lượng dữ liệu huấn luyện. Nếu dữ liệu không đầy đủ hoặc không chính xác, kết quả phân loại sẽ bị ảnh hưởng nghiêm trọng.

2.2. Chất lượng dữ liệu đầu vào

Dữ liệu đầu vào cần phải được xử lý và chuẩn hóa để đảm bảo tính nhất quán. Các yếu tố như ánh sáng, độ phân giải và nhiễu có thể làm giảm chất lượng hình ảnh và ảnh hưởng đến kết quả phân loại.

III. Phương pháp xử lý ảnh và máy học trong phát hiện lỗi

Có nhiều phương pháp khác nhau được áp dụng trong xử lý ảnh và máy học để phát hiện lỗi sản phẩm. Các phương pháp này bao gồm phát hiện cạnh, phân tích hình ảnh và sử dụng các mô hình học sâu để cải thiện độ chính xác trong phân loại.

3.1. Phát hiện cạnh và phân tích hình ảnh

Phát hiện cạnh là một trong những kỹ thuật quan trọng trong xử lý ảnh, giúp xác định các vùng có sự thay đổi đột ngột trong hình ảnh. Kết hợp với phân tích hình ảnh, phương pháp này giúp phát hiện các khiếm khuyết trên bề mặt sản phẩm.

3.2. Sử dụng mô hình học sâu

Mô hình học sâu, như mạng nơ-ron tích chập (CNN), đã chứng minh hiệu quả trong việc phân loại hình ảnh. Các mô hình này có khả năng học hỏi từ dữ liệu lớn và cải thiện độ chính xác trong việc phát hiện lỗi.

IV. Ứng dụng thực tiễn của công nghệ trong phân loại sản phẩm lỗi

Công nghệ xử lý ảnh và máy học đã được áp dụng rộng rãi trong nhiều lĩnh vực sản xuất, từ bao bì đến linh kiện điện tử. Các hệ thống này không chỉ giúp phát hiện lỗi mà còn cung cấp thông tin chi tiết về quy trình sản xuất.

4.1. Ứng dụng trong ngành bao bì

Trong ngành bao bì, việc phát hiện lỗi như lem mực hay in sai bao bì là rất quan trọng. Hệ thống xử lý ảnh giúp tự động phát hiện và phân loại các lỗi này, đảm bảo chất lượng sản phẩm.

4.2. Ứng dụng trong sản xuất linh kiện điện tử

Trong sản xuất linh kiện điện tử, việc phát hiện các khiếm khuyết như lỗi mạch hay hư hỏng bề mặt là rất cần thiết. Công nghệ xử lý ảnh giúp nâng cao độ chính xác trong kiểm tra chất lượng sản phẩm.

V. Kết luận và hướng phát triển trong tương lai

Công nghệ xử lý ảnh và máy học đang mở ra nhiều cơ hội mới trong việc phát hiện và phân loại sản phẩm lỗi. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến trong quy trình sản xuất và kiểm tra chất lượng.

5.1. Tiềm năng phát triển công nghệ

Với sự phát triển không ngừng của công nghệ, việc ứng dụng xử lý ảnh và máy học trong sản xuất sẽ ngày càng trở nên phổ biến. Các nghiên cứu và cải tiến trong lĩnh vực này sẽ giúp nâng cao hiệu quả và độ chính xác.

5.2. Hướng đi mới cho ngành công nghiệp

Ngành công nghiệp cần tiếp tục đầu tư vào công nghệ mới và đào tạo nhân lực để đáp ứng nhu cầu ngày càng cao về chất lượng sản phẩm. Việc áp dụng công nghệ xử lý ảnh và máy học sẽ là một bước tiến quan trọng trong việc nâng cao năng lực cạnh tranh.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong quy trình sản xuất công nghiệp hiện đại, công đoạn kiểm tra chất lượng sản phẩm đóng vai trò then chốt nhằm bảo đảm tiêu chuẩn đầu ra trước khi lưu thông trên thị trường. Phương thức kiểm tra truyền thống đối với các khuyết tật bề mặt chủ yếu dựa vào thao tác thủ công của nhân viên kiểm định. Tuy nhiên, hoạt động kiểm tra thủ công tồn tại nhiều hạn chế cố hữu: dễ bị chi phối bởi các yếu tố chủ quan, mức độ tập trung và kinh nghiệm cá nhân, dẫn đến độ chuẩn xác không đồng đều. Đối với các khuyết tật có kích thước nhỏ, mắt người khó có thể nhận biết chính xác; đồng thời, phương thức này không phù hợp để áp dụng lâu dài trong các môi trường sản xuất độc hại, tiềm ẩn nguy cơ đối với sức khỏe con người.

Trong thập kỷ gần đây, công nghệ nhận thức trực quan dựa trên thị giác máy tính và xử lý ảnh số đã từng bước thay thế phương thức thủ công, trở thành phương pháp kiểm tra tự động không tiếp xúc có độ chính xác cao, vận hành liên tục và ổn định trong môi trường công nghiệp phức tạp, giúp cắt giảm chi phí nhân công và gia tăng năng suất. Đối với lĩnh vực sản xuất bao bì, các khuyết tật in ấn như lem mực, in sai nội dung hay rách bề mặt làm suy giảm chất lượng thành phẩm. Đồ án tốt nghiệp "Ứng dụng xử lý ảnh và máy học phân loại sản phẩm lỗi trên bao bì" của tác giả Trần Hữu Nhân (Chuyên ngành Công nghệ Kỹ thuật Điện tử - Viễn thông chất lượng cao, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, thực hiện dưới sự hướng dẫn của TS. Huỳnh Thế Thiện vào tháng 1/2024, mã số SKL012376) được triển khai nhằm giải quyết vấn đề tự động hóa kiểm tra các dạng lỗi bề mặt bao bì này.

Mục tiêu nghiên cứu của đồ án được xác định cụ thể theo văn bản gồm hai nhiệm vụ:

1. Thiết kế và thi công được một mô hình hệ thống phân loại sản phẩm lỗi mang tính tự động cao điều khiển bằng PLC S7-1200 và các thiết bị tự động khác như camera, động cơ servo, động cơ bước.
2. Ứng dụng xử lý ảnh và máy học trong việc phát hiện ra các lỗi sản phẩm trên bao bì, xây dựng giao diện điều khiển và giám sát thông qua màn hình trên phần mềm Spyder.

Đối tượng nghiên cứu của đề tài tập trung vào các giải pháp phát hiện lỗi trên sản phẩm bằng các thuật toán xử lý ảnh số kết hợp mô hình máy học tối ưu. Quy trình nhận dạng bao gồm các bước tiền xử lý ảnh trên các kênh màu, giải quyết tình trạng chiếu sáng không đồng đều, xử lý hậu kỳ và tách vùng khuyết tật khỏi ảnh nền thông qua kỹ thuật phát hiện cạnh, đường nét kết hợp mạng nơ-ron học sâu để xuất ra kết quả rõ nét và chuẩn xác hơn ảnh gốc.

Phạm vi nghiên cứu của đề tài bao gồm:

• Không gian và đối tượng thực nghiệm: Các dạng khuyết tật bề mặt thường gặp trên bao bì sản phẩm công nghiệp, giới hạn trong 3 dạng lỗi chính là lỗi lem mực, lỗi in sai bao bì và lỗi bao bì bị rách được cấp phôi trên mô hình băng tải mini.
• Giới hạn kỹ thuật: Khảo sát và lựa chọn thuật toán xử lý ảnh kết hợp máy học tối ưu; thiết kế thi công tủ điện, kết nối phần cứng và lập trình truyền thông công nghiệp giữa phần mềm xử lý ảnh trên máy tính với bộ điều khiển lập trình PLC.

Cơ sở lý thuyết và phương pháp

Khóa luận hệ thống hóa cơ sở lý thuyết từ các phương pháp xử lý ảnh truyền thống đến các kiến trúc mạng học sâu hiện đại và giao thức điều khiển công nghiệp:

• Các phương pháp phát hiện lỗi truyền thống: Tác giả phân tích 3 nhóm phương pháp chính gồm phương pháp thống kê (phân tích kết cấu theo phân phối thang độ xám, thống kê mẫu và thống kê gradient), phương pháp quang phổ (biến đổi Fourier phân tích miền tần số, bộ lọc Gabor phân tích thời gian - tần số, biến đổi Wavelet phân tích cục bộ đa độ phân giải) và phương pháp mô hình (trường ngẫu nhiên Gaussian Markov, mô hình tự hồi quy MR-SAR, mô hình đa biến tự hồi quy bất biến xoay vòng RISAR, mô hình Cây Markov ẩn HMT và Cây Markov ẩn thích ứng theo ngữ cảnh CAHMT).
• Kỹ thuật xử lý ảnh số và thư viện hỗ trợ: Đồ án ứng dụng ngôn ngữ Python và thư viện OpenCV để đọc luồng video, chuyển đổi không gian màu RGB sang ảnh xám, làm nhòe để giảm nhiễu hạt và chi tiết thừa. Tác giả sử dụng thư viện NumPy xây dựng ma trận kernel kích thước 3x3 và 5x5 phục vụ phép toán giãn điểm ảnh nhằm định hình hình thái học đối tượng; dùng thư viện Pandas cùng các công cụ imutils, pyimagesearch để xử lý khung ảnh; áp dụng hàm cv2.boundingRect() để vẽ hình chữ nhật bao quanh vùng khuyết tật nhị phân, thiết lập bộ lọc diện tích giữ lại các vùng có kích thước từ 10.000 đến 30.000 pixel và chuẩn hóa ảnh về độ phân giải 64x64 pixel.
• Mô hình mạng học sâu MobileNet: Khóa luận sử dụng kiến trúc MobileNet dựa trên phép tích chập có thể phân tách theo chiều sâu (Depthwise Separable Convolution). Phép tích chập này chia tách tích chập tiêu chuẩn thành hai bước riêng biệt: tích chập theo chiều sâu (Depthwise Convolution - áp dụng một bộ lọc cho từng kênh đầu vào) và tích chập theo điểm (Pointwise Convolution 1x1 - kết hợp tuyến tính các kênh). Cấu trúc tổng thể của MobileNet gồm 28 lớp, tích hợp chuẩn hóa theo lô (Batch Normalization) và hàm phi tuyến ReLU sau mỗi lớp tích chập, kết thúc bằng lớp kết nối đầy đủ và phân loại Softmax. Cấu trúc này giảm chi phí tính toán từ 8 đến 9 lần so với tích chập tiêu chuẩn 3x3. Trong đó, 95% thời gian tính toán và 75% số lượng tham số tập trung tại các phép tích chập 1x1 được xử lý tối ưu thông qua hàm nhân ma trận GEMM (General Matrix Multiply).
• Bộ điều khiển khả trình PLC và giao thức Modbus TCP/IP: Bộ điều khiển PLC Siemens S7-1200 thực hiện quét vòng lặp đầu vào, thực thi logic Ladder và xuất tín hiệu điều khiển. Giao thức truyền thông Modbus TCP/IP được sử dụng để liên kết giữa máy tính (Client) và PLC (Server) qua cổng Ethernet RJ45. Khung dữ liệu Modbus được đóng gói trực tiếp trong gói TCP/IP, sử dụng tiêu đề giao thức ứng dụng MBAP (Modbus Application Protocol) dài 7 byte gồm: Mã định danh giao dịch (2 byte), Mã định danh giao thức (2 byte - giá trị 0), Trường độ dài (2 byte) và Mã định danh đơn vị (1 byte).

Phương pháp nghiên cứu thực tế được tác giả áp dụng là phương pháp thiết kế thực nghiệm kỹ thuật: xây dựng mô hình phần cứng cơ điện, lắp đặt camera thu nhận dữ liệu ảnh động từ phôi bao bì, lập trình giải thuật nhận dạng trên môi trường Spyder, sau đó truyền thông số điều khiển phân loại thời gian thực qua giao thức Modbus TCP/IP đến PLC để điều khiển cơ cấu gạt.

Nguồn dữ liệu nghiên cứu là tập dữ liệu hình ảnh các mẫu bao bì thực tế được thu nhận trực tiếp từ webcam trên hệ thống băng tải, được dán nhãn thành 4 nhóm dữ liệu: mẫu chuẩn không lỗi (sản phẩm tốt), mẫu lỗi lem mực, mẫu lỗi in sai nội dung và mẫu lỗi bao bì bị rách.

Thiết kế và triển khai

Hệ thống phân loại sản phẩm lỗi được thiết kế dưới dạng mô hình cơ điện tử hoàn chỉnh, tích hợp giữa phần cứng công nghiệp và phần mềm thị giác máy tính.

Kiến trúc phần cứng của hệ thống bao gồm các khối chức năng chính:

• Khối nguồn: Nguồn tổ ong chuyển đổi điện áp lưới AC 220V sang DC 24V 5A (công suất 120W, dải điện áp đầu vào 85-132VAC / 180-264VAC, biên độ điều chỉnh điện áp ±10%) để cung cấp cho PLC, rơ-le, đèn báo và hạ áp 5VDC cho các mạch logic. Hệ thống sử dụng aptomat bảo vệ MCB LS BKN 2P để đóng ngắt nguồn tổng.
• Khối xử lý trung tâm: Sử dụng bộ điều khiển lập trình PLC Siemens S7-1200, dòng CPU 1212C DC/DC/DC tích hợp 8 ngõ vào số 24VDC, 2 ngõ vào tương tự 0-10VDC, 6 ngõ ra relay 2A, bộ nhớ chương trình và dữ liệu 75 KB, kết nối mạng qua cổng Profinet/Ethernet.
• Khối điều khiển và giám sát: Máy tính cá nhân kết nối với webcam qua cổng USB và kết nối với PLC qua cổng mạng Ethernet, chạy giao diện điều khiển và giám sát viết bằng ngôn ngữ Python trên môi trường Spyder IDE.
• Khối thu nhận hình ảnh: Webcam Logitech C270 kết nối cổng USB, độ phân giải tối đa 720p/30fps, cảm biến 0.9 megapixel, tiêu cự cố định, góc nhìn chéo 55 độ.
• Khối cơ cấu chấp hành và truyền động: Mô hình băng tải mini vận chuyển phôi bao bì liên tục; cơ cấu gạt phân loại sử dụng động cơ bước hai pha Nema 17 (góc bước 1.8 độ, dòng định mức 1.7A, mô-men xoắn giữ 40 N.cm, quán tính rotor 54 g.cm², sai số góc bước ±5%, kích thước khung 42x42mm, chiều dài thân 40mm, trục đường kính 5mm, chiều dài trục 14mm, trọng lượng 280g); mô-đun điều khiển động cơ bước TB6600 (dải điện áp 9-42VDC, dòng đỉnh 4A, giao tiếp cách ly quang tín hiệu 5V qua các chân ENA+/-, DIR+/-, PUL+/-, cấp nguồn cuộn dây động cơ qua các chân A+/-, B+/-).
• Khối hiển thị và rơ-le phụ trợ: Đèn báo công nghiệp AD16-16C điện áp 24V (đèn xanh: hệ thống đang chạy; đèn đỏ: hệ thống dừng; đèn vàng: cảnh báo sản phẩm lỗi); mô-đun 1 relay 5VDC (chịu tải tối đa AC 250V/10A hoặc DC 30V/10A, dòng kích hoạt 5mA); hệ thống nút nhấn điều khiển lắp đặt trên mặt vỏ hộp tủ điện.

Quy trình triển khai và liên kết phần mềm:

1. Lập trình PLC: Cấu hình phần cứng và lập trình chu trình logic bằng ngôn ngữ Ladder trên phần mềm TIA Portal, thực hiện nhận tín hiệu cảm biến, điều khiển khởi động/dừng băng tải, nhận lệnh phân loại từ mạng truyền thông và kích xung điều khiển driver TB6600 gạt sản phẩm khuyết tật.
2. Lập trình thị giác máy tính: Khởi chạy luồng nhận ảnh từ webcam qua OpenCV, xử lý lọc nhiễu, phân đoạn ảnh, trích xuất vùng đặc trưng ROI và đưa vào mô hình mạng MobileNet đã được huấn luyện để phân loại trạng thái bao bì.
3. Đồng bộ truyền thông: Thiết lập kết nối Modbus TCP/IP giữa script Python và PLC S7-1200; khi phát hiện sản phẩm lỗi, Python gửi giá trị mã lỗi tương ứng xuống vùng nhớ PLC để kích hoạt cơ cấu gạt tại đúng thời điểm phôi di chuyển đến vị trí phân loại.

Kiểm thử hệ thống được thực hiện trực tiếp trên mô hình vật lý qua hai giai đoạn: kiểm tra độ đáp ứng cơ điện và kiểm tra độ chính xác phân loại trước và sau khi huấn luyện mô hình máy học.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 nêu bật bối cảnh phát triển của kỹ thuật xử lý hình ảnh và nhu cầu cấp thiết về tự động hóa khâu kiểm tra ngoại quan trong sản xuất công nghiệp nhằm thay thế kiểm tra thủ công. Tác giả xác định hai mục tiêu nghiên cứu cụ thể: chế tạo mô hình phân loại tự động điều khiển bởi PLC S7-1200 kết hợp webcam, động cơ bước và xây dựng giao diện giám sát trên phần mềm Spyder (Python). Đối tượng nghiên cứu là giải pháp phát hiện khuyết tật trên bao bì thông qua thuật toán tiền xử lý, tách cạnh, đường nét kết hợp mạng học sâu. Phạm vi nghiên cứu giới hạn ở 3 dạng lỗi bao bì: lem mực, in sai và rách, cùng giải pháp kết nối truyền thông công nghiệp Modbus TCP/IP giữa máy tính và PLC.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày có hệ thống nền tảng lý thuyết xử lý ảnh truyền thống gồm phương pháp thống kê (thang độ xám, mẫu, gradient), phương pháp quang phổ (biến đổi Fourier, bộ lọc Gabor, biến đổi Wavelet) và phương pháp mô hình (MR-SAR, RISAR, HMT, CAHMT). Tiếp đó, chương giới thiệu ngôn ngữ Python, thư viện OpenCV, cấu trúc phần cứng và chu kỳ quét của PLC. Trọng tâm của chương là phân tích toán học và cấu trúc mạng MobileNet: giải thích cơ chế phân tách tích chập theo chiều sâu (Depthwise) và tích chập theo điểm 1x1 (Pointwise), chứng minh khả năng giảm thiểu tính toán từ 8 đến 9 lần so với tích chập 3x3 thông thường, phân tích kiến trúc 28 lớp với 95% thời gian tính toán và 75% tham số nằm ở các lớp 1x1 được thực thi bởi GEMM. Cuối cùng, chương phân tích mô hình mạng TCP/IP và chuẩn truyền thông Modbus TCP/IP với cấu trúc tiêu đề MBAP 7 byte.

Chương 3: Tính toán và thiết kế

Chương 3 xác định các yêu cầu kỹ thuật vận hành liên tục và ổn định của mô hình. Tác giả thiết lập sơ đồ khối kết nối tổng quan gồm 7 khối: khối nguồn, khối nút nhấn, khối hiển thị, khối xử lý trung tâm, khối điều khiển và giám sát, khối động cơ và driver, khối webcam. Chương trình bày chi tiết thông số kỹ thuật và căn cứ lựa chọn các thiết bị phần cứng thực tế: nguồn tổ ong 24V 5A (120W), bộ điều khiển PLC Siemens S7-1200 CPU 1212C DC/DC/DC (bộ nhớ 75 KB), webcam Logitech C270 (720p/30fps), động cơ bước Nema 17 (góc bước 1.8 độ, dòng 1.7A, mô-men xoắn giữ 40 N.cm), mô-đun driver TB6600 (4A), mô-đun 1 relay 5V, đèn báo AD16-16C (24V) và aptomat MCB LS BKN 2P.

Chương 4: Thi công hệ thống

Chương 4 mô tả toàn diện quy trình thi công mô hình phần cứng và lập trình hệ thống. Về cơ điện, tác giả lắp ráp khung băng tải mini, gia công vỏ tủ điện, bố trí cầu đấu khối, đi dây hệ thống điện trong mặt tủ và ngoài mặt tủ. Về phần mềm, tác giả thực hiện tạo project, cấu hình CPU 1212C và viết chương trình điều khiển chính cho PLC trên TIA Portal. Đồng thời, tác giả thiết lập môi trường Spyder, viết mã nguồn Python xử lý ảnh bằng OpenCV, áp dụng kernel ma trận 3x3 và 5x5 của NumPy, vẽ bounding box giới hạn diện tích 10.000 - 30.000 pixel, đưa kích thước ảnh về 64x64, xây dựng giao diện điều khiển giám sát, thiết lập lưu đồ giải thuật hệ thống, lưu đồ giải thuật nhận dạng - điều khiển và hướng dẫn quy trình vận hành phân loại sản phẩm.

Chương 5: Kết quả nhận xét đánh giá

Chương 5 ghi nhận kết quả chế tạo thành công mô hình vật lý và tủ điện điều khiển hoạt động đồng bộ. Tác giả tiến hành chạy thực nghiệm hệ thống phân loại phôi bao bì với 4 trạng thái: sản phẩm tốt, lỗi in sai, lỗi lem mực và lỗi rách. Kết quả thực nghiệm được tổng hợp và đánh giá qua hai bảng số liệu: Bảng thử nghiệm chạy hệ thống khi sản phẩm chưa được huấn luyện và Bảng thử nghiệm chạy hệ thống khi sản phẩm đã được huấn luyện mạng MobileNet, qua đó chứng minh mô hình sau huấn luyện có khả năng nhận dạng và kích hoạt phân loại chính xác phôi lỗi trong quá trình băng tải vận hành.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được về mặt thiết kế mô hình, ứng dụng thị giác máy tính và điều khiển tự động qua PLC. Đồng thời, tác giả chỉ rõ các nhược điểm còn tồn tại của hệ thống và đề xuất các giải pháp kỹ thuật cụ thể nhằm phát triển đề tài trong tương lai.

Kết quả và đóng góp

Khóa luận đạt được các kết quả thực nghiệm và kỹ thuật cụ thể:

• Chế tạo hoàn chỉnh mô hình thực nghiệm phân loại bao bì tự động: Hệ thống băng tải mini vận hành ổn định; tủ điện điều khiển công nghiệp tích hợp đầy đủ PLC Siemens S7-1200 CPU 1212C, nguồn tổ ong 24V 5A, driver TB6600, relay, MCB và các đèn báo AD16-16C hiển thị rõ ràng 3 trạng thái hoạt động (chạy, dừng, lỗi).
• Thiết lập thành công kết nối truyền thông công nghiệp Modbus TCP/IP qua cổng Ethernet RJ45 giữa ứng dụng Python trên máy tính và PLC S7-1200, truyền nhận dữ liệu điều khiển cơ cấu gạt phôi lỗi theo thời gian thực.
• Xây dựng thành công thuật toán thị giác máy tính kết hợp tiền xử lý ảnh (OpenCV, NumPy kernel 3x3 và 5x5, lọc diện tích 10.000 - 30.000 pixel, đưa về kích thước 64x64) và mạng nơ-ron MobileNet (28 lớp), nhận dạng chính xác 4 nhóm trạng thái bao bì: sản phẩm không lỗi (tốt), lỗi in sai bao bì, lỗi lem mực và lỗi rách bao bì.

Bảng tổng hợp kết quả thực nghiệm hệ thống dựa trên dữ liệu đối chiếu từ Bảng 5.1 và Bảng 5.2 trong văn bản:

Tiêu chí phân loại	Trạng thái khi chưa huấn luyện (Bảng 5.1)	Trạng thái sau khi được huấn luyện qua MobileNet (Bảng 5.2)
Sản phẩm đạt chuẩn (không lỗi)	Hệ thống không nhận diện được đặc trưng chuẩn, phân loại sai hoặc bỏ sót phôi	Nhận diện chính xác sản phẩm tốt, giữ phôi đi hết hành trình băng tải
Sản phẩm lỗi in sai bao bì	Không phát hiện được sự sai lệch ký tự và họa tiết in trên bao bì	Định vị chính xác lỗi in sai, truyền tín hiệu kích hoạt động cơ bước gạt phôi
Sản phẩm lỗi lem mực	Nhận diện sai lệch do ảnh hưởng của ngưỡng xám và ánh sáng	Khoanh vùng chính xác vết lem mực trên bề mặt, phân loại đúng lỗi
Sản phẩm lỗi bị rách	Bỏ sót các vết nứt, rách do không trích xuất được đường biên	Trích xuất chính xác biên dạng vết rách, kích hoạt cơ cấu phân loại chuẩn xác
Độ ổn định điều khiển PLC	Tín hiệu điều khiển ngõ ra không đồng bộ với trạng thái phôi lỗi	Tín hiệu Modbus TCP/IP truyền ổn định, cơ cấu gạt tác động chính xác vị trí

Các giải pháp và kiến nghị kỹ thuật do tác giả đề xuất:

• Cải thiện hệ thống chiếu sáng mô hình: Cần thiết kế buồng chụp kín hoặc bổ sung hệ thống chiếu sáng công nghiệp chuyên dụng nhằm khắc phục hiện tượng ánh sáng không đồng đều và bóng đổ ngoại cảnh.
• Nâng cấp cơ cấu chấp hành: Đề xuất thay thế hoặc kết hợp động cơ bước với cơ cấu xi lanh khí nén hoặc động cơ servo để tăng tốc độ gạt, đáp ứng yêu cầu của các dây chuyền sản xuất tốc độ cao.
• Mở rộng tập dữ liệu mẫu: Cần thu thập thêm dữ liệu hình ảnh bao bì với nhiều góc nghiêng, nếp nhăn và chất liệu khác nhau để gia tăng độ bền vững của mô hình máy học.

Đóng góp tự nêu của đề tài:

• Xây dựng thành công mô hình tích hợp hoàn chỉnh giữa xử lý ảnh số, trí tuệ nhân tạo (MobileNet) trên máy tính với hệ thống điều khiển tự động hóa chuẩn công nghiệp (PLC S7-1200) thông qua chuẩn truyền thông mở Modbus TCP/IP.
• Ứng dụng thành công cấu trúc mạng MobileNet 28 lớp với kỹ thuật tích chập tách rời theo chiều sâu, chứng minh tính khả thi của việc triển khai mô hình học máy gọn nhẹ (giảm tính toán 8-9 lần, 95% tính toán tập trung ở lớp 1x1 qua GEMM) để kiểm tra chất lượng sản phẩm bao bì theo thời gian thực mà không đòi hỏi hệ thống phần cứng tính toán đắt tiền.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các nhược điểm và giới hạn kỹ thuật trong Chương 6 và phạm vi nghiên cứu:

• Thiết bị quang học: Hệ thống sử dụng webcam dân dụng Logitech C270 có độ phân giải giới hạn (720p, 0.9 MP) và tiêu cự cố định; chất lượng ảnh thu nhận còn nhạy cảm với sự biến động của cường độ ánh sáng môi trường xung quanh.
• Phạm vi dạng lỗi: Mô hình mới chỉ tập trung phân loại được 3 dạng lỗi bề mặt điển hình (lem mực, in sai, rách), chưa bao quát được các khuyết tật vật lý khác như méo mó bao bì, lỗi hàn nhiệt đường biên hoặc sai lệch màu sắc tinh vi.
• Tốc độ và quy mô cơ khí: Mô hình băng tải mini và cơ cấu gạt dùng động cơ bước Nema 17 có tốc độ vận hành ở mức mô phỏng thí nghiệm, chưa đạt đến công suất vận hành liên tục ở tốc độ cao của dây chuyền đóng gói công nghiệp thực tế.

Các hướng phát triển tiếp theo được tác giả định hướng:

• Trang bị camera công nghiệp chuyên dụng có tốc độ chụp khung hình cao, ống kính điều chỉnh tiêu cự linh hoạt và tích hợp hệ thống đèn chiếu sáng vòng đồng nhất.
• Bổ sung và mở rộng tập dữ liệu huấn luyện cho nhiều chủng loại bao bì khác nhau; nghiên cứu ứng dụng các biến thể mạng học sâu mới nhằm phân loại chi tiết mức độ nghiêm trọng của từng lỗi.
• Nâng cấp cơ cấu gạt phân loại bằng hệ thống khí nén tốc độ cao; xây dựng cơ sở dữ liệu lưu trữ lịch sử kiểm tra và thống kê sản lượng lỗi trên giao diện điều khiển để phục vụ quản lý sản xuất toàn diện.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật có giá trị tham khảo thiết thực cho các đối tượng:

• Sinh viên, học viên các ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Kỹ thuật Điều khiển và Tự động hóa, Cơ điện tử, Kỹ thuật Máy tính và Công nghệ Thông tin đang thực hiện đồ án chuyên ngành hoặc khóa luận tốt nghiệp về ứng dụng thị giác máy tính trong công nghiệp.
• Kỹ sư nghiên cứu và phát triển (R&D), kỹ sư tự động hóa tại các nhà máy sản xuất, in ấn và đóng gói bao bì quan tâm đến giải pháp kiểm tra khuyết tật bề mặt tự động (AOI) kết hợp PLC với chi phí đầu tư hợp lý.

Các phần nội dung có giá trị tham khảo chuyên sâu trong văn bản gồm:

• Phương pháp thiết lập và lập trình truyền thông công nghiệp Modbus TCP/IP giữa phần mềm viết bằng Python và PLC Siemens S7-1200 (Chương 2 và Chương 4).
• Quy trình tiền xử lý ảnh bằng OpenCV, NumPy (sử dụng kernel 3x3, 5x5, bounding box diện tích 10.000 - 30.000 pixel, chuẩn hóa kích thước 64x64) kết hợp mạng học sâu MobileNet 28 lớp (Chương 2 và Chương 4).
• Bản vẽ tính toán, bố trí thiết bị và sơ đồ kết nối mạch điện hoàn chỉnh của tủ điện điều khiển công nghiệp kết nối PLC, nguồn tổ ong, driver TB6600 và động cơ bước Nema 17 (Chương 3 và Chương 4).

Câu hỏi thường gặp

1. Hệ thống trong đồ án có khả năng phát hiện và phân loại được những dạng khuyết tật bao bì cụ thể nào?
Hệ thống được thiết kế và huấn luyện để nhận dạng chính xác 3 dạng khuyết tật bề mặt bao bì gồm: lỗi lem mực, lỗi in sai nội dung bao bì và lỗi bao bì bị rách, bên cạnh trạng thái sản phẩm đạt chuẩn không lỗi.

2. Mạng nơ-ron MobileNet sử dụng trong đề tài có đặc điểm kiến trúc và ưu điểm tính toán gì nổi bật?
Mô hình MobileNet trong đồ án có cấu trúc 28 lớp, sử dụng kỹ thuật tích chập có thể phân tách theo chiều sâu (Depthwise Separable Convolution) chia thành hai lớp: Depthwise (lọc theo từng kênh) và Pointwise 1x1 (kết hợp các kênh). Kiến trúc này giúp giảm chi phí tính toán từ 8 đến 9 lần so với tích chập thông thường 3x3; trong đó 95% thời gian tính toán và 75% số lượng tham số tập trung tại các phép tích chập 1x1 được tối ưu hóa trực tiếp bằng hàm nhân ma trận GEMM.

3. Khối điều khiển và giám sát kết nối truyền thông với PLC Siemens S7-1200 qua giao thức nào và cấu trúc bản tin ra sao?
Máy tính giám sát (chạy Python trên Spyder) giao tiếp với PLC Siemens S7-1200 CPU 1212C qua giao thức Modbus TCP/IP trên nền mạng Ethernet RJ45. Bản tin Modbus TCP/IP sử dụng tiêu đề giao thức ứng dụng MBAP dài 7 byte gồm: Mã định danh giao dịch (2 byte), Mã định danh giao thức (2 byte), Trường độ dài (2 byte) và Mã định danh đơn vị (1 byte).

4. Khối cơ cấu chấp hành phân loại phôi lỗi sử dụng các thiết bị phần cứng cụ thể nào?
Cơ cấu chấp hành sử dụng động cơ bước Nema 17 (góc bước 1.8 độ, dòng định mức 1.7A, mô-men xoắn giữ 40 N.cm) kết hợp cùng mô-đun trình điều khiển TB6600 (nguồn cấp 9-42VDC, dòng đỉnh 4A) nhận tín hiệu xung số 5V từ hệ thống điều khiển để gạt các sản phẩm lỗi ra khỏi băng tải.

5. Quy trình tiền xử lý ảnh trên môi trường Python được thực hiện qua các bước kỹ thuật nào?
Ảnh thu nhận từ webcam Logitech C270 được chuyển từ hệ màu RGB sang ảnh xám, làm mờ để khử nhiễu; dùng thư viện NumPy tạo kernel ma trận 3x3 và 5x5 để giãn điểm ảnh; dùng hàm cv2.boundingRect() bao khung vùng nhị phân quan tâm; áp dụng thuật toán lọc diện tích giữ lại các vùng khuyết tật từ 10.000 đến 30.000 pixel và chuẩn hóa kích thước ảnh về ma trận 64x64 pixel trước khi đưa vào mô hình phân loại.

Kết luận

Đồ án tốt nghiệp của tác giả Trần Hữu Nhân đã thiết kế và thi công thành công mô hình hệ thống tự động phân loại khuyết tật bao bì (lem mực, in sai, rách) kết hợp công nghệ thị giác máy tính và điều khiển tự động hóa công nghiệp. Nghiên cứu khai thác hiệu quả mạng nơ-ron học sâu MobileNet 28 lớp và thư viện OpenCV trên môi trường Python để xử lý ảnh, đồng thời thiết lập kênh truyền thông Modbus TCP/IP điều khiển đóng mở cơ cấu gạt phôi thông qua PLC Siemens S7-1200 và động cơ bước Nema 17. Kết quả thực nghiệm cho thấy hệ thống vận hành ổn định và phân loại chính xác các sản phẩm lỗi sau khi được huấn luyện mô hình. Đây là tài liệu học thuật và kỹ thuật có giá trị tham khảo rõ ràng cho các định hướng ứng dụng trí tuệ nhân tạo vào quy trình kiểm tra chất lượng tự động trong nhà máy sản xuất.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan. • Chương 2: Cơ sở lý thuyết. • Chương 3: Thiết kế và xây dựng hệ thống. • Chương 4: Thi công hệ thống.

• Chương 5: Kết quả so sánh, thực nghiệm, phân tích, tổng hợp. • Chương 6: Kết luận và hướng phát triển. 2 Chương 2: CƠ SỞ LÝ THUYẾT 2. Phát hiện sản phẩm lỗi dựa trên xử lý ảnh truyền thống Phát hiện khuyết tật bề mặt dựa trên xử lý hình ảnh truyền thống của các sản phẩm công nghiệp cần thiết kế một phương pháp trích xuất các tính năng hình ảnh theo các tính năng kết cấu của hình ảnh, không yêu cầu một số lượng lớn dữ liệu được dán nhãn để huấn luyện mô hình.

Các phương pháp được thực hiện như phương pháp thống kê, phương pháp quang phổ và phương pháp mô hình thường được sử dụng trong xử lý ảnh truyền thống. Phương pháp thống kê Phương pháp thống kê là phương pháp phân tích kết cấu và xác định các khuyết tật theo đặc điểm phân phối thống kê của hình ảnh. Phương pháp này có thể được chia thành thang độ xám phương pháp thống kê, phương pháp thống kê mẫu và phương pháp thống kê gradient. Mô tả của tính năng kết cấu bằng phương pháp thống kê là một quá trình tính toán từng điểm, về cơ bản là không bị ảnh hưởng bởi ánh sáng và nhiễu, và có sự ổn định.

Tuy nhiên, do không lấy được thông tin đầy đủ nên không thể nghiên cứu sự phụ thuộc giữa các pixel. Phương pháp quang phổ Đối với một số lỗi khó xác định hiệu quả chỉ bằng thang độ xám pixel, các nhà nghiên cứu tin rằng sự xuất hiện của các khiếm khuyết phá hủy tính nhất quán về cấu trúc của đồng phục họa tiết. Chúng ta có thể chuyển đổi hình ảnh trong miền thời gian. Sau khi chuyển đổi miền thời gian, phát hiện chính xác các khuyết tật có thể đạt được theo các phản ứng khác nhau của kết cấu bình thường và kết cấu khiếm khuyết.

Loại phương pháp này có thể được chia thành Fourier Transform (FT), bộ lọc Gabor và biến đổi wavelet. Biến đổi Fourier nhận ra sự tách biệt và chuyển đổi từ miền thời gian sang miền tần số và nó phù hợp với các tín hiệu cố định. Nó thuộc về phân tích tổng quát và đặc biệt phù hợp để phân tích các tín hiệu tương đối ổn định cho một thời gian dài. Biến đổi Gabor thực hiện nội địa hóa phân tích tần số thời gian và là một phân tích tần số thời gian với một độ phân giải duy nhất, đặc biệt nhạy cảm với các cạnh hình ảnh và không nhạy cảm với ánh sáng.

Biến đổi 3 Wavelet có các đặc điểm phân tích video cục bộ tuyệt vời. Nó có thể thay đổi cấu trúc quang phổ và hình dạng cửa sổ, và rất hiệu quả để phân tích tín hiệu đột biến và tín hiệu số ít. Phương pháp mô hình Các phương pháp phân tích kết cấu dựa trên mô hình cố gắng nắm bắt quá trình tạo kết cấu. Việc cố gắng mô hình hóa kết cấu bằng cách xác định các tham số của các mô hình được xác định trước.

Phương pháp không chỉ xem xét tính ngẫu nhiên cục bộ của kết cấu mà còn xem xét tính đều đặn của toàn bộ kết cấu, linh hoạt hơn. nhưng rất khó để ước tính các tham số của mô hình, và số lượng tính toán lớn. Phương pháp sử dụng trường ngẫu nhiên Gaussian Markov để mô hình kết cấu hình ảnh của các loại sản phẩm không có khiếm khuyết. Mô hình tự hồi quy (MR-SAR) để phân loại và phân đoạn kết cấu.

Đầu tiên, mô hình đa biến tự hồi quy đồng thời bất biến xoay vòng (RISAR) dựa trên mô hình hồi quy tự động (CAR).