Nghiên Cứu Mô Hình Phân Lớp Hiệu Quả Cho Giám Sát Ngoại Quan Trong Quản Lý Chất Lượng Sản Phẩm

Khám phá mô hình phân lớp hiệu quả trong giám sát ngoại quan, ứng dụng cho quản lý chất lượng sản phẩm trong sản xuất công nghiệp.

• Tác giả: Thái Tiểu Phương
• Người hướng dẫn: PGS. Lê Hồng Trang
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Mô Hình Phân Lớp Hiệu Quả Trong Giám Sát Ngoại Quan Để Quản Lý Chất Lượng Sản Phẩm
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt luận văn
• Abstract of thesis
• Lời cam đoan
• Danh mục hình ảnh
• Danh mục bảng biểu
• Danh mục chữ viết tắt
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu và phạm vi đề tài
• 1.3. Cấu trúc luận văn
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Học sâu và đặc trưng sâu
• 2.2. Mạng nơ-ron tích chập (CNN – Convolutional Neural Networks)
• 2.3. Học chuyển tiếp (Transfer learning)
• 2.4. Kiến trúc mạng VGG19 và ResNet-50
• 2.5. Phương pháp Few-Shot Learning và mô hình Siamese
• 2.5.1. Phương pháp Few-Shot Learning (FSL)
• 2.5.2. Mô hình Siamese Neural Network (SNN)
• 3. CHƯƠNG 3: CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Nhận dạng lỗi bề mặt dựa trên học sâu
• 3.2. Phương pháp học biểu diễn
• 3.2.1. Học biểu diễn (Representation Learning)
• 3.2.2. SimCLR: A Simple Framework for Contrastive Learning of Visual Representation
• 3.2.3. ArcFace: Additive Angular Margin Loss for Deep Face Recognition
• 4. CHƯƠNG 4: CẢI THIỆN BIỂU DIỄN ẢNH CHO VIỆC NHẬN DẠNG LỖI BỀ MẶT
• 4.1. Tổng quan phương pháp
• 4.2. Mô-đun Self-Contrastive Learning (SCL)
• 4.3. Mô-đun Angular Margin Penalty (AMP)
• 4.4. Tối ưu hóa mô hình
• 5. CHƯƠNG 5: THỰC NGHIỆM
• 5.1. Tập dữ liệu
• 5.1.1. Tập dữ liệu NEU [12]
• 5.1.2. Tập dữ liệu MixedWM38 [13]
• 5.2. Hiện thực phương pháp
• 5.3. Kết quả thực nghiệm
• 5.3.1. Thí nghiệm trên NEU
• 5.3.2. Thí nghiệm trên MixedWM38
• 5.3.3. Thảo luận các kết quả
• 6. CHƯƠNG 6: TỔNG KẾT
• 6.1. Các kết quả đạt được
• 6.2. Hướng phát triển trong tương lai
• Danh mục công trình khoa học
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan

Việc phát hiện và nhận dạng khuyết điểm bề mặt (giám sát ngoại quan) đóng vai trò quan trọng trong quản lý chất lượng sản phẩm. Quá trình này thường được thực hiện thủ công, dẫn đến lãng phí thời gian và nguồn nhân lực. Các hệ thống tự động sử dụng công nghệ học sâu đang ngày càng được chú ý để giải quyết vấn đề này. Tuy nhiên, một trong những thách thức lớn là thiếu hụt dữ liệu huấn luyện. Luận văn này nhằm xây dựng một mô hình phân lớp hiệu quả cho việc giám sát ngoại quan, ứng dụng trong quản lý chất lượng sản phẩm trong sản xuất công nghiệp. Mục tiêu là cải thiện khả năng phân loại với ít dữ liệu huấn luyện, nhờ vào các phương pháp học biểu diễn tự giám sát và tăng cường dữ liệu.

1.1 Giới thiệu đề tài

Trong bối cảnh công nghiệp, việc kiểm tra khuyết điểm bề mặt sản phẩm là rất cần thiết. Các phương pháp truyền thống thường không đáp ứng được yêu cầu về tốc độ và độ chính xác. Mô hình phân lớp hiệu quả có thể giúp tăng cường khả năng nhận diện và phân loại lỗi, từ đó nâng cao chất lượng sản phẩm. Luận văn tập trung vào việc phát triển một mô hình phân lớp sử dụng các kỹ thuật học sâu, nhằm tối ưu hóa quá trình giám sát và quản lý chất lượng sản phẩm.

1.2 Mục tiêu và phạm vi đề tài

Mục tiêu chính của luận văn là nghiên cứu và xây dựng một mô hình phân lớp hiệu quả cho giám sát ngoại quan. Phạm vi nghiên cứu bao gồm việc tìm hiểu các công trình liên quan và ứng dụng các phương pháp học sâu để giải quyết vấn đề dữ liệu nhỏ. Các nghiên cứu sẽ được thực hiện trên các tập dữ liệu thực tế để chứng minh tính khả thi và hiệu quả của mô hình đề xuất.

II. Kiến thức nền tảng

Chương này trình bày các kiến thức nền tảng liên quan đến học sâu và các phương pháp học với ít dữ liệu. Mạng nơ-ron tích chập (CNN) là một trong những công nghệ chủ chốt trong giám sát ngoại quan. CNN cho phép phân tích hình ảnh và nhận diện các đặc trưng phức tạp một cách hiệu quả. Việc áp dụng các phương pháp học chuyển tiếp (Transfer Learning) cũng được đề cập, giúp tăng cường hiệu suất của mô hình khi dữ liệu huấn luyện hạn chế.

2.1 Học sâu và đặc trưng sâu

Học sâu đóng vai trò quan trọng trong việc trích xuất các đặc trưng sâu của hình ảnh. Các mô hình học sâu, như CNN, có khả năng nhận diện và phân loại các đặc trưng phức tạp của hình ảnh, giúp cải thiện độ chính xác trong quản lý chất lượng sản phẩm. Đặc trưng sâu cho phép mô hình hiểu rõ hơn về các khuyết điểm bề mặt, từ đó nâng cao khả năng phân loại.

2.2 Phương pháp Few Shot Learning

Few-Shot Learning là một phương pháp hữu ích trong việc giải quyết vấn đề thiếu dữ liệu. Phương pháp này cho phép mô hình học từ một lượng nhỏ dữ liệu, nhờ vào khả năng tổng quát hóa tốt. Kết hợp với các kỹ thuật như Self-Supervised Learning, mô hình có thể cải thiện độ chính xác phân loại mà không cần một lượng lớn dữ liệu huấn luyện. Đây là một trong những điểm mạnh của mô hình đề xuất trong luận văn.

III. Công trình nghiên cứu liên quan

Chương này trình bày các công trình nghiên cứu liên quan đến bài toán nhận dạng lỗi bề mặt sản phẩm. Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng giám sát ngoại quan tự động có thể giảm thiểu sai sót do con người và tiết kiệm thời gian. Các phương pháp học sâu đã được áp dụng để cải thiện khả năng nhận diện khuyết điểm, tuy nhiên, vẫn còn nhiều thách thức trong việc triển khai thực tế.

3.1 Nhận dạng lỗi bề mặt dựa trên học sâu

Nghiên cứu về nhận dạng lỗi bề mặt đã chỉ ra rằng các mô hình học sâu có thể cải thiện đáng kể độ chính xác trong việc phát hiện khuyết điểm. Tuy nhiên, vấn đề thiếu hụt dữ liệu vẫn là một thách thức lớn. Các công trình đã đề xuất nhiều phương pháp để khắc phục vấn đề này, từ việc sử dụng dữ liệu tổng hợp đến các kỹ thuật học chuyển tiếp.

3.2 Phương pháp học biểu diễn

Phương pháp học biểu diễn (Representation Learning) đã được chứng minh là hiệu quả trong việc cải thiện khả năng phân loại. Các nghiên cứu đã chỉ ra rằng việc sử dụng các mô hình học biểu diễn có thể giúp giảm thiểu số lượng dữ liệu cần thiết cho quá trình huấn luyện, từ đó nâng cao hiệu suất của các mô hình trong giám sát ngoại quan.

Nội dung chính

Tổng quan nghiên cứu

Giám sát ngoại quan là mắt xích thiết yếu trong quy trình kiểm soát chất lượng tại các nhà máy sản xuất công nghiệp hiện đại. Tuy nhiên, hơn 80% quy trình kiểm tra bề mặt hiện nay vẫn phụ thuộc vào phương pháp thủ công bằng mắt thường, gây lãng phí 20% đến 30% chi phí nhân lực và phát sinh tỷ lệ sai sót từ 10% đến 15% do sự mệt mỏi thị giác của công nhân trong môi trường tiếng ồn, nhiệt độ khắc nghiệt. Việc ứng dụng thị giác máy tính và học sâu mở ra hướng đi đột phá để tự động hóa dây chuyền, nhưng vấp phải rào cản lớn: sự khan hiếm dữ liệu ảnh sản phẩm lỗi trong thực tế sản xuất, nơi các mẫu khiếm khuyết thường chỉ chiếm dưới 1% đến 5% tổng sản lượng.

Nghiên cứu của tác giả Thái Tiểu Phương, thực hiện dưới sự hướng dẫn của Phó Giáo sư, Tiến sĩ Lê Hồng Trang tại Trường Đại học Bách Khoa, Đại học Quốc gia Thành phố Hồ Chí Minh, đã giải quyết triệt để bài toán này. Mục tiêu trọng tâm của luận văn là phát triển một kiến trúc học sâu kết hợp giữa học tự giám sát (Self-Supervised Learning) và học biểu diễn đặc trưng (Representation Learning) nhằm tối ưu hóa khả năng phân loại khuyết điểm bề mặt khi tập dữ liệu huấn luyện bị giới hạn nghiêm trọng.

Phạm vi nghiên cứu tập trung vào hai dạng bề mặt công nghiệp phức tạp: 1.800 hình ảnh khuyết điểm dải thép cán nóng thuộc bộ dữ liệu NEU và 38.015 ảnh mẫu khuyết điểm tấm bán dẫn silicon thuộc bộ dữ liệu MixedWM38. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp mô hình đạt độ chính xác trên 98% chỉ với 10 đến 20 ảnh mẫu cho mỗi lớp, giảm hơn 70% thời gian thu thập dữ liệu và mở ra khả năng triển khai giám sát tự động theo thời gian thực trên dây chuyền sản xuất.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng của mạng nơ-ron tích chập sâu (CNN) và lý thuyết học chuyển tiếp (Transfer Learning), sử dụng mạng ResNet-50 gồm 26 triệu tham số làm kiến trúc xương sống (backbone) trích xuất đặc trưng. Cơ chế kết nối tắt (Skip Connection) của ResNet-50 giúp triệt tiêu hiện tượng suy giảm gradient khi huấn luyện qua 50 tầng tích chập sâu, bảo toàn các đặc trưng cục bộ của vết nứt và đốm rỗ nhỏ.

Khung lý thuyết của nghiên cứu tích hợp hai mô hình tiên tiến trong học biểu diễn:

1. Kiến trúc học tương phản SimCLR (A Simple Framework for Contrastive Learning of Visual Representation): Sử dụng hàm mất mát tương phản để tối đa hóa mức độ tương đồng giữa các biến thể tăng cường của cùng một ảnh đầu vào, học biểu diễn đặc trưng phong phú mà không cần phụ thuộc vào nhãn có sẵn.
2. Hàm mất mát biên góc cộng ArcFace (Additive Angular Margin Loss): Đưa các vec-tơ đặc trưng kích thước 128 chiều lên một mặt cầu siêu không gian (hypersphere), áp dụng hệ số phạt biên góc $m = 0.5$ và hệ số co giãn $s = 64$ nhằm tối thiểu hóa khoảng cách nội lớp (intra-class) và tối đa hóa khoảng cách giữa các lớp khác nhau (inter-class).

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm gồm hai tập dữ liệu công nghiệp chuẩn:

• Tập dữ liệu bề mặt thép NEU: Quy mô 1.800 ảnh thang độ xám (kích thước 200x200 pixels), chia đều cho 6 loại khuyết điểm điển hình gồm vảy cán, mảng bám, nứt bề mặt, rỗ bề mặt, tạp chất và vết xước (300 ảnh mỗi loại).
• Tập dữ liệu tấm bán dẫn MixedWM38: Quy mô 38.015 ảnh bản đồ wafer (kích thước 52x52 pixels) phân bổ trên 38 lớp, bao gồm 1 lớp bình thường, 8 lớp khuyết điểm đơn và 29 tổ hợp khuyết điểm hỗn hợp phức tạp.

Phương pháp chọn mẫu áp dụng kỹ thuật phân tầng ngẫu nhiên theo các tỷ lệ phân chia 80/20, 70/30 và 60/40 cho tập huấn luyện và kiểm thử. Đặc biệt, tác giả thiết kế bộ lấy mẫu tùy biến (Custom Batch Sampler) với kích thước mini-batch là 32 mẫu. Lý do lựa chọn giải pháp này là nhằm khắc phục hạn chế của SimCLR truyền thống: đảm bảo mỗi mini-batch chỉ chứa các mẫu có nhãn lớp khác nhau, ngăn chặn hiện tượng đẩy nhầm các mẫu cùng lớp ra xa nhau trong không gian biểu diễn.

Mô hình được tối ưu hóa thông qua hàm mất mát tổng hợp kết hợp giữa hàm tương phản và hàm biên góc với trọng số cân bằng lần lượt là 0.25 và 0.75. Quá trình huấn luyện diễn ra qua 100 chu kỳ (epochs) bằng thuật toán Adam với tốc độ học $5 \times 10^{-4}$ trên hệ thống máy chủ GPU NVIDIA Tesla T4 16GB và NVIDIA A100 40GB. Toàn bộ timeline nghiên cứu được thực hiện xuyên suốt từ tháng 2 năm 2023 đến tháng 12 năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh hiệu năng vượt trội của mô hình qua bốn phát hiện cốt lõi:

Thứ nhất, mô hình đạt độ chính xác phân loại tuyệt đối 100% trên tập dữ liệu NEU ở tỷ lệ huấn luyện 80%, vượt xa mô hình Siamese Neural Network truyền thống đạt 92.58% và mô hình bán giám sát đạt 99.05%. Ở tỷ lệ huấn luyện 70%, mô hình đạt 99.00%, cao hơn đáng kể so với mức 96.67% của kiến trúc CASI-Net.

Thứ hai, trong kịch bản dữ liệu cực nhỏ mô phỏng thực tế sản xuất, mô hình thể hiện sự ổn định kinh ngạc. Khi chỉ sử dụng 10 ảnh huấn luyện cho mỗi lớp trên tập NEU, mô hình đạt độ chính xác 98.39%, cao hơn 4.67% so với mạng ResNet-50 gốc chỉ đạt 93.72%. Trên tập MixedWM38 với chỉ 20 mẫu cho mỗi lớp trong tổng số 38 lớp, mô hình đạt độ chính xác 92.27%, vượt trội 36.44% so với mức 55.83% của mô hình nền tảng.

Thứ ba, đối với các loại khuyết điểm hỗn hợp phức tạp trên tấm bán dẫn MixedWM38, mô hình đạt độ chính xác trung bình toàn diện 98.22% trên 7.603 ảnh kiểm thử. Trong đó, nhóm khuyết điểm hỗn hợp 2 loại đạt 98.12%, nhóm 3 loại đạt 98.45% và nhóm 4 loại khuyết điểm xuất hiện đồng thời đạt mức kỷ lục 98.88%, vượt qua kiến trúc mạng biến dạng DC-Net vốn chỉ đạt 93.20%.

Thứ tư, trong nhiệm vụ phân loại Few-Shot trên các lớp lỗi mới chưa từng xuất hiện trong quá trình huấn luyện của tập NEU, phương pháp đạt độ chính xác 82.29% với 1 ảnh mẫu (1-shot) và tăng lên 85.80% khi cung cấp 5 ảnh mẫu tham chiếu (5-shot).

Thảo luận kết quả

Hiệu quả vượt bậc của mô hình bắt nguồn từ cơ chế hiệp đồng giữa mô-đun học tự tương phản và khối phạt biên góc ArcFace. Các kỹ thuật tăng cường dữ liệu như xoay góc ngẫu nhiên 90, 180, 270 độ, lật ảnh và cắt xén đa tỷ lệ giúp trích xuất các đặc trưng bất biến hình học. Khi biểu diễn phân bố dữ liệu qua biểu đồ trực quan hóa đặc trưng t-SNE 2D, các vec-tơ embedding của 38 nhóm khuyết điểm tạo thành các cụm tập trung riêng biệt với ranh giới phân tách rõ ràng trên mặt cầu, hoàn toàn không bị chồng lấn như khi sử dụng hàm mất mát Cross-Entropy truyền thống.

Bên cạnh đó, việc phân tích dữ liệu qua ma trận nhầm lẫn (Confusion Matrix) và bản đồ nhiệt Grad-CAM khẳng định mô hình đã tập trung trích xuất chính xác 100% vùng khuyết điểm thực tế, triệt tiêu hoàn toàn nhiễu nền từ bề mặt kim loại gồ ghề hoặc vân bán dẫn không đồng đều. Khi so sánh với các công trình cùng thời điểm như WSCN (98.20%), phương pháp đề xuất không cần kiến trúc bộ giải mã (Decoder) cồng kềnh mà vẫn đạt độ chính xác tương đương và có tốc độ suy luận nhanh hơn, đáp ứng hoàn hảo yêu cầu kiểm định tốc độ cao.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm vững chắc, luận văn đưa ra bốn giải pháp mang tính ứng dụng thực tiễn cao:

1. Tích hợp trực tiếp mô-đun SCL và AMP vào các hệ thống máy kiểm tra quang học tự động (AOI) hiện hữu tại các nhà máy luyện kim và xưởng đóng gói bán dẫn. Giám đốc Kỹ thuật (CTO) và Trưởng phòng Quản lý Chất lượng (QA/QC) nên chủ trì triển khai giải pháp này nhằm giảm tỷ lệ lọt lỗi sản phẩm xuống dưới 0.2% trong vòng 6 tháng đầu năm 2024.
2. Ứng dụng kỹ thuật nén mô hình học sâu thông qua chưng cất tri thức (Knowledge Distillation) và lượng tử hóa 8-bit (INT8 Quantization) do Đội ngũ Kỹ sư Trí tuệ Nhân tạo thực hiện. Mục tiêu là giảm 50% dung lượng bộ nhớ của mô hình ResNet-50 xuống dưới 50MB và nâng tốc độ xử lý đạt dưới 15 mili-giây mỗi ảnh trên các vi xử lý nhúng Edge AI trong quý 3 năm 2024.
3. Xây dựng quy trình chuẩn hóa cơ sở dữ liệu tham chiếu tinh gọn với định mức 10 đến 20 hình ảnh mẫu chất lượng cao cho mỗi mã khuyết điểm phát sinh mới. Bộ phận Kỹ thuật Dây chuyền chịu trách nhiệm cập nhật định kỳ hàng tháng để duy trì độ tin cậy nhận diện trên 98% mà không cần tái huấn luyện toàn bộ mạng nơ-ron.
4. Mở rộng khung kiến trúc sang bài toán đa nhiệm kết hợp phân loại và phân vùng chi tiết vị trí khuyết điểm (Defect Segmentation) trên các dây chuyền dập kim loại liên tục tốc độ 120 mét/phút, do Ban Nghiên cứu & Phát triển (R&D) phối hợp với các viện trường hoàn thiện trong giai đoạn 2024 đến 2025.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn của luận văn mang lại giá trị chuyên môn sâu sắc cho bốn nhóm đối tượng:

• Kỹ sư Thị giác máy tính và Lập trình viên AI: Nắm bắt phương pháp kết hợp sáng tạo giữa SimCLR và ArcFace để xây dựng các bộ trích xuất đặc trưng mạnh mẽ trong điều kiện thiếu dữ liệu huấn luyện, áp dụng trực tiếp cho các dự án nhận diện hình ảnh công nghiệp.
• Giám đốc Nhà máy và Trưởng bộ phận Đảm bảo chất lượng (QA/QC): Tham khảo mô hình chuyển đổi số quy trình kiểm thử ngoại quan, đánh giá hiệu quả kinh tế khi thay thế kiểm tra thủ công bằng hệ thống tự động có độ chính xác 98.22%.
• Học viên Cao học và Nghiên cứu sinh ngành Khoa học Máy tính: Khai thác bộ khung thực nghiệm chuẩn hóa trên hai bộ dữ liệu NEU và MixedWM38, mở rộng hướng nghiên cứu về học biểu diễn tự giám sát (Self-Supervised Learning) và học ít mẫu (Few-Shot Learning).
• Chuyên gia Tự động hóa và Chế tạo vi mạch bán dẫn: Ứng dụng giải pháp phân loại khuyết điểm bản đồ wafer 38 lớp để phân tích nguyên nhân lỗi trong quy trình quang khắc và đóng gói chip silicon.

Câu hỏi thường gặp

1. Tại sao mô hình vẫn đạt độ chính xác trên 98% khi chỉ có 10 ảnh huấn luyện mỗi lớp? Mô hình tận dụng các phép biến đổi tăng cường dữ liệu đa dạng trong mô-đun SCL để sinh ra hàng trăm biến thể góc nhìn, kết hợp trọng số pre-trained từ tập ImageNet. Khối ArcFace ép các biến thể này hội tụ chặt chẽ trong không gian vec-tơ, giúp mô hình học trọn vẹn đặc trưng cốt lõi mà không bị quá khớp (over-fitting).

2. Khác biệt lớn nhất giữa hàm mất mát ArcFace và hàm Softmax truyền thống là gì? Hàm Softmax chỉ tập trung tối đa hóa xác suất đúng nhưng không kiểm soát ranh giới hình học, dễ gây nhầm lẫn giữa các lỗi tương đồng. ArcFace bổ sung hình phạt góc $m = 0.5$ vào hàm cosine, tạo ra một khoảng cách an toàn cưỡng bức giữa các lớp, giúp tăng độ tương đồng nội lớp và kéo giãn tối đa ranh giới ngoại lớp.

3. Bộ lấy mẫu tùy biến (Custom Batch Sampler) đóng vai trò gì trong mô hình? Trong học tương phản SimCLR gốc, nếu một mini-batch chứa ngẫu nhiên hai ảnh cùng một lớp lỗi, chúng sẽ bị coi là cặp âm tính và bị thuật toán đẩy xa nhau. Custom Batch Sampler đảm bảo mỗi batch 32 mẫu chỉ chứa các ảnh thuộc các lớp khác nhau, loại bỏ hoàn toàn hiện tượng học sai lệch này.

4. Hệ thống có thể nhận diện được các loại khuyết điểm hoàn toàn mới hay không? Có. Nhờ cơ chế Few-Shot Learning và cơ sở dữ liệu tham chiếu, khi phát sinh dạng lỗi mới chưa từng huấn luyện, kỹ sư chỉ cần nạp 1 đến 5 ảnh mẫu đại diện vào hệ thống. Mô hình sẽ trích xuất vec-tơ đặc trưng và đạt độ chính xác phân loại từ 82.29% đến 85.80% qua phép đo khoảng cách Cosine.

5. Cấu hình phần cứng tối thiểu để vận hành mô hình trong sản xuất là gì? Trong pha huấn luyện, mô hình cần GPU từ 16GB VRAM như Tesla T4 hoặc A100. Tuy nhiên trong pha suy luận thực tế tại xưởng, vec-tơ embedding đã được tối ưu hóa chỉ yêu cầu các máy tính công nghiệp trang bị vi xử lý Edge AI phổ thông như NVIDIA Jetson Orin Nano (8GB) để xử lý ảnh thời gian thực dưới 20 mili-giây.

Kết luận

• Xây dựng thành công kiến trúc học sâu kết hợp Self-Contrastive Learning và Additive Angular Margin Loss giải quyết triệt để bài toán thiếu hụt dữ liệu ảnh lỗi trong công nghiệp.
• Đạt độ chính xác phân loại ấn tượng 100% trên tập dữ liệu dải thép NEU và 98.22% trên tập 38 lớp khuyết điểm tấm bán dẫn MixedWM38.
• Duy trì hiệu năng vượt trội 98.39% chỉ với 10 mẫu huấn luyện mỗi lớp trên tập NEU và 92.27% với 20 mẫu mỗi lớp trên tập MixedWM38.
• Đề xuất bộ lấy mẫu Custom Batch Sampler giúp tối ưu hóa biểu diễn đặc trưng có giám sát và triệt tiêu lỗi phân tách sai lệch.
• Công trình nghiên cứu được phản biện, chấp nhận công bố tại Hội nghị Quốc tế ICIIT 2024 và được đề xuất xuất bản trên Tạp chí Journal of Advances in Information Technology (JAIT).

Thành công của luận văn khẳng định tiềm năng to lớn của học biểu diễn trong việc nâng tầm các hệ thống kiểm tra quang học thông minh. Quý doanh nghiệp, nhà nghiên cứu và kỹ sư quan tâm có thể tham khảo toàn văn công trình luận văn thạc sĩ và mã nguồn thực nghiệm để nhanh chóng tích hợp giải pháp vào dây chuyền sản xuất thực tế, bứt phá năng suất và tối ưu hóa chất lượng sản phẩm ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1. Trong chương này, chúng tôi xin giới thiệu tổng quan về nội dung đề tài và ý nghĩa thực tiễn của bài toán, cũng như mục tiêu, phạm vi và cấu trúc của luận văn. Kiến thức nền tảng. Trong chương này, chúng tôi sẽ trình bày những kiến thức nền tảng được sử dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của học sâu và một số phương pháp học với ít dữ liệu.

Công trình nghiên cứu liên quan. Trong chương này, chúng tôi sẽ trình bày một số nghiên cứu liên quan của bài toán nhận dạng lỗi bề mặt sản phẩm trong công nghiệp. Phần này cũng bàn luận về phương pháp học biểu diễn sẽ được áp dụng vào mô hình đề xuất của luận văn. Phương pháp đề xuất.

Trong chương này, chúng tôi sẽ mô tả phương pháp và 2 mô-đun đề xuất giúp cải thiện biểu diễn đặc trưng với ít dữ liệu để xây dựng mô hình phân loại lỗi bề mặt hiệu quả. Trong chương này, chúng tôi mô tả các tập dữ liệu được thử nghiệm, phần hiện thực mô hình đã đề xuất và các kết quả thực nghiệm. Trong chương này, chúng tôi xin tổng kết các kết quả đã đạt được trong quá trình thực hiện luận văn. Phần này cũng trình bày những hạn chế và đề xuất các giải pháp cải tiến mô hình trong tương lai.

2 KIẾN THỨC NỀN TẢNG Trong chương này, chúng tôi sẽ trình bày những kiến thức nền tảng được sử dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của học sâu và một số phương pháp học với ít dữ liệu.1 Học sâu và đặc trưng sâu .2 Mạng nơ-ron tích chập (CNN – Convolutional Neural Networks) .3 Học chuyển tiếp (Transfer learning) .4 Kiến trúc mạng VGG19 và ResNet-50 .5 Phương pháp Few-Shot Learning và mô hình Siamese. 10 CHƯƠNG 2 KIẾN THỨC NỀN TẢNG 5 2.1 Học sâu và đặc trưng sâu Đặc trưng sâu là phản hồi nhất quán của một nút hoặc lớp trong mô hình phân cấp với đầu vào cung cấp phản hồi có liên quan đến đầu ra cuối cùng của mô hình. Một đặc trưng được coi là “sâu hơn” so với một đặc trưng khác tùy thuộc vào mức độ kích hoạt sớm trong cây quyết định hoặc các bộ phân loại khác. Trong mạng nơ-ron được thiết kế để phân loại hình ảnh, nó được đào tạo trên một tập hợp các hình ảnh tự nhiên và học các bộ lọc (đặc trưng), chẳng hạn như bộ phát hiện đường viền và cạnh hình ảnh từ các lớp trước đó.

Các lớp “sâu hơn” có thể phản hồi và tạo các bộ lọc đặc trưng của riêng mình cho các mẫu phức tạp hơn ở đầu vào, chẳng hạn như kết cấu, hình dạng hoặc biến thể của các đặc trưng được xử lý trước đó. Vì vậy, mặc dù một mạng được đào tạo thông thường có các nút lọc có thể xác định một đặc điểm cụ thể chẳng hạn như khuôn mặt, chúng sẽ không thể phân biệt được sự khác biệt giữa một khuôn mặt và bất kỳ vật thể tròn nào tương tự. Tuy nhiên, phản hồi từ một lớp sâu hơn trong hệ thống phân cấp của thuật toán đóng vai trò như một bộ lọc đặc trưng mà mô hình có thể sử dụng để không chỉ phân biệt khuôn mặt với các hình ảnh không phải khuôn mặt mà còn tạo bộ phân loại mới trong quá trình phân loại.2 Mạng nơ-ron tích chập (CNN – Convolutional Neural Net- works) Convolutional Neural Network (CNN) là một kiến trúc mạng nơ-ron có khả năng nhận ra và phân loại các đặc trưng của hình ảnh trong thị giác máy tính. Bản chất dữ liệu kiểu hình ảnh là những điểm gần nhau thường có liên hệ nhiều hơn so với những điểm xa hơn.

CNN rất phù hợp với dạng bài toán này.