Luận văn thạc sĩ về ứng dụng học sâu và xử lý ảnh trong phát hiện lỗi sản xuất chip SoC

Luận văn thạc sĩ nghiên cứu kỹ thuật điều khiển và tự động hóa ứng dụng học sâu và xử lý ảnh phát hiện lỗi trong sản xuất chip, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Phạm Minh Hải
• Người hướng dẫn: PGS. TS Huỳnh Thái Hoàng
• Trường học: Đại học Bách Khoa - ĐHQG TP. HCM
• Chuyên ngành: Điều khiển và Tự Động Hóa
• Đề tài: Ứng Dụng Học Sâu Và Xử Lý Ảnh Trong Phát Hiện Lỗi Sản Xuất Chip SoC
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tình hình nghiên cứu trong và ngoài nước
• 1.2. Mục tiêu và nhiệm vụ của luận văn
• 1.3. Nội dung luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Đặc điểm các lỗi ngoại quan trong thường gặp trong sản xuất chip bán dẫn
• 2.2. Một số phương pháp xử lý ảnh phát hiện lỗi trong công nghiệp
• 2.3. Phương pháp Template Matching
• 2.4. Kiến trúc Residual Neural Network (ResNet) cho bài toán nhận dạng vật thể
• 2.5. Phương pháp mô hình hóa phân phối các đặc trưng (Patch Distribution Modeling - PaDiM)
• 2.6. Ứng dụng xử lý ảnh trong phát hiện lỗi lệch/thiếu linh kiện
• 2.7. Một số phương pháp tiền xử lý ảnh áp dụng cho bài toán CNN
• 3. CHƯƠNG 3: QUÁ TRÌNH THỰC HIỆN
• 3.1. Cấu trúc của hệ thống
• 3.2. Phân loại bài toán
• 3.2.1. Lỗi vết bẩn hoặc trầy xước trên bề mặt
• 3.2.2. Lỗi lệch và mất linh kiện
• 3.3. Tiền xử lý ảnh
• 3.4. Thu thập dữ liệu huấn luyện và đánh giá
• 3.5. Phát hiện sản phẩm bị lệch sử dụng OpenCV
• 3.6. Phát hiện các vết bẩn hoặc trầy xước trên bề mặt sử dụng CNN
• 3.7. Thiết kế giao diện phục vụ cho việc huấn luyện
• 4. CHƯƠNG 4: KẾT QUẢ THỰC HIỆN VÀ ĐÁNH GIÁ
• 4.1. Kết quả nhận dạng khi huấn luyện mô hình CNN với số lượng hình ảnh đầu vào thay đổi
• 4.2. Kết quả nhận dạng khi huấn luyện mô hình CNN với các phương pháp tiền xử lý ảnh khác nhau
• 4.3. Kết quả nhận dạng khi huấn luyện mô hình CNN với kích thước vector đặc trưng khác nhau
• 4.4. Kết quả phát hiện lệch/thiếu linh kiện
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Ngành công nghiệp chip bán dẫn đang phát triển mạnh mẽ, với nhu cầu tăng cao trong thời đại công nghệ số. Việc phát hiện lỗi trong sản xuất chip SoC trở thành một trong những yếu tố quyết định đến chất lượng sản phẩm. Luận văn này tập trung vào việc ứng dụng học sâu và xử lý ảnh để phát hiện lỗi trong quy trình sản xuất chip. Hệ thống giám sát hiện tại thường không đủ khả năng phát hiện một số lỗi nhỏ, dẫn đến sự cần thiết phải phát triển các phương pháp mới nhằm cải thiện khả năng phát hiện. Việc sử dụng các công nghệ như machine learning và computer vision không chỉ giúp phát hiện lỗi mà còn góp phần nâng cao hiệu quả sản xuất.

1.1 Tình hình nghiên cứu trong và ngoài nước

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng học sâu trong phát hiện lỗi sản phẩm đang trở thành xu hướng phổ biến. Các phương pháp như Template Matching và Patch Distribution Modeling (PaDiM) đã được sử dụng để cải thiện độ chính xác trong việc phát hiện lỗi. Tuy nhiên, các nghiên cứu trước đây thường gặp khó khăn trong việc tổng quát hóa mô hình với các lỗi khác nhau, do đó cần có những phương pháp mới để giải quyết vấn đề này.

1.2 Mục tiêu và nhiệm vụ của luận văn

Mục tiêu của luận văn là phát triển một ứng dụng mới nhằm phát hiện lỗi trong sản xuất chip SoC bằng cách kết hợp các phương pháp xử lý ảnh và học sâu. Nhiệm vụ cụ thể bao gồm khảo sát độ chính xác của các phương pháp hiện có và đề xuất giải pháp cải tiến. Hệ thống được thiết kế để tự động hóa quá trình kiểm tra và giảm thiểu lỗi sản phẩm, từ đó nâng cao chất lượng sản phẩm đầu ra.

II. Cơ sở lý thuyết

Chương này trình bày các khái niệm cơ bản liên quan đến phát hiện lỗi trong sản xuất chip SoC. Các lỗi thường gặp bao gồm mất linh kiện, linh kiện bị lệch, và các lỗi ngoại quan khác. Việc hiểu rõ các loại lỗi này là rất quan trọng để phát triển các phương pháp phát hiện hiệu quả. Các phương pháp như Template Matching và PaDiM sẽ được phân tích chi tiết để tìm ra ưu và nhược điểm của từng phương pháp trong bối cảnh sản xuất chip.

2.1 Đặc điểm các lỗi ngoại quan

Trong sản xuất chip, các lỗi ngoại quan thường gặp bao gồm linh kiện bị lệch, vỡ hoặc bám bẩn. Những lỗi này có thể gây ra hậu quả nghiêm trọng nếu không được phát hiện kịp thời. Việc phát hiện sớm các lỗi này không chỉ giúp tiết kiệm chi phí mà còn đảm bảo chất lượng sản phẩm. Hệ thống kiểm tra hiện tại thường dựa vào camera có độ phân giải cao, nhưng vẫn có những lỗi nhỏ không được phát hiện, dẫn đến sự cần thiết phải áp dụng các phương pháp mới.

2.2 Phương pháp xử lý ảnh

Các phương pháp xử lý ảnh hiện nay rất đa dạng, từ các kỹ thuật truyền thống như Template Matching đến các phương pháp học sâu. Template Matching cho phép so sánh mẫu hình ảnh với các đối tượng cần kiểm tra, nhưng có nhược điểm là khó khăn trong việc phát hiện các lỗi không nằm trong mẫu. Ngược lại, các phương pháp học sâu như CNN có khả năng nhận diện lỗi với độ chính xác cao hơn nhưng yêu cầu nhiều tài nguyên cho quá trình huấn luyện.

III. Quy trình thực hiện

Quy trình thực hiện nghiên cứu bao gồm việc xây dựng hệ thống kiểm tra và phát hiện lỗi, thu thập dữ liệu, và tiến hành các thí nghiệm. Hệ thống được thiết kế để tự động hóa quá trình phát hiện lỗi, sử dụng các hình ảnh được tạo ra từ hệ thống kiểm tra hiện tại. Các phương pháp xử lý ảnh như OpenCV và CNN sẽ được áp dụng để phân tích và nhận diện các lỗi sản phẩm.

3.1 Cấu trúc của hệ thống

Hệ thống được xây dựng với cấu trúc rõ ràng, bao gồm các module xử lý khác nhau để đảm bảo hiệu quả trong việc phát hiện lỗi. Mỗi module có nhiệm vụ cụ thể, từ việc thu thập dữ liệu đến phân tích và gửi thông báo cho người vận hành. Việc thiết kế cấu trúc hệ thống hợp lý là rất quan trọng để đảm bảo tính linh hoạt và khả năng mở rộng trong tương lai.

3.2 Phân loại bài toán

Bài toán phát hiện lỗi trong sản xuất chip SoC được phân loại thành nhiều loại khác nhau, bao gồm lỗi vết bẩn, lỗi lệch và mất linh kiện. Mỗi loại lỗi sẽ có những phương pháp phát hiện riêng, phù hợp với đặc điểm của từng loại. Việc phân loại rõ ràng sẽ giúp nâng cao hiệu quả của hệ thống kiểm tra và giảm thiểu số lượng sản phẩm lỗi trong quá trình sản xuất.

IV. Kết quả thực hiện và đánh giá

Kết quả thực hiện cho thấy hệ thống phát hiện lỗi đã đạt được độ chính xác cao trong việc nhận diện các sản phẩm lỗi. Các thí nghiệm được thực hiện với nhiều phương pháp xử lý ảnh khác nhau và kết quả cho thấy sự cải thiện đáng kể so với các phương pháp truyền thống. Hệ thống cũng cho phép người vận hành dễ dàng theo dõi và kiểm soát chất lượng sản phẩm trong quá trình sản xuất.

4.1 Kết quả nhận dạng khi huấn luyện mô hình CNN

Kết quả huấn luyện mô hình CNN cho thấy độ chính xác cao khi áp dụng các phương pháp tiền xử lý ảnh khác nhau. Các thông số đánh giá như precision và recall được ghi nhận cho thấy mô hình có khả năng nhận diện lỗi tốt, đặc biệt là với các lỗi nhỏ mà hệ thống hiện tại không thể phát hiện được. Điều này chứng tỏ rằng việc áp dụng học sâu trong phát hiện lỗi là một hướng đi đúng đắn.

4.2 Kết quả phát hiện lệch thiếu linh kiện

Hệ thống cũng đã chứng minh khả năng phát hiện các lỗi lệch và thiếu linh kiện với độ chính xác cao. Kết quả cho thấy rằng việc sử dụng hình ảnh từ hệ thống kiểm tra hiện tại kết hợp với các phương pháp xử lý ảnh tiên tiến đã giúp nâng cao khả năng phát hiện lỗi, từ đó giảm thiểu số lượng sản phẩm lỗi trong dây chuyền sản xuất.

V. Kết luận

Luận văn đã trình bày một ứng dụng hữu ích của học sâu và xử lý ảnh trong việc phát hiện lỗi sản phẩm trong sản xuất chip SoC. Kết quả nghiên cứu cho thấy rằng việc áp dụng các phương pháp hiện đại có thể cải thiện đáng kể khả năng phát hiện lỗi, từ đó nâng cao chất lượng sản phẩm. Hướng phát triển trong tương lai có thể bao gồm việc mở rộng hệ thống để áp dụng cho nhiều loại sản phẩm khác nhau.

5.1 Kết quả đạt được

Các kết quả đạt được từ nghiên cứu cho thấy khả năng phát hiện lỗi đã được cải thiện rõ rệt. Hệ thống đã chứng minh tính khả thi trong việc áp dụng các phương pháp học sâu và xử lý ảnh để nâng cao chất lượng sản phẩm. Điều này không chỉ giúp giảm thiểu lỗi sản phẩm mà còn tiết kiệm chi phí cho nhà sản xuất.

5.2 Hướng phát triển

Hướng phát triển trong tương lai có thể bao gồm việc tích hợp thêm các công nghệ mới vào hệ thống, như trí tuệ nhân tạo và các phương pháp học máy tiên tiến hơn. Việc mở rộng khả năng phát hiện lỗi cho nhiều loại sản phẩm khác nhau sẽ giúp nâng cao hiệu quả sản xuất và đáp ứng nhu cầu ngày càng cao của thị trường.

Nội dung chính

Tổng quan nghiên cứu

Ngành công nghiệp bán dẫn toàn cầu ghi nhận giá trị thị trường đạt khoảng 452,25 tỷ đô la Mỹ vào năm 2021 và dự báo tăng lên 483 tỷ đô la Mỹ trong năm 2022, với xu hướng tiếp tục tăng trưởng mạnh trong những năm tiếp theo. Trong bối cảnh cạnh tranh gay gắt và nhu cầu ngày càng cao về chip bán dẫn, việc kiểm soát chất lượng sản phẩm trở thành yếu tố sống còn để duy trì uy tín và hình ảnh doanh nghiệp. Một trong những thách thức lớn là phát hiện kịp thời các lỗi ngoại quan trong quá trình sản xuất chip System on Chip (SoC), nhằm loại bỏ sản phẩm lỗi trước khi chuyển sang các công đoạn tiếp theo.

Luận văn tập trung vào việc ứng dụng học sâu (Deep Learning) và kỹ thuật xử lý ảnh để phát hiện lỗi trong sản xuất chip SoC, đặc biệt là những lỗi mà hệ thống kiểm tra ngoại quan hiện tại chưa thể phát hiện do giới hạn vùng quan tâm (ROI) hoặc khả năng xử lý. Mục tiêu cụ thể là xây dựng một ứng dụng bổ sung cho hệ thống kiểm tra sẵn có, sử dụng các phương pháp Patch Distribution Modeling (PaDiM), Template Matching kết hợp với các kỹ thuật xử lý ảnh nhằm nâng cao độ chính xác phát hiện lỗi. Nghiên cứu được thực hiện trong phạm vi dây chuyền sản xuất chip SoC tại một nhà máy sản xuất chip bán dẫn, với dữ liệu thu thập từ các lô sản phẩm thực tế trong năm 2022.

Ý nghĩa của nghiên cứu thể hiện qua việc giảm thiểu tỷ lệ sản phẩm lỗi bị bỏ sót, từ đó giảm thiểu chi phí sản xuất và tăng độ tin cậy sản phẩm đầu ra. Các chỉ số đánh giá như độ chính xác (accuracy), độ chính xác dự báo lỗi (precision) và tỷ lệ phát hiện lỗi (recall) được sử dụng làm metrics để đo lường hiệu quả của hệ thống phát hiện lỗi mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai lý thuyết và mô hình chính:

1. Patch Distribution Modeling (PaDiM): Đây là phương pháp học không giám sát sử dụng phân phối Gaussian đa chiều để mô hình hóa đặc trưng ảnh tại từng điểm ảnh. PaDiM kết hợp các feature map trích xuất từ ba lớp đầu của mạng Residual Neural Network (ResNet18) để tính toán trung bình và ma trận hiệp phương sai đặc trưng. Khoảng cách Mahalanobis được sử dụng để đánh giá sự khác biệt giữa ảnh kiểm tra và dữ liệu huấn luyện, giúp phát hiện các điểm bất thường trên ảnh.

2. Template Matching: Phương pháp xử lý ảnh truyền thống dùng để xác định vùng quan tâm (ROI) trên ảnh bằng cách so sánh ảnh mẫu với ảnh đầu vào. Template Matching giúp căn chỉnh vị trí sản phẩm và tách vùng cần phân tích, đặc biệt hữu ích trong phát hiện lỗi lệch hoặc mất linh kiện.

Các khái niệm chính bao gồm:

• Residual Neural Network (ResNet18): Mạng học sâu với kiến trúc có kết nối tắt giúp tránh hiện tượng biến mất gradient, phù hợp cho việc trích xuất đặc trưng ảnh.
• Khoảng cách Mahalanobis: Đo lường sự khác biệt có tính đến mối tương quan giữa các biến trong dữ liệu đa chiều.
• Tiền xử lý ảnh: Các kỹ thuật như Gamma Correction, Enhance Image, và Sharpeness được áp dụng để cải thiện chất lượng ảnh đầu vào trước khi huấn luyện mô hình CNN.

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập từ các lô sản phẩm chip SoC thực tế tại nhà máy trong năm 2022, bao gồm:

• Dữ liệu huấn luyện: Khoảng dưới 700 hình ảnh sản phẩm không lỗi cho mỗi loại chip, được lấy từ công đoạn cuối cùng của dây chuyền.
• Dữ liệu kiểm định: 2 lô sản phẩm với hình ảnh trộn lẫn giữa sản phẩm lỗi và không lỗi, có nhãn rõ ràng.
• Dữ liệu kiểm tra: 8 lô sản phẩm bất kỳ được xử lý qua công đoạn hiện tại.

Phương pháp phân tích bao gồm:

• Tiền xử lý ảnh bằng các kỹ thuật tăng sáng, lọc nhiễu và điều chỉnh tương phản.
• Sử dụng Template Matching để xác định ROI và căn chỉnh ảnh.
• Áp dụng ResNet18 để trích xuất đặc trưng ảnh, kết hợp PaDiM để phát hiện điểm bất thường dựa trên khoảng cách Mahalanobis.
• Phát hiện lỗi lệch hoặc mất linh kiện bằng kỹ thuật xử lý ảnh truyền thống với OpenCV, sử dụng các hàm tìm đường bao (contours) và bounding box để đo kích thước linh kiện.
• Đánh giá mô hình qua các chỉ số accuracy, precision và recall trên tập dữ liệu kiểm định và kiểm tra.

Timeline nghiên cứu kéo dài từ tháng 9 đến tháng 12 năm 2022, với các bước thu thập dữ liệu, xây dựng mô hình, huấn luyện, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng của số lượng dữ liệu huấn luyện đến độ chính xác mô hình CNN:
   Khi tăng số lượng hình ảnh huấn luyện từ 100 lên 700, độ chính xác (accuracy) của mô hình trên sản phẩm mẫu tăng từ khoảng 85% lên trên 95%. Điều này cho thấy việc mở rộng dữ liệu huấn luyện giúp cải thiện khả năng nhận dạng lỗi.

2. Hiệu quả của các phương pháp tiền xử lý ảnh:
   Sử dụng Gamma Correction và Enhance Image giúp tăng precision và recall lên lần lượt khoảng 5-7% so với ảnh gốc chưa xử lý. Phương pháp Sharpeness cũng cải thiện độ sắc nét ảnh, hỗ trợ mô hình CNN phát hiện các vết bẩn nhỏ và mờ hiệu quả hơn.

3. Kích thước vector đặc trưng ảnh hưởng đến kết quả nhận dạng:
   Khi thay đổi kích thước vector đặc trưng từ 256 lên 448, accuracy và precision tăng lên đáng kể, đạt mức trên 94% và 92% tương ứng. Điều này chứng tỏ việc lựa chọn kích thước vector phù hợp giúp mô hình trích xuất đặc trưng hiệu quả hơn.

4. Phát hiện lỗi lệch và mất linh kiện bằng phương pháp xử lý ảnh truyền thống:
   Kích thước bounding box của linh kiện bị lệch tăng trung bình 15-20% so với linh kiện đúng vị trí, trong khi linh kiện mất có kích thước bounding box giảm khoảng 30%. Phương pháp này đạt độ chính xác phát hiện lỗi trên 90% trong các thử nghiệm thực tế.

Thảo luận kết quả

Kết quả cho thấy sự kết hợp giữa học sâu và xử lý ảnh truyền thống là giải pháp hiệu quả cho bài toán phát hiện lỗi ngoại quan trong sản xuất chip SoC. Việc sử dụng PaDiM giúp phát hiện các lỗi nhỏ, khó nhận biết bằng mắt thường hoặc hệ thống kiểm tra hiện tại, đặc biệt là các vết bẩn và trầy xước. Trong khi đó, Template Matching và kỹ thuật xử lý ảnh với OpenCV hỗ trợ phát hiện chính xác các lỗi lệch và mất linh kiện nhờ vào việc phân tích kích thước và vị trí linh kiện.

So với các nghiên cứu trước đây sử dụng mạng CNN thuần túy hoặc Auto Encoder, phương pháp PaDiM cho thấy ưu thế trong việc phát hiện lỗi nhỏ và không cần dữ liệu lỗi đa dạng để huấn luyện. Các biểu đồ so sánh accuracy, precision và recall theo số lượng dữ liệu huấn luyện và phương pháp tiền xử lý ảnh minh họa rõ ràng sự cải thiện hiệu quả của mô hình.

Ý nghĩa thực tiễn của nghiên cứu là giúp nhà máy sản xuất chip giảm thiểu tỷ lệ sản phẩm lỗi bị bỏ sót, từ đó tiết kiệm chi phí và nâng cao chất lượng sản phẩm. Hệ thống cảnh báo tự động giúp người vận hành kịp thời xử lý các lỗi phát sinh, tránh ảnh hưởng đến các công đoạn tiếp theo.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phát hiện lỗi bổ sung trên toàn bộ dây chuyền sản xuất:
   Áp dụng ứng dụng xử lý ảnh và học sâu đã phát triển để giám sát liên tục các công đoạn sản xuất chip SoC, nhằm giảm tỷ lệ sản phẩm lỗi bị bỏ sót xuống dưới 1% trong vòng 6 tháng tới. Chủ thể thực hiện là bộ phận kiểm soát chất lượng và kỹ thuật nhà máy.

2. Tăng cường thu thập và mở rộng dữ liệu huấn luyện:
   Thu thập thêm dữ liệu hình ảnh sản phẩm không lỗi và lỗi đa dạng để cải thiện độ chính xác mô hình CNN, đặc biệt là các lỗi mới phát sinh. Mục tiêu tăng số lượng dữ liệu huấn luyện lên ít nhất 1000 hình ảnh mỗi loại trong 3 tháng tiếp theo.

3. Cải tiến giao diện người dùng và hệ thống cảnh báo:
   Phát triển giao diện trực quan hơn cho người vận hành, tích hợp cảnh báo tự động qua email hoặc tin nhắn khi phát hiện lỗi nghiêm trọng. Thời gian hoàn thành dự kiến 2 tháng, do bộ phận phát triển phần mềm đảm nhiệm.

4. Nghiên cứu mở rộng ứng dụng cho các loại chip và linh kiện khác:
   Áp dụng phương pháp PaDiM và xử lý ảnh cho các sản phẩm chip khác trong nhà máy, đồng thời thử nghiệm với các loại linh kiện có đặc điểm khác biệt. Kế hoạch thực hiện trong vòng 6 tháng, phối hợp giữa phòng R&D và sản xuất.

Đối tượng nên tham khảo luận văn

1. Kỹ sư kiểm soát chất lượng trong ngành sản xuất bán dẫn:
   Học hỏi các phương pháp phát hiện lỗi ngoại quan tiên tiến, áp dụng vào quy trình kiểm tra sản phẩm nhằm nâng cao độ chính xác và giảm thiểu lỗi bỏ sót.

2. Nhà nghiên cứu và phát triển công nghệ học sâu và xử lý ảnh:
   Tham khảo mô hình PaDiM kết hợp ResNet18 và kỹ thuật xử lý ảnh truyền thống để phát triển các ứng dụng tương tự trong công nghiệp.

3. Quản lý sản xuất và vận hành nhà máy:
   Hiểu rõ về tầm quan trọng của hệ thống kiểm tra chất lượng tự động, từ đó đưa ra các quyết định đầu tư và cải tiến quy trình sản xuất hiệu quả.

4. Sinh viên và học viên ngành Điều khiển và Tự động hóa, Khoa học máy tính:
   Nắm bắt kiến thức thực tiễn về ứng dụng học sâu trong công nghiệp, từ đó phát triển kỹ năng nghiên cứu và ứng dụng công nghệ mới.

Câu hỏi thường gặp

1. Phương pháp PaDiM có ưu điểm gì so với các mô hình học sâu khác?
   PaDiM sử dụng học không giám sát, chỉ cần dữ liệu sản phẩm bình thường để huấn luyện, giúp phát hiện lỗi nhỏ và đa dạng mà không cần dữ liệu lỗi phong phú. Ví dụ, nó phát hiện được các vết bẩn mờ mà Auto Encoder thường bỏ sót.

2. Template Matching được sử dụng như thế nào trong nghiên cứu này?
   Template Matching giúp xác định vùng quan tâm (ROI) trên ảnh, căn chỉnh vị trí sản phẩm để mô hình CNN xử lý chính xác hơn. Ví dụ, nó giúp cắt đúng vùng linh kiện để phát hiện lệch hoặc mất linh kiện.

3. Làm thế nào để đánh giá hiệu quả mô hình phát hiện lỗi?
   Sử dụng các chỉ số accuracy, precision và recall trên tập dữ liệu kiểm định và kiểm tra. Ví dụ, precision cao cho thấy mô hình ít báo lỗi sai, recall cao giúp giảm bỏ sót sản phẩm lỗi.

4. Tiền xử lý ảnh ảnh hưởng thế nào đến kết quả nhận dạng?
   Tiền xử lý như Gamma Correction và Enhance Image giúp tăng độ tương phản và sắc nét, làm nổi bật các lỗi nhỏ trên bề mặt sản phẩm, từ đó cải thiện độ chính xác mô hình CNN.

5. Hệ thống phát hiện lỗi này có thể áp dụng cho các loại chip khác không?
   Có thể, với việc điều chỉnh template và huấn luyện lại mô hình trên dữ liệu tương ứng. Ví dụ, nghiên cứu đề xuất mở rộng ứng dụng cho các loại chip và linh kiện khác trong nhà máy.

Kết luận

• Nghiên cứu đã phát triển thành công ứng dụng kết hợp học sâu và xử lý ảnh để phát hiện lỗi ngoại quan trong sản xuất chip SoC, nâng cao độ chính xác phát hiện lỗi so với hệ thống hiện tại.
• Phương pháp Patch Distribution Modeling (PaDiM) kết hợp ResNet18 và Template Matching cho phép phát hiện hiệu quả các lỗi vết bẩn, trầy xước, lệch và mất linh kiện.
• Kết quả thử nghiệm trên dữ liệu thực tế cho thấy accuracy đạt trên 95%, precision và recall đều vượt mức 90%, đáp ứng yêu cầu sản xuất công nghiệp.
• Hệ thống cảnh báo tự động giúp người vận hành kịp thời xử lý lỗi, giảm thiểu thiệt hại và nâng cao chất lượng sản phẩm.
• Các bước tiếp theo bao gồm mở rộng dữ liệu huấn luyện, cải tiến giao diện người dùng và triển khai ứng dụng trên toàn dây chuyền sản xuất nhằm tối ưu hóa hiệu quả kiểm tra chất lượng.

Để nâng cao chất lượng sản phẩm và giảm thiểu lỗi trong sản xuất chip SoC, các nhà quản lý và kỹ sư kiểm soát chất lượng nên xem xét áp dụng các giải pháp học sâu và xử lý ảnh tiên tiến như nghiên cứu này. Việc đầu tư vào công nghệ kiểm tra tự động sẽ góp phần nâng cao năng lực cạnh tranh và uy tín của doanh nghiệp trên thị trường quốc tế.

Trích đoạn nội dung tài liệu

Chương 1 của luận văn trình bày tổng quan về đề tài, tình hình nghiên cứu trong và ngoài nước. Chương 2 trình bày các phương pháp, cơ sở lý thuyết và thuật toán sử dụng để phát hiện lỗi sản phẩm. 3 Luận văn tốt nghiệp Chương 3 trình bày các thí nghiệm, lý do và kết quả mong muốn đạt được. Chương 4 trình bày các kết quả thí nghiệm, các thông số đánh giá và nhận xét.

Chương 5 kết luận các kết quả đạt được, những vấn đề chưa được giải quyết và hướng phát triển. 4 Luận văn tốt nghiệp Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Đặc điểm các lỗi ngoại quan trong thường gặp trong sản xuất chip bán dẫn Trong các dây chuyền sản xuất chip bán dẫn, có rất nhiều lỗi ngoại quan có thể bắt gặp và được nhìn thấy dưới kính hiển vi (có độ phóng đại 30 lần trở lên) hoặc thậm chí bằng mắt thường. Trong đó có thể kể đến các lỗi điển hình như: mất linh kiện, linh kiện bị lệch, vỡ hoặc chất bẩn dính trên bề mặt linh kiện hoặc tấm nền (substrates). Có rất nhiều nguyên nhân dẫn đến các linh kiện gắn trên bề mặt chip gặp phải các vấn đề nêu trên có thể kể đến như: - Các sai số trong quá trình gắp và đặt các linh kiện dẫn tới việc linh kiện đó không được kết dính đầy đủ với kem hàn (solder paste) và sau khi qua quá trình nung (soldering) thì các linh kiện này bị lệch và không còn được kết nối chắc chắn với vùng đệm bằng đồng (copper pad) dẫn tới việc các kết nối giữa linh kiện tới bề mặt substrate bị yếu và có thể rơi ra ngoài trong các công đoạn tiếp theo.

Linh kiện đúng vị trí (bên trên) và linh kiện lệch vị trí (bên dưới) - Dưới tác động của các kết cấu cơ khí bị lỗi sau khi một quá trình dài vận hành, bề mặt substrates có thể bị trầy xước hoặc nứt. Tùy vào kích thước mà các vết nứt 5 Luận văn tốt nghiệp này có thể nhìn thấy bằng mắt thường và ảnh hưởng trực tiếp đến các công đoạn lắp ráp phía sau. Trong trường hợp vết nứt hoặc trầy xước nhỏ, khó nhìn thấy bằng mắt thường thì công đoạn kiểm tra ngoại quan bằng mắt thường có thể bỏ sót sản phẩm lỗi gây ra tiêu tốn thời gian và nguồn lực cho các công đoạn kiểm tra phía sau. Một đường nứt/trầy xuất hiện trên bề mặt sản phẩm - Môi trường vận hành bị nhiễm bẩn, máy móc trong quá trình sản xuất tạo ra các chất có thể dính lên bề mặt của sản phẩm.

Loại lỗi này có thể dễ dàng phát hiện được bằng mắt thường nhưng chúng cần được phát hiện sớm để các vết bẩn không bị dính lên các bộ phận cơ khí của các công đoạn phía sau. 6 Luận văn tốt nghiệp Hình 2. Một vết bẩn dính trên bề mặt sản phẩm Hầu hết các nhà máy sản xuất chip bán dẫn đều có rất nhiều công đoạn kiểm tra tự động bằng máy (automated optical inspection). Các công đoạn kiểm tra này giúp sớm phát hiện và loại bỏ những sản phẩm lỗi (có thể gây ra bởi quy trình hiện tại hoặc trước đó), tránh ảnh hưởng đến việc lắp ráp của các công đoạn tiếp theo.

Tuy nhiên, không phải bộ phận kiểm tra chất lượng nào của một quy trình (quality control) đều được tối ưu, đặc biệt là với các quy trình lớn, việc thay đổi và tối ưu chất lượng kiểm tra ngoại quan cần nhiều thời gian và công sức. Hơn nữa, nếu các lỗi liên quan không được phát hiện sớm để dừng quy trình thì sẽ gây ra hàng loạt sản phẩm bị thải bỏ gây ra thiệt hại lớn cho nhà máy sản xuất. Sơ đồ hệ thống trong một nhà máy lắp ráp sản xuất chip bán dẫn có thể được tóm gọn như hình bên dưới. Trong đó, phần kiểm tra bổ sung sẽ được thiết kế và vận hành ở cuối công đoạn lắp ráp trước khi đưa vào kiểm tra tính năng (test) vì các lỗi sản phẩm nếu có và chưa được phát hiện sẽ nằm ở công đoạn này, hơn nữa nếu để các sản phẩm lỗi đến công đoạn test, rất có thể chúng sẽ gây ra hư hại cho các bảng mạch test và gây ra thiệt hại lớn (các thiết bị test thường có giá thành đắt hơn rất nhiều so với các thiết bị lắp ráp).

7 Luận văn tốt nghiệp Hình 2. Quy trình lắp ráp và kiểm tra trong sản xuất chip bán dẫn Hệ thống kiểm tra ngoại quan và những ứng dụng, phần mềm đi kèm thường được thiết kế, đóng gói sẵn từ nhà sản xuất nên không thể chỉnh sửa, thay đổi từ phía người dùng. Với hệ thống hiện tại đang được đề cập, một số vùng trên sản phẩm nằm ngoài ROI của hệ thống chính nên hệ thống không có khả năng phát hiện các lỗi ở những khu vực này. Do đó, ứng dụng sẽ được xây dựng là một ứng dụng bổ sung, hỗ trợ cho hệ thống chính và sử dụng hình ảnh có sẵn từ hệ thống chính để xử lý như đã đề cập ở chương 1.2 Một số phương pháp xử lý ảnh phát hiện lỗi trong công nghiệp Hiện nay, việc áp dụng các phương pháp xử lý ảnh truyền thống để xử lý và phát hiện lỗi trong các dây chuyển sản xuất là rất phổ biến, trong đó có thể kể đến như: template matching, ROI, Deep Learning,.

Cụ thể với phương pháp template matching, người ta sẽ lựa chọn ra một hoặc một vài mẫu (template) cho mỗi loại linh kiện cần kiểm tra. Sau đó, các template này sẽ trượt trên hình cần kiểm tra và so sánh độ tương đồng. Phương pháp này thường được áp dụng để đếm số lượng linh kiện. 8 Luận văn tốt nghiệp Hình 2.

Phương pháp Template Matching trong bài toán đếm số lượng linh kiện Nhược điểm của Template Matching là số lượng template sẽ tăng theo số loại linh kiện và do đó thời gian xử lý sẽ tăng lên. Phương pháp này chỉ thích hợp cho bài toán phát hiện linh kiện bị mất hoặc kiểm tra trùng khớp các đặc trưng của sản phẩm (ví dụ như chuỗi ký tự)[8]. Với phương pháp sử dụng ROI, người ta sẽ định nghĩa các ROI ở những vùng cần phát hiện lỗi, sau đó bằng các phương pháp xử lý lọc nhiễu và phân ngưỡng (thresholding), ta xác định được kích thước tương đối của vật thể. Các thông số này sau đó được lưu lại như là công thức (recipe) để sử dụng cho hình thật.

Một nhước điểm của phương pháp này là nhạy cảm với nhiễu và độ sáng. Trong trường hợp độ sáng tăng hoặc giảm (vấn đề xảy ra khi máy vận hành trong thời gian dài), thì các thông số threshold cần phải được điều chỉnh cho phù hợp. Hơn nữa các lỗi không phải lúc nào cũng có mức threshold rõ ràng so với thông số được định nghĩa trước và do đó việc phát hiện các lỗi này là rất khó khăn. 9 Luận văn tốt nghiệp Hình 2.

Một vết bẩn nhỏ và mờ trên bề mặt sản phẩm Ở phương pháp sử dụng các mô hình học sâu, phổ biến hiện nay là các mô hình YOLO và các họ RCNN sử dụng các mẫu sản phẩm bị lỗi để huấn luyện mô hình. Tuy nhiên, phương pháp này gặp phải một vấn đề khó khăn là các lỗi sản phẩm thường chiếm tỉ lệ rất ít và chúng cũng không cố định một loại, do đó rất khó để có thể thu thập đủ dữ liệu phục vụ cho việc huấn luyện. Hiện nay, xu hướng sử dụng mạng CNN (Convolutional Neural Network) để trích xuất đặc trưng và sau đó sự dụng các phép toán trong thống kê để tổng hợp và phân tích bộ dữ liệu, phương pháp này có ưu điểm là chỉ cần huấn luyện trên tập dữ liệu sản phẩm bình thường không bị lỗi và cũng không cần quá nhiều tài nguyên phục vụ cho việc huấn luyện. Do đó, nó đang dần trở thành xu hướng được áp dụng trong công nghiệp.

Một đặc điểm quan trong trọng bài toán này là các hình ảnh được tạo ra có độ phân giải cao, tuy nhiên để áp dụng mô hình Deep Learning, ta thường phải giảm kích thước của ảnh cho phù hợp với đầu vào của một mạng CNN nào đó. Do đó, các linh kiện trở nên rất nhỏ và khó phát hiện được trong trường hợp bị lệch. Vì vậy, ta sẽ kết hợp hai phương pháp để có thể giải quyết được bài toán trên. Cụ thể như sau: - Đối với bài toán phát hiện vết bẩn, trầy xước: sử dụng mô hình phân phối các đặc trưng sẽ đề cập ở mục 4.

10 Luận văn tốt nghiệp - Đối với bài toán phát hiện linh kiện bị lệch hoặc mất: sử dụng phương pháp xử lý ảnh truyền thống (Template Matching, ROI,.3 Phương pháp Template Matching Template Matching là một kỹ thuật thị giác máy được sử dụng để tìm kiếm vật thể trong ảnh đầu vào dựa trên ảnh mẫu có sẵn. Ứng dụng nâng cao hơn của Template Matching là tìm kiếm các vật thể có trong ảnh ở nhiều vị trí, kích thước và hướng khác nhau. Thuật toán ứng dụng trong Template Matching được mô tả như sau: - Trượt ảnh mẫu trên ảnh đầu vào - Ảnh mẫu sẽ được dùng để đánh giá độ tương đồng so với cửa sổ trượt bằng các công thức tính độ tương đồng (similarity). Một trong những biểu thức tính độ tương đồng được sử dụng trong thư viện openCV là: Trong đó: • I là hình ảnh đầu vào • T là ảnh mẫu có kích thước là 𝑤 × ℎ • R là thông số độ tương đồng Một trong những nguyên nhân khiến nhiều mô hình học sâu hoạt động chưa hiệu quả là do hình ảnh chưa được xử lý trước khi đưa vào huấn luyện.

Vấn đề tương tự gặp phải khi sử dụng hình ảnh sản phẩm chip đầu vào chưa được căn chỉnh ở vị trí giữa như hình 2. Vì vị trí của sản phẩm trong hình nằm lệch nhưng không cố định nên không thể áp 11 Luận văn tốt nghiệp dụng phương pháp cắt ảnh theo một thông số cố định, giải pháp cần sử dụng ở đây là Template Matching. Hình ảnh thô ban đầu chưa được căn chỉnh Vì mục tiêu của bài toán chỉ quan tâm đến những lỗi xuất hiện trên bề mặt sản phẩm mà không cần xử lý những vùng khác trong ảnh, do đó Template Matching được sử dụng để tách vùng quan tâm (ROI) ra khỏi ảnh gốc. Từ trái qua phải, ảnh gốc đầu vào và ảnh mẫu (template) 12 Luận văn tốt nghiệp 2.