Detection of Missing Components on Circuit Board Using Image Processing

Luận văn nhận diện linh kiện thiếu trên bo mạch dùng YOLOv11 tại Trường ĐH SPKT TP.HCM

• Tác giả: Trà Minh Nguyên
• Người hướng dẫn: TS. Tạ Văn Phương
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Điều khiển tự động
• Đề tài: Detection of Missing Components on Circuit Board Using Image Processing
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan nhận diện linh kiện thiếu trên mạch in dùng YOLOv11

Công nghệ sản xuất điện tử hiện đại đòi hỏi quy trình kiểm định bo mạch nghiêm ngặt. Kiểm tra quang học tự động (AOI) đóng vai trò then chốt trong dây chuyền lắp ráp linh kiện bề mặt. Tại Đại học Sư phạm Kỹ thuật TP.HCM, đề tài nhận diện linh kiện thiếu trên mạch in dùng YOLOv11 giải quyết bài toán kiểm tra chất lượng mạch rơ le bán dẫn (SSR). Mô hình YOLOv11 đại diện cho bước tiến mới nhất trong kiến trúc thị giác máy tính. Thuật toán tích hợp cơ chế phân đoạn cá thể (instance segmentation) nhằm xác định chính xác vị trí và hình dạng từng chi tiết. Khác với các phương pháp xử lý ảnh truyền thống, mô hình học sâu có khả năng nhận biết đặc trưng phức tạp. Hệ thống xử lý ảnh quang học thu thập từ camera công nghiệp độ phân giải cao. Quá trình kiểm tra diễn ra tự động hoàn toàn. Tốc độ suy luận đạt mức thời gian thực. Độ tin cậy của thuật toán giúp giảm thiểu sai sót so với kiểm tra thủ công. Nghiên cứu mở ra hướng ứng dụng thiết thực cho công nghiệp vi điện tử trong nước.

1.1. Bối cảnh nghiên cứu kiểm định mạch in tại ĐH SPKT TP.HCM

Khoa Đào tạo Quốc tế và Bộ môn Điều khiển Tự động tại ĐH SPKT TP.HCM luôn chú trọng nghiên cứu ứng dụng thực tiễn. Đề tài tốt nghiệp tập trung vào việc số hóa quy trình kiểm tra lỗi bo mạch rơ le bán dẫn. Trước đây, nhiều doanh nghiệp phụ thuộc vào nhân công để kiểm tra linh kiện thủ công. Phương pháp truyền thống này tốn kém thời gian và dễ phát sinh sai sót do mắt người mỏi mệt. Nhu cầu tự động hóa đòi hỏi một hệ thống thị giác thông minh có chi phí hợp lý. Nghiên cứu kết hợp phần cứng công nghiệp và thuật toán học máy hiện đại. Kết quả mang lại giải pháp kiểm soát chất lượng linh hoạt cho các phòng thí nghiệm và nhà xưởng.

1.2. Vai trò đột phá của kiến trúc YOLOv11 trong bài toán AOI

YOLOv11 là bước nhảy vọt so với các thế hệ YOLO tiền nhiệm trong phân khúc thị giác thời gian thực. Cấu trúc mạng cải tiến khối C3k2 và tích hợp cơ chế C2PSA tăng cường trích xuất đặc trưng không gian. Khả năng phân đoạn đối tượng cho phép mô hình tạo đa giác bao quanh viền linh kiện một cách chuẩn xác. Điều này vượt trội hơn khung chữ nhật truyền thống khi linh kiện nằm nghiêng hoặc sát nhau. Hệ thống không chỉ phát hiện sự tồn tại mà còn phân định rõ ranh giới hình học. Độ trễ suy luận thấp giúp thiết bị xử lý khung hình liên tục mà không gián đoạn dây chuyền. Sự kết hợp giữa tốc độ và độ chính xác biến YOLOv11 thành lựa chọn tối ưu cho hệ thống kiểm định.

II. Thách thức nhận diện linh kiện thiếu trên mạch in hiện nay

Quá trình phát hiện lỗi mạch in đối mặt với nhiều rào cản kỹ thuật nghiêm trọng. Kích thước linh kiện dán bề mặt ngày càng thu nhỏ khiến việc quan sát bằng mắt thường gặp khó khăn. Bề mặt bo mạch kim loại phản xạ ánh sáng mạnh. Điều này tạo ra các điểm lóa sáng bất thường trên ảnh chụp. Hiện tượng đổ bóng từ các linh kiện cao tầng che khuất chân hàn xung quanh. Ngoài ra, việc thu thập dữ liệu bo mạch lỗi trong thực tế rất tốn kém thời gian và chi phí. Số lượng sản phẩm hỏng trong quy trình sản xuất chuẩn thường chiếm tỷ lệ rất thấp. Sự khan hiếm mẫu lỗi tạo ra độ lệch dữ liệu lớn giữa thực tế và mô hình huấn luyện. Hiện tượng dịch chuyển phân phối (distribution shift) làm giảm hiệu suất nhận diện khi môi trường chiếu sáng thay đổi. Nếu thuật toán không đủ mạnh mẽ, hệ thống dễ đưa ra nhận định sai lầm. Hậu quả là tỷ lệ cảnh báo giả tăng cao hoặc bỏ sót linh kiện thiếu.

2.1. Rào cản quang học và phân bố ánh sáng trên bề mặt mạch

Vật liệu chế tạo bảng mạch in thường gồm đồng, thiếc và lớp phủ bóng epoxy. Khi ánh sáng rọi trực tiếp, các mối hàn tạo phản xạ gương gây chói lóa cục bộ. Chi tiết ranh giới linh kiện bị mờ nhạt hoặc biến dạng trên cảm biến camera. Hiện tượng bóng đổ giữa các khối tụ điện và rơ le gây nhiễu vùng nhận dạng. Camera thông thường không thể tự cân bằng độ sáng đồng đều trên toàn bộ diện tích kiểm tra. Nếu nguồn sáng bên ngoài dao động, giá trị pixel của linh kiện sẽ thay đổi bất thường. Điều này dẫn đến sự mất ổn định trong quá trình trích xuất đặc trưng của mạng nơ-ron.

2.2. Vấn đề mất cân bằng dữ liệu và độ lệch phân phối mẫu

Quy trình sản xuất công nghiệp luôn hướng tới tỷ lệ sản phẩm chuẩn mực tối đa. Do đó, hình ảnh các bo mạch thiếu linh kiện rất hiếm khi xuất hiện tự nhiên. Việc thiếu hụt dữ liệu lỗi gây ra hiện tượng mất cân bằng lớp trầm trọng trong tập dữ liệu huấn luyện. Hơn nữa, việc gán nhãn thủ công đòi hỏi nhân lực có chuyên môn kỹ thuật điện tử cao. Quá trình khoanh vùng đa giác cho từng chân linh kiện tiêu tốn nhiều giờ làm việc. Hiện tượng dịch chuyển phân phối giữa ảnh chụp tại phòng thí nghiệm và nhà xưởng thực tế làm giảm độ chính xác. Thuật toán dễ học vẹt các mẫu bo mạch bình thường nhưng bỏ sót linh kiện thiếu.

III. Giải pháp nhận diện linh kiện thiếu trên mạch in với YOLOv11

Nhóm nghiên cứu tại ĐH SPKT TP.HCM xây dựng hệ thống kiểm tra quang học toàn diện. Phần cứng bao gồm camera công nghiệp Basler giao tiếp GigE, ống kính chuyên dụng và vòm đèn Dome Light. Đèn vòm tạo ra nguồn sáng khuếch tán đồng nhất, loại bỏ triệt để phản xạ lóa trên mối hàn. Bộ dữ liệu hình ảnh được thu thập và gán nhãn đa giác thông minh trên nền tảng Roboflow. Kỹ thuật tăng cường dữ liệu (data augmentation) được áp dụng để xoay, cắt và thay đổi độ sáng nhân tạo. Giải pháp này giúp mở rộng phân phối dữ liệu, giải quyết tình trạng thiếu hụt mẫu mạch lỗi. Mô hình YOLOv11-seg được huấn luyện nhằm học các đặc trưng hình học sắc nét của từng linh kiện SSR. Phần mềm phát triển bằng ngôn ngữ Python, kết nối camera Basler thông qua thư viện pypylon. Giao diện trực quan cho phép người vận hành xem video trực tiếp và kích hoạt kiểm tra tự động. Thời gian phản hồi tức thì giúp phân loại bo mạch nhanh chóng.

3.1. Thiết kế hệ thống quang học Basler và nguồn sáng vòm

Hệ thống phần cứng sử dụng camera công nghiệp Basler gắn kết nối GigE tốc độ cao. Cổng giao tiếp Ethernet truyền tải khung hình nguyên bản không nén về máy tính mà không gây trễ. Cảm biến kết hợp ống kính tiêu cự cố định giúp hình ảnh sắc nét đến từng chân hàn vi mô. Nguồn sáng vòm Dome Light bao phủ bo mạch bằng luồng sáng đa hướng êm dịu. Ánh sáng tán xạ xóa bỏ hoàn toàn hiện tượng bóng tối và vệt lóa kim loại trên bề mặt rơ le. Cấu hình quang học tối ưu cung cấp dữ liệu đầu vào ổn định và chất lượng cao. Điều này tạo điều kiện tốt nhất cho thuật toán nhận dạng hoạt động chính xác.

3.2. Quy trình gán nhãn đa giác và huấn luyện mô hình YOLOv11

Dữ liệu ảnh bo mạch SSR được tiền xử lý và gán nhãn dạng đa giác (polygon) trên Roboflow. Định dạng phân đoạn YOLO ghi nhận tọa độ viền chính xác của từng linh kiện riêng biệt. Quá trình huấn luyện áp dụng các phép biến đổi hình học và biến thiên độ sáng ngẫu nhiên. Nhờ vậy, mô hình duy trì khả năng nhận dạng mạnh mẽ trước sự thay đổi của môi trường. Mạng YOLOv11 tối ưu hóa các hàm mất mát phân đoạn Mask Loss và định vị Box Loss. Cấu trúc C2PSA giúp mô hình tập trung chú ý vào các chi tiết then chốt trên bảng mạch. Kết quả đạt chỉ số mAP cao trên tập kiểm thử độc lập.

IV. Hiệu quả nhận diện linh kiện thiếu trên mạch in bằng YOLOv11

Kết quả thử nghiệm thực tế khẳng định tính khả thi và hiệu năng vượt trội của hệ thống. Đề tài tại ĐH SPKT TP.HCM đạt độ chính xác cao trong việc phát hiện linh kiện rơ le bán dẫn bị thiếu. Chỉ số mAP50 và F1-score đạt ngưỡng tin cậy tuyệt đối cho ứng dụng công nghiệp. Thư viện pypylon điều khiển luồng hình ảnh mượt mà, không xảy ra hiện tượng rớt khung hình. Giao diện Python hiển thị trực quan thông tin phân loại đạt chuẩn hay lỗi ngay trên màn hình. Hệ thống giúp giảm bớt áp lực giám sát thủ công cho công nhân sản xuất. Doanh nghiệp có thể tiết kiệm đáng kể chi phí vận hành và giảm thiểu tỷ lệ lỗi sản phẩm lọt ra thị trường. Giải pháp mở ra tiềm năng lớn để tích hợp vào các cánh tay robot phân loại hoặc băng chuyền tự động. Đây là minh chứng cụ thể cho ứng dụng trí tuệ nhân tạo vào sản xuất công nghiệp 4.0.

4.1. Đánh giá độ chính xác mAP và thời gian suy luận thực tế

Các số liệu thực nghiệm chứng minh mô hình YOLOv11 đạt độ chính xác phát hiện vượt trội trên tập dữ liệu bo mạch SSR. Giá trị mAP@0.5 đạt mức xấp xỉ tuyệt đối, thể hiện khả năng phân định ranh giới linh kiện chuẩn xác. Thời gian xử lý mỗi khung hình chỉ mất vài chục mili-giây trên máy tính thí nghiệm. Tốc độ này đáp ứng hoàn hảo yêu cầu kiểm tra tức thì trên dây chuyền sản xuất hàng loạt. Ma trận nhầm lẫn (confusion matrix) cho thấy tỷ lệ phân loại sai giữa các linh kiện rất thấp. Sự ổn định của mô hình chứng minh năng lực vượt trội của thuật toán phân đoạn cá thể.

4.2. Khả năng mở rộng vào dây chuyền sản xuất công nghiệp

Kiến trúc hệ thống mang tính mở cao, dễ dàng tùy biến cho nhiều chủng loại bo mạch điện tử khác nhau. Người vận hành chỉ cần bổ sung tập dữ liệu ảnh của sản phẩm mới vào quy trình tái huấn luyện mô hình. Giao thức GigE công nghiệp của camera Basler cho phép truyền tín hiệu ổn định ở khoảng cách xa mà vẫn duy trì băng thông lớn. Hệ thống sẵn sàng kết nối trực tiếp với bộ điều khiển lập trình PLC nhằm kích hoạt cơ cấu gạt bỏ sản phẩm lỗi trên băng tải tự động. Nghiên cứu khẳng định giá trị thực tiễn to lớn của sinh viên ĐH SPKT TP.HCM, góp phần nâng cao năng suất sản xuất linh kiện thông minh.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION  GRADUATION THESIS Topic: DETECTION OF MISSING COMPONENTS ON CIRCUIT BOARD USING IMAGE PROCESSING Advisor : PhD. Ta Van Phuong Student’s name : Tra Minh Nguyen Student ID : 18151023 Ho Chi Minh, July, 2025 TABLE OF CONTENT DISCLAIMER .iv TABLE OF CONTENT. v TABLE OF FIGURE .vii LIST OF TABLEs. Aim of study.

Object and range of study. Structure of study. 2 Chapter 2 : THEORETICAL BASIS. Overview of Instance Segmentation by YOLOv11.

Features of YOLOv11. Yolov11 Performance Analysis and Implementation. Material and methods. Instance Segmentation Fundamentals.

Overview of Python Programming Language. Features of Python. 31 Chapter 3 : SYSTEM DESIGN. 34 Department of Automatic Control v 3.

Connected Wiring Diagram. List of devices. Graphical User Interface. 43 Chapter 4 : EXPERIMENT RESULT AND EVALUATION.

54 Chapter 5 : CONCLUSION AND FUTURE WORKS. 57 Department of Automatic Control vi TABLE OF FIGURE Figure 1 : Comparison in YOLO evolution. 4 Figure 2 : Supported tasks. 5 Figure 3 : YOLOv11 Architecture.

7 Figure 4 : Convolutional Block. 8 Figure 5 : SiLU Activation function. 9 Figure 6 : BottleNeck layer. 10 Figure 7 : C3K2 and C3K Blocks.

11 Figure 8 : Spatial Pyramid Pooling Fast. 12 Figure 9 : C2 Position Sensitive Attention Block. 13 Figure 10 : Detection Block. 14 Figure 11 : Research implementation.

15 Figure 12 : Image Collection. 16 Figure 13 : Resize image. 17 Figure 14 : Format of YOLO Segmentation. 18 Figure 15 : Smart Polygon on Roboflow.

19 Figure 16 : Polygon Annotation. 19 Figure 17 : Example of YOLO segmentation format. 20 Figure 18 : Value of data augmentation for distribution overlap. 22 Figure 19 : Example of how to apply some types augmentation.

23 Figure 20 : Brightness augmentation. 24 Figure 21 : IoU calculation. 25 Figure 22 : Precision, Recall, mAP@IoU:0.5 and mAP@IoU:0. 28 Figure 23 : Confusion matrix.

28 Figure 24 : Python programming language. 30 Figure 25 : Features of Python. 31 Figure 26 : Block diagram. 35 Figure 27 : Wiring Diagram.

36 Figure 28 : Basler camera. 37 Figure 29 : Camera Connector. 38 Department of Automatic Control vii Figure 31 : Dome Light. 41 Figure 34 : Connect Camera to Laptop.

43 Figure 36 : Model System. 53 Department of Automatic Control viii LIST OF TABLES Table 1. List of pre-trained model weights. List of parameters model variant.

List of class labels. Specification of camera. Specification of Lens. Specification of Dome Light.

Specification of Laptop. 40 Department of Automatic Control ix ABSTRACT This study presents the development of a vision-based system for detecting missing components on circuit boards, specifically targeting solid state relay (SSR) boards. The proposed solution leverages deep learning for computer vision, utilizing the YOLOv11 architecture with an instance segmentation approach to accurately identify and localize components such as resistors, relays, and screws. The model was trained on a dataset of approximately 3,000 annotated images, enabling it to learn diverse appearances and positions of the components.

For efficient inference, the system runs on a GPU-equipped laptop, allowing real- time processing and deployment flexibility. Experimental results show that the model achieves an accuracy of around 95%, demonstrating its effectiveness in detecting missing or misplaced components on SSR (Solid State Relay) boards. This approach enhances inspection reliability, reduces human error, and contributes to automation in quality control processes for electronics manufacturing. Department of Automatic Control x INTRODUCTION CHAPTER 1 : INTRODUCTION 1.

Problem statement The manufacturing of circuit boards is a complex process integral to modern electronics. A critical defect that frequently arises during assembly, particularly in Surface Mount Technology (SMT) lines, is the absence of required electronic components. These “missing component” can result from various issues, including errors in the pick and place machine operation, component feeding problems, or incorrect programming. The consequence of even a single missing component can be severe, ranging from circuit malfunction to complete device failure, leading to costly rework, product recalls, and damage to brand reputation.

Traditional manual inspection methods are often inadequate for high-volume production due to their slow speed, high labor costs, and susceptibility to human error and fatigue. While Automated Optical Inspection (AOI) systems exist, they can face challenges in accurately and reliably identifying missing components amidst variations in board layouts, component sizes, lighting conditions, and distinguishing between intentionally vacant pads and actual component absences. Therefore, there is a significant need for accurate, and efficient automated detection systems specially designed to overcome these challenges and ensure the integrity of assembled circuit boards by reliably identifying all missing components. Aim of study In this topic, I would like to build an automated system to detect the missing component on circuit boards then inspect defective products in the production process by checking position absence of components on circuit boards, thereby improving product quality.

Furthermore, I can apply the knowledge of deep learning for computer vision and image processing algorithms that have been imparted during the learning process into a practical model, thereby creating a solid knowledge base and foundation to be able to develop the above product and apply it practically in the industrial environment. Object and range of study Due to limitations in time, investment and other objective reasons, this project only stops at researching and testing the design model with the provided technical requirements:  Build a system for detecting missing screws; relays; resistors on Solid State Relay boards using YOLO model segmentation  Present detection accuracy: 95%  Missing detection accuracy: 95%  Recognize each product in 11 to 60ms Department of Automatic Control 1 INTRODUCTION 1. Research methods  The selection of system components is calculated to ensure compatibility with both hardware and software.  Training model using Python programming language by Google Colab cloud.

 Applying deep learning model for computer vision using Python programming language by Visual Studio Code software.  Create Graphical User Interface (GUI) by QT Designer software.  Testing and checking the designed model. Structure of study Chapter 1.

Theoretical Basis Chapter 3. System Configuration Chapter 4. Experiment and Evaluation Chapter 5. Conclusion and Future Work Department of Automatic Control 2 THEORETICAL BASIS CHAPTER 2 : THEORETICAL BASIS 2.

Overview of Instance Segmentation by YOLOv11 2. Introduction Computer vision, a field that is advancing rapidly, allows machines to interpret and comprehend visual data. A vital component of this area is object detection, which entails the accurate identification and localization of objects within images or video streams. In recent years, there has been significant progress in algorithmic strategies to tackle this challenge.

A key advancement in object detection was marked by the introduction of the You Only Look Once (YOLO) algorithm by Redmon et al. This groundbreaking method, as indicated by its name, analyzes the entire image in a single pass to identify objects and their locations. YOLO’s approach differs from conventional two-stage detection methods by framing object detection as a regression problem. It utilizes a single convolutional neural network to concurrently predict bounding boxes and class probabilities throughout the entire image, thereby simplifying the detection process compared to more intricate traditional techniques.

YOLOv11 is one of the latest iterations of YOLO series developed by Ultralystics, building upon the base of predecessors, especially YOLOv8. Introduced at the YOLO Vision 2024 (YV24) conference, YOLOv11 signifies a substantial advancement in real-time object detection technology. This new version gets significant improvements in both architecture and training methods, extending the limits of accuracy, speed, and efficiency. The innovative design of YOLOv11 integrates advanced feature extraction techniques, enabling the capture of more nuanced details while keeping the parameter count low.

This leads to enhanced accuracy across a wide array of computer vision (CV) tasks, ranging from object detection to classification. Additionally, YOLOv11 realizes impressive improvements in processing speed, greatly boosting real-time performance capabilities. Features of YOLOv11 A number of enhancements that set apart YOLOv11 from its predecessors and enhance its overall functionality are introduced: High Accuracy and Efficiency: YOLOv11 has improved its object-detection accuracy significantly. Its mean average precision, or mAP, is higher, especially when dealing with smaller objects and more complex positions.

This improvement ensures that the model can recognize objects more precisely, Department of Automatic Control 3 THEORETICAL BASIS especially in difficult environments, making it more reliable for a range of applications. Detection in Real Time: YOLOv11's exceptional real-time object recognition capabilities make it appropriate for low-latency situations. For applications like robotics, self-driving cars, and security cameras where judgments based on visual data must be made quickly, this real-time capacity is crucial. YOLOv11 ensures the detection process happens almost instantly, even for high-resolution images.

Low Model Sizes: One of YOLOv11's main features is its ability to deliver outstanding performance at smaller model sizes. The design is optimized to reduce the model's footprint, which facilitates deployment on low-resource devices such as mobile phones, embedded systems, and edge devices. Despite its smaller size, YOLOv11 is nevertheless precise and effective, offering a comprehensive solution for a range of hardware configurations. Better Object Class Handling: Complex object categories are handled more easily with YOLOv11.

In particular, it has proven to be more accurate at recognizing small or overlapping objects, which can be challenging for previous generations to detect. Because of this enhancement, YOLOv11 functions better in contexts with dense or complicated items, such as crowded public spaces or industrial settings. Figure 1 : Comparison in YOLO evolution With multiple model variations and support for a wide range of jobs, YOLOv11 is more adaptable than the earlier models and a better option for many applications. It also relieves the strain from users to train various models for many tasks.

Department of Automatic Control 4 THEORETICAL BASIS Figure 2 : Supported tasks In this project, I have decided to choose Instance Segmentation method in order to process problems. There are many model variants that pretrained models to cater different demands: YOLOv11 (Nano): Suitable for edge devices with little computing power, YOLOv11n (Nano) is the smallest and fastest version. YOLOv11s (Small) is a moderate processing resource choice for real-time applications like video surveillance and retail analytics. YOLOv11m (Medium): Often utilized in autonomous driving and medical imaging, this device is appropriate for more complicated tasks requiring higher accuracy at the cost of increased processing needs.

YOLOv11l (Large): An even more accurate model designed for applications that demand accuracy, like security surveillance and industrial automation. YOLOv11x (Extra Large): The biggest and most precise version, usually utilized in study and development, is made for high-performance systems with limitless processing power. Model Size mAPbox mAPmask Speed Params Flops variants (pixels) 50-95 50-95 T4 TensorRT10 (M) (B) (ms) Nano 640 38.3 Department of Automatic Control 5 THEORETICAL BASIS Large 640 53. List of pre-trained model weights Thus, YOLOv11 (Nano) is appropriate for project because it can decrease processing time when loading model.

YOLOv11 Architecture By presenting a unified neural network architecture that can continuously perform bounding box regression and object classification tasks, the YOLO system transformed object detection. With its fully differentiable design, this integrated methodology provided end-to-end training capabilities, marking a considerable departure from conventional two-stage detection methods. The Cross-Stage Partial with Self Attention (C2PSA) module, which combines the advantages of cross-stage partial networks with self-attention mechanisms, is one of the main enhancements in YOLO11. This improves item detection accuracy, particularly for tiny and complex objects, by allowing the model to more efficiently capture contextual information across several layers.

Furthermore, C3k2, a customized implementation of the CSP Bottleneck that employs two convolutions as opposed to YOLOv8's use of a single massive convolution, has taken the role of the C2f block in YOLO11. By using a smaller kernel, this block increases speed and efficiency without decreasing accuracy.