Thiết Kế và Chế Tạo Bàn Thao Tác Đánh Giá Mối Hàn Hồ Quang Tay Ứng Dụng Trong Đào Tạo Hàn

Đồ án kỹ thuật nghiên cứu tốt nghiệp công nghệ kỹ thuật cơ điện tử design and fabrication of a visual inspection workstation, thiết kế chi tiết, tính toán kỹ thuật theo tiêu

• Tác giả: Tống Huỳnh Tánh
• Người hướng dẫn: ThS. Trần Ngọc Thiện
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Machine Manufacturing Technology
• Đề tài: Thiết Kế, Chế Tạo Bàn Thao Tác Đánh Giá Ngoại Quan Mối Hàn Hồ Quang Tay Ứng Dụng Trong Đào Tạo Hàn
• Loại tài liệu: Graduation Thesis
• Năm xuất bản: 2023-2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• MỤC LỤC
• DANH MỤC BẢNG
• DANH MỤC HÌNH
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: THESIS BACKGROUND
• 1.1. Related works
• 1.2. Scientific and practical significances
• 1.3. Objectives
• 1.4. Research methods
• 1.5. Scope of the study
• 1.6. Structure of the report
• 2. CHƯƠNG 2: THEORETICAL BASIS
• 2.1. Theoretical basis of manual metal arc welding (MMAW)
• 2.1.1. MMAW process
• 2.1.2. MMAW parameters
• 2.2. Artificial intelligence (AI) and related terms
• 2.2.1. Artificial intelligence, machine learning (ML) and deep learning (DL)
• 2.2.2. Computer vision and Convolution Neural Network (CNN)
• 2.2.3. Image Classification and Vision Transformer (ViT)
• 2.2.4. Object Detection and YOLOv8
• 2.2.5. Retrieval augmented generation (RAG) in large language models (LLMs)
• 2.2.6. Data transmission and processing via cloud server
• 2.2.6.1. Data transmission method
• 2.2.6.2. Google Cloud run
• 3. CHƯƠNG 3: DESIGN MECHANICAL SYSTEM
• 3.1. Mechanical Design Process
• 3.2. Weld placement block
• 3.3. Mechanical system summary
• 4. CHƯƠNG 4: DESIGN ELECTRONICS-CONTROL SYSTEM
• 4.1. System electrical requirements
• 4.2. Electrical System Connection Diagram
• 4.3. The selection of devices
• 5. CHƯƠNG 5: DESIGN AI SYSTEM
• 5.1. Criteria for evaluating weld quality
• 5.2. Weld quality classification
• 5.3. Weld defects detection
• 5.4. AI process overview
• 5.5. Developing weld quality classification model
• 5.6. Model evaluation metric
• 5.7. Developing weld defect detection model
• 5.8. Model Evaluation Metrics
• 5.9. Developing weld feedback generating model
• 5.10. Developing data transmission and processing feature
• 5.11. Developing graphical user interface
• 5.12. Overall System Result
• 6. CHƯƠNG 6: CONCLUSION AND RECOMMENDATION

Tóm tắt

I. Tổng Quan Về Thiết Kế Bàn Thao Tác Đánh Giá Mối Hàn Hồ Quang Tay

Thiết kế bàn thao tác đánh giá mối hàn hồ quang tay là một phần quan trọng trong đào tạo hàn. Mục tiêu chính của thiết kế này là tạo ra một môi trường học tập hiệu quả, giúp sinh viên nắm vững kỹ thuật hàn và cải thiện chất lượng mối hàn. Việc áp dụng công nghệ hiện đại vào thiết kế bàn thao tác không chỉ nâng cao chất lượng đào tạo mà còn giúp sinh viên tự tin hơn trong việc thực hành.

1.1. Lợi Ích Của Thiết Kế Bàn Thao Tác Trong Đào Tạo Hàn

Thiết kế bàn thao tác giúp sinh viên dễ dàng quan sát và đánh giá mối hàn. Nó cung cấp một không gian làm việc an toàn và hiệu quả, từ đó nâng cao khả năng thực hành và giảm thiểu lỗi trong quá trình hàn.

1.2. Các Yêu Cầu Kỹ Thuật Của Bàn Thao Tác

Bàn thao tác cần được thiết kế với các tiêu chí như độ bền, tính năng dễ sử dụng và khả năng điều chỉnh linh hoạt. Các thiết bị hàn như hàn TIG, MIG cũng cần được tích hợp để phục vụ cho việc đào tạo đa dạng.

II. Vấn Đề Trong Đánh Giá Mối Hàn Hồ Quang Tay

Đánh giá mối hàn hồ quang tay thường gặp nhiều thách thức, đặc biệt là trong việc đảm bảo tính chính xác và khách quan. Các phương pháp đánh giá truyền thống thường dựa vào cảm nhận của giảng viên, dẫn đến sự không đồng nhất trong kết quả. Điều này ảnh hưởng đến quá trình học tập của sinh viên.

2.1. Những Thách Thức Trong Đánh Giá Chất Lượng Mối Hàn

Sự chủ quan trong đánh giá có thể dẫn đến việc sinh viên không nhận được phản hồi chính xác về kỹ năng của mình. Điều này làm giảm hiệu quả của quá trình đào tạo và gây khó khăn trong việc cải thiện kỹ thuật hàn.

2.2. Tác Động Của Đánh Giá Không Chính Xác Đến Sinh Viên

Khi sinh viên không nhận được phản hồi đúng đắn, họ có thể tiếp tục mắc phải những lỗi tương tự. Điều này không chỉ ảnh hưởng đến kỹ năng hàn mà còn làm giảm sự tự tin của họ trong thực hành.

III. Phương Pháp Thiết Kế Bàn Thao Tác Đánh Giá Mối Hàn

Phương pháp thiết kế bàn thao tác đánh giá mối hàn hồ quang tay bao gồm việc áp dụng công nghệ hiện đại và các tiêu chuẩn kỹ thuật. Việc sử dụng trí tuệ nhân tạo (AI) trong đánh giá mối hàn giúp nâng cao độ chính xác và tính khách quan.

3.1. Ứng Dụng AI Trong Đánh Giá Mối Hàn

AI có khả năng phân tích hình ảnh mối hàn và phát hiện các lỗi một cách nhanh chóng và chính xác. Điều này giúp sinh viên nhận được phản hồi ngay lập tức và cải thiện kỹ năng của mình.

3.2. Thiết Kế Giao Diện Thao Tác Dễ Sử Dụng

Giao diện thao tác cần được thiết kế thân thiện với người dùng, giúp sinh viên dễ dàng tương tác và nhận thông tin về chất lượng mối hàn. Điều này sẽ tạo điều kiện thuận lợi cho việc học tập và thực hành.

IV. Ứng Dụng Thực Tiễn Của Bàn Thao Tác Đánh Giá Mối Hàn

Bàn thao tác đánh giá mối hàn hồ quang tay không chỉ có giá trị trong môi trường học tập mà còn có thể được áp dụng trong các xưởng sản xuất. Việc sử dụng bàn thao tác giúp nâng cao chất lượng sản phẩm và giảm thiểu lỗi trong quá trình sản xuất.

4.1. Tăng Cường Chất Lượng Đào Tạo Hàn

Bàn thao tác giúp sinh viên thực hành nhiều hơn và nhận được phản hồi chính xác, từ đó nâng cao chất lượng đào tạo hàn. Điều này cũng giúp sinh viên tự tin hơn khi ra trường.

4.2. Ứng Dụng Trong Ngành Công Nghiệp

Bàn thao tác có thể được sử dụng trong các nhà máy sản xuất để kiểm tra chất lượng mối hàn. Việc áp dụng công nghệ hiện đại giúp nâng cao hiệu quả sản xuất và giảm thiểu lỗi.

V. Kết Luận Về Thiết Kế Bàn Thao Tác Đánh Giá Mối Hàn

Thiết kế bàn thao tác đánh giá mối hàn hồ quang tay là một bước tiến quan trọng trong việc nâng cao chất lượng đào tạo hàn. Việc áp dụng công nghệ hiện đại và phương pháp đánh giá khách quan sẽ giúp sinh viên cải thiện kỹ năng và tự tin hơn trong thực hành.

5.1. Tương Lai Của Đào Tạo Hàn

Với sự phát triển của công nghệ, việc áp dụng AI và các công nghệ mới trong đào tạo hàn sẽ ngày càng trở nên phổ biến. Điều này sẽ mở ra nhiều cơ hội cho sinh viên trong tương lai.

5.2. Khuyến Nghị Để Nâng Cao Chất Lượng Đào Tạo

Cần tiếp tục nghiên cứu và phát triển các phương pháp đánh giá mới, đồng thời cải thiện thiết kế bàn thao tác để đáp ứng nhu cầu ngày càng cao trong đào tạo hàn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực kỹ thuật cơ khí, đặc biệt là phương pháp hàn hồ quang tay (Manual Metal Arc Welding - MMAW / Stick Welding), chất lượng của các mối hàn đóng vai trò quyết định đến độ bền và độ an toàn cấu trúc của toàn bộ sản phẩm chế tạo. Việc tạo ra một mối hàn đạt chuẩn kỹ thuật đòi hỏi người thợ phải tích lũy kinh nghiệm, kiểm soát chặt chẽ các thông số và thao tác chuẩn xác. Tuy nhiên, trong công tác đào tạo thực hành hàn tại các trường đại học và cơ sở dạy nghề, việc đánh giá chất lượng sản phẩm của sinh viên chủ yếu vẫn phụ thuộc vào phương pháp quan sát ngoại quan thủ công của giảng viên hướng dẫn.

Thực tế này dẫn đến một số hạn chế:

• Tính chủ quan trong đánh giá: Kết quả nhận xét có sự chênh lệch tùy theo kinh nghiệm và cảm tính của người chấm, thiếu tính nhất quán định lượng.
• Phản hồi chậm và thiếu chi tiết: Giảng viên khó có thể cung cấp phản hồi tức thời, phân tích chi tiết nguyên nhân sai hỏng và hướng dẫn khắc phục cho từng sinh viên trong các lớp học đông.
• Thiếu hụt hệ thống chuyên biệt cho đào tạo: Các giải pháp kiểm định tự động hiện hữu trên thị trường đa phần phục vụ công nghiệp quy mô lớn (như phân tích tín hiệu điện hàn ống hay kiểm tra tia X), không tối ưu cho mục đích hỗ trợ học tập trực tiếp tại xưởng.

Đề tài tốt nghiệp "Thiết kế, chế tạo bàn thao tác đánh giá ngoại quan mối hàn hồ quang tay ứng dụng trong đào tạo hàn" (Mã số đề tài: CKM-155) được thực hiện bởi nhóm sinh viên Tống Huỳnh Tánh, Trần Văn Thoại và Lương Hoàng Hiện dưới sự hướng dẫn của ThS. Trần Ngọc Thiện tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (07/2024).

Mục tiêu cụ thể của đề tài bao gồm 3 nhiệm vụ chính:

1. Thiết kế và chế tạo bàn thao tác tích hợp buồng chụp ảnh chuẩn hóa và hệ thống hiển thị kết quả thời gian thực.
2. Thu thập, xây dựng bộ dữ liệu hình ảnh mối hàn hồ quang tay thực tế từ các bài tập của sinh viên.
3. Xây dựng chuỗi mô hình trí tuệ nhân tạo (AI) để phân loại chất lượng tổng thể mối hàn, phát hiện các dạng khuyết tật bề mặt và tự động tạo khuyến nghị khắc phục lỗi dựa trên mô hình ngôn ngữ lớn kết hợp truy xuất dữ liệu.

Phạm vi nghiên cứu tập trung vào mối hàn hồ quang tay giáp mối (butt weld) của sinh viên thực hành, phân loại chất lượng thành 4 cấp độ (A, B, C, D) và nhận diện các lỗi bề mặt phổ biến.

---

Cơ sở lý thuyết và phương pháp

Cơ sở lý thuyết chuyên ngành

Hàn hồ quang tay là quá trình nối kim loại sử dụng hồ quang điện sinh ra giữa que hàn có thuốc bọc và vật hàn. Đề tài áp dụng các công thức và quy chuẩn lý thuyết để xác định thông số hàn chuẩn:

• Đường kính que hàn ($d_{wr}$):
  • Mối hàn giáp mối: $d_{wr} = \frac{S}{2} + 1$ (mm) (với $S$ là chiều dày vật liệu).
  • Mối hàn góc hoặc chữ T: $d_{wr} = \frac{K}{2} + 2$ (mm) (với $K$ là chiều cao cạnh mối hàn).
• Cường độ dòng điện hàn ($I_w$):
  • Công thức thực nghiệm hàn thép carbon ở vị trí hàn bằng: $I_w = (\beta + \alpha d_{wr})d_{wr}$ (A) với hệ số $\beta = 20$, $\alpha = 6$.
  • Công thức kinh nghiệm xưởng: $I_{wr} = (35 \div 50)d_{wr}$ (A).
• Chiều dài hồ quang ($l_a$): Phân loại thành hàn hồ quang ngắn ($l_a < 1.1 d_{wr}$), hồ quang bình thường ($l_a = 1.1 d_{wr}$), và hồ quang dài ($l_a > 1.1 d_{wr}$).
• Vận tốc hàn ($V_w$) và chuyển động que hàn: Gồm 3 chuyển động phối hợp (dọc trục que hàn, dọc theo trục mối hàn và dao động ngang để đảm bảo độ ngấu).

Hệ thống phân loại các khuyết tật mối hàn hồ quang tay theo tài liệu kỹ thuật gồm 7 dạng chính:

1. Nứt (Crack): Vết rạn nứt trên kim loại mối hàn hoặc vùng ảnh hưởng nhiệt.
2. Cháy thủng (Burn Through): Kim loại nóng chảy làm thủng hoàn toàn bề mặt vật liệu.
3. Không thấu/Hàn không ngấu (Incomplete Fusion): Mối hàn không liên kết hoàn toàn với kim loại cơ bản.
4. Bề mặt gồ ghề (Roughness): Bề mặt mối hàn không đều, tạo góc nhọn hoặc rãnh sâu.
5. Rỗ khí (Porosity): Các lỗ khí bị giữ lại trong quá trình đông đặc kim loại hàn.
6. Vảy hàn/Hạt bắn tóe (Spatter): Các hạt kim loại nóng chảy bắn ra bám xung quanh mối hàn.
7. Lẫn xỉ (Slag): Lớp xỉ phi kim loại không nổi lên hết mà kẹt lại trên bề mặt hoặc trong mối hàn.

Khuyết tật	Nguyên nhân chính	Biện pháp phòng ngừa	Biện pháp khắc phục
Nứt (Crack)	Ứng suất co ngót lớn, dòng hàn quá cao, hàm lượng carbon cao	Làm sạch mối ghép, nung sơ bộ, làm nguội chậm	Sửa chữa theo quy trình hàn chuẩn
Cháy thủng (Burn Through)	Dòng hàn quá lớn, vật liệu quá mỏng, tốc độ hàn quá chậm	Giảm dòng/áp hàn, tăng tốc độ di chuyển que	Sử dụng thanh lót đáy, mài và hàn đắp lại
Không thấu (Incomplete Fusion)	Dòng hàn thấp, góc nghiêng que sai, tốc độ hàn quá nhanh	Tăng dòng/áp hàn, giảm tốc độ di chuyển, chỉnh góc hàn	Mài/thổi điện cực carbon đến kim loại sạch, hàn lại
Bề mặt gồ ghề (Roughness)	Dòng hàn không ổn định, tốc độ di chuyển que không đều	Ổn định dòng hàn, giữ đều tốc độ và chiều dài hồ quang	Mài phẳng bề mặt, hàn sửa đổi nếu cần
Rỗ khí (Porosity)	Que hàn ẩm, bề mặt dính dầu mỡ/gỉ sét, gió lùa làm mất khí bảo vệ	Làm sạch phôi, bảo quản sấy que hàn, chắn gió	Loại bỏ hoàn toàn vùng rỗ khí bằng máy mài, hàn dặm lại
Bắn tóe (Spatter)	Dòng điện/điện áp quá cao, hồ quang quá dài, que hàn ẩm	Giảm dòng hàn, rút ngắn chiều dài hồ quang, dùng tấm chắn	Dùng súng gõ xỉ (needle gun), mài phẳng hạt bắn dính chặt
Lẫn xỉ (Slag)	Xỉ không kịp nổi, thao tác dao động que không đúng	Duy trì tốc độ hàn đều, chọn góc nghiêng que hợp lý	Làm sạch xỉ từng lớp bằng súng gõ xỉ hoặc máy mài

Phương pháp nghiên cứu và công nghệ sử dụng

• Phương pháp thu thập dữ liệu: Thu thập mẫu ảnh thực tế của sinh viên tại xưởng cơ khí, xử lý tiền kỳ (cắt ảnh, chuẩn hóa kích thước về 640x640 pixel).
• Thị giác máy tính và Deep Learning:
  • Vision Transformer (ViT): Sử dụng cơ chế Self-Attention và chia ảnh thành các chuỗi bản vá (image patches) để nhận diện bối cảnh toàn cục, phục vụ phân loại chất lượng mối hàn 4 cấp độ (A, B, C, D).
  • YOLOv8 (Ultralytics): Áp dụng kiến trúc mạng nơ-ron tích chập (CNN) với cơ chế anchor-free để xác định vị trí và phân loại khuyết tật (Object Detection).
  • Mô hình ngôn ngữ lớn (Llama 3) kết hợp RAG (Retrieval-Augmented Generation): Truy xuất dữ liệu kỹ thuật từ cơ sở tri thức về hàn để tự động diễn giải nguyên nhân và xuất khuyến nghị khắc phục.
• Kiến trúc hệ thống truyền thông: Mô hình Client-Server với giao thức REST API (GET, POST, PUT, DELETE), máy chủ triển khai qua container Docker trên nền tảng Google Cloud Run.

---

Thiết kế và triển khai

Hệ thống được phát triển tích hợp đồng bộ giữa 3 phân hệ: Cơ khí, Điện tử - Điều khiển, và Phần mềm AI.

Phân hệ cơ khí

• Khung máy và buồng chụp: Khung sử dụng nhôm định hình kết hợp ke góc và bu-lông để đảm bảo độ cứng vững, dễ tháo lắp. Buồng chụp ảnh được che kín bằng tấm ốp nhôm nhựa phức hợp (Aluminum Composite Panel - ACP) nhằm cách ly hoàn toàn ánh sáng môi trường bên ngoài, đảm bảo điều kiện chiếu sáng nhân tạo bên trong luôn ổn định.
• Khối gá đặt camera và phôi hàn: Camera được bố trí góc thẳng đứng phía trên mẫu hàn; khối gá phôi đảm bảo mẫu hàn được cố định đúng cự ly tiêu cự và vuông góc với trục quang học.
• Bàn thao tác và hiển thị: Tích hợp màn hình hiển thị trực tiếp kết quả giao diện người dùng và khoang kỹ thuật chứa tủ điện.

Phân hệ điện tử và điều khiển

• Khối xử lý trung tâm tại trạm: Sử dụng Kit phát triển nhúng Jetson Nano đóng vai trò thiết bị biên (edge device) điều khiển thiết bị chụp và giao tiếp máy chủ.
• Thu nhận hình ảnh: Camera công nghiệp GigE Grasshopper 2 cho độ phân giải cao và truyền dữ liệu ổn định qua cổng mạng.
• Mạch nguồn và bảo vệ: Sử dụng Aptomat tép (Miniature Circuit Breaker - MCB) để bảo vệ ngắn mạch và quá tải; bộ nguồn tổ ong AC-DC chuyển đổi điện áp lưới thành nguồn một chiều; các mạch giảm áp DC-DC Buck Converter cấp nguồn cho từng module; module relay điều khiển đèn chiếu sáng; hệ thống nút nhấn và đèn LED báo trạng thái nguồn/hoạt động.

Phân hệ AI và dịch vụ đám mây

• Xử lý phía Client (Workstation): Giao diện đồ họa người dùng (GUI) nhận lệnh chụp từ người vận hành, kiểm tra vị trí phôi, gửi ảnh thô lên hệ thống máy chủ qua REST API POST request.
• Xử lý phía Server (Cloud Run):
  • Nhận ảnh và chạy song song mô hình ViT (phân loại chất lượng cấp A/B/C/D) và YOLOv8 (phát hiện bounding box và nhãn khuyết tật).
  • Kết quả phát hiện khuyết tật được chuyển vào hệ thống RAG kết hợp Llama 3 để trích xuất quy trình khắc phục tương ứng từ tài liệu hàn chuẩn.
  • Phản hồi JSON chứa thông tin đánh giá, tọa độ lỗi, và văn bản hướng dẫn về giao diện người dùng.

---

Nội dung chính theo từng chương

Chapter 1: Introduction (Mở đầu)

Chương 1 thiết lập bối cảnh nghiên cứu, nêu rõ tính cấp thiết của việc tự động hóa đánh giá mối hàn trong môi trường sư phạm kỹ thuật. Tác giả khảo sát các công trình liên quan: nghiên cứu của Moinuddin et al. (đánh giá mối hàn ống bằng tín hiệu điện), Ho et al. (mạng ANN dự đoán lỗi dựa trên thông số dòng/tốc độ/khí), Ajmi et al. (phân loại ảnh X-ray bằng VGG đạt 97% độ chính xác), Gantala & Balasubramaniam (phát hiện rỗ khí và xỉ bằng AI). Từ đó, tác giả chỉ ra khoảng trống nghiên cứu và xác định mục tiêu chế tạo bàn thao tác chuyên dụng cho phương pháp hàn hồ quang tay (MMAW) dùng ảnh quang học bề mặt.

Chapter 2: Theoretical Basis (Cơ sở lý thuyết)

Trình bày hệ thống lý thuyết nền tảng:

• Lý thuyết kỹ thuật hàn hồ quang tay: các thông số công nghệ cốt lõi ($d_{wr}$, $I_w$, $l_a$, $V_w$), 3 chuyển động que hàn, định nghĩa - nguyên nhân - giải pháp của 7 nhóm khuyết tật (Crack, Burn Through, Incomplete Fusion, Roughness, Porosity, Spatter, Slag).
• Lý thuyết trí tuệ nhân tạo và học sâu: cấu trúc mạng nơ-ron nhân tạo, mạng nơ-ron tích chập (CNN), cơ chế Self-Attention của Transformer, cấu trúc Vision Transformer (ViT).
• Mô hình nhận diện vật thể YOLOv8: cấu trúc Backbone CSPDarknet53 cải tiến, cơ chế Anchor-free, các thông số huấn luyện (Batch size, Epochs, kích thước đầu vào 640x640).
• Mô hình ngôn ngữ lớn (LLM) và RAG: quy trình nhúng vector (embedding), trích xuất Top-k từ cơ sở dữ liệu tri thức, tạo văn bản hướng dẫn thực hành.
• Giao thức truyền thông máy khách - máy chủ: kiến trúc REST API và dịch vụ triển khai không máy chủ Google Cloud Run.

Chapter 3: Design Mechanical System (Thiết kế hệ thống cơ khí)

Chương này phân tích quá trình tính toán và lựa chọn kết cấu phần cứng:

• Xác định mục tiêu thiết kế: gọn gàng, cách ly ánh sáng tạp, cự ly chụp ổn định, màn hình quan sát thuận tiện.
• Đánh giá các phương án bố trí camera (hướng thẳng đứng vs hướng ngang), cơ cấu định vị phôi hàn.
• Lựa chọn vật liệu: khung nhôm định hình kết hợp tấm ốp phức hợp nhôm nhựa ACP (Aluminum Composite Panel) cho buồng tối và vỏ tủ điện.
• Hoàn thiện bản vẽ thiết kế 3D và tiến hành gia công, lắp ráp hoàn chỉnh bàn thao tác.

Chapter 4: Design Electronics-Control System (Thiết kế hệ thống điện tử - điều khiển)

Tập trung vào cấu trúc mạch điều khiển và tích hợp linh kiện:

• Xây dựng sơ đồ khối kết nối toàn hệ thống điện - điều khiển.
• Lựa chọn và tích hợp các phần cứng: Bo mạch máy tính nhúng Jetson Nano, camera công nghiệp GigE Grasshopper 2, thiết bị đóng cắt an toàn MCB, bộ nguồn chuyển mạch AC-DC, module hạ áp DC-DC Buck Converter, mạch Relay đóng cắt chiếu sáng, cùng các công tắc và đèn báo trạng thái LED.
• Triển khai lắp đặt tủ điện điều khiển bên trong thân bàn thao tác.

Chapter 5: Design AI System (Thiết kế hệ thống thuật toán AI)

Chương 5 là nội dung trọng tâm về phần mềm và trí tuệ nhân tạo:

• Xác định tiêu chí phân cấp chất lượng mối hàn thành 4 lớp: Lớp A (mối hàn chuẩn, ngấu đều), Lớp B (mối hàn tương đối, chỉ có ít hạt bắn tóe), Lớp C (mối hàn có nhiều khuyết tật kết hợp), Lớp D (cháy thủng hoặc không hình thành mối hàn).
• Xây dựng và cân bằng bộ dữ liệu hình ảnh thu thập từ sinh viên.
• Huấn luyện và đánh giá mô hình phân loại chất lượng tổng thể ViT.
• Huấn luyện mô hình YOLOv8 trên tập ảnh 640x640 để định vị chính xác vị trí khuyết tật (vẽ bounding box và dán nhãn lỗi).
• Tích hợp pipeline Llama 3 + RAG để sinh câu phản hồi gợi ý kỹ thuật.
• Đóng gói toàn bộ backend thành Docker container, triển khai lên Google Cloud Run và phát triển giao diện đồ họa (GUI) cho người dùng cuối.

Chapter 6: Conclusion and Recommendation (Kết luận và kiến nghị)

Đánh giá tổng thể hiệu năng hoạt động của hệ thống từ khâu chụp ảnh, nhận dạng đến hiển thị kết quả; rút ra các đóng góp của đề tài và đề xuất các hướng mở rộng kỹ thuật tiếp theo.

---

Kết quả và đóng góp

Kết quả chính

• Chế tạo thành công thiết bị phần cứng: Bàn thao tác hoàn chỉnh với buồng chụp ảnh chuẩn hóa cách ly ánh sáng ngoài, cơ cấu gá đặt phôi chính xác, tích hợp camera GigE Grasshopper 2, bộ điều khiển Jetson Nano và màn hình giao diện trực quan.
• Xây dựng bộ dữ liệu chuyên ngành: Tập hợp dữ liệu hình ảnh thực tế về các mối hàn hồ quang tay của sinh viên, được phân loại 4 cấp (A, B, C, D) và gán nhãn chi tiết các khuyết tật phục vụ huấn luyện máy học.
• Tích hợp thành công chuỗi mô hình AI đa nhiệm:
  • Ứng dụng Vision Transformer (ViT) phân loại thành công chất lượng mối hàn.
  • Ứng dụng YOLOv8 phát hiện chính xác các khuyết tật bề mặt (Crack, Burn Through, Incomplete Fusion, Roughness, Porosity, Spatter, Slag) với định dạng ảnh 640x640.
  • Tích hợp mô hình RAG với Llama 3 cung cấp phản hồi nguyên nhân và cách khắc phục lỗi tự động.
• Triển khai kiến trúc Cloud linh hoạt: Hệ thống backend chạy trên Google Cloud Run thông qua REST API, giảm tải tính toán cho thiết bị tại trạm và đảm bảo khả năng phản hồi nhanh trên GUI.

Đóng góp thực tiễn và khoa học

• Cung cấp một công cụ hỗ trợ giảng dạy khách quan, tức thời cho các xưởng thực hành hàn, giúp sinh viên tự đánh giá và sửa sai kỹ thuật hàn ngay trong buổi học.
• Tạo nguồn cơ sở dữ liệu hình ảnh lỗi hàn hồ quang tay có gán nhãn, làm tiền đề cho các nghiên cứu ứng dụng thị giác máy tính trong cơ khí chế tạo.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

• Đối tượng kiểm tra chủ yếu tập trung vào liên kết hàn giáp mối (butt joint) ở vị trí hàn bằng trong phạm vi bài tập cơ bản của sinh viên.
• Hệ thống chỉ thực hiện đánh giá ngoại quan bề mặt dựa trên ảnh chụp quang học 2D, chưa thể phát hiện các khuyết tật ngầm sâu bên trong cấu trúc kim loại (như ngậm xỉ sâu, nứt ngầm) vốn cần đến phương pháp siêu âm hoặc tia X.

Hướng nghiên cứu tiếp

• Mở rộng bộ dữ liệu cho các dạng liên kết hàn khác (mối hàn góc chữ T, hàn chồng, hàn ống) và các tư thế hàn khó hơn (hàn đứng, hàn trần).
• Thử nghiệm tích hợp thêm các cảm biến phụ trợ (cảm biến dòng hàn, tốc độ cấp nhiệt) hoặc mở rộng thuật toán xử lý ảnh 3D để đo đạc chính xác kích thước hình học (chiều cao, bề rộng vảy hàn).

---

Giá trị tham khảo

Tài liệu khóa luận tốt nghiệp này mang lại giá trị tham khảo hữu ích cho:

• Sinh viên và giảng viên ngành Cơ khí, Cơ điện tử, Công nghệ Chế tạo máy: Tham khảo quy trình thiết kế máy hoàn chỉnh kết hợp cơ - điện - phần mềm AI, phương pháp tính toán thông số hàn và phân loại khuyết tật cơ khí.
• Kỹ sư và nhà phát triển thị giác máy tính / AI công nghiệp: Cung cấp tài liệu tham khảo thực tế về việc áp dụng mô hình Vision Transformer (ViT), YOLOv8 và kiến trúc LLM RAG vào bài toán kiểm tra ngoại quan (Visual Inspection) trên nền tảng Cloud Run và Jetson Nano.

---

Câu hỏi thường gặp

1. Hệ thống phân chia chất lượng mối hàn thành những cấp độ nào?

Theo Chương 5 của đồ án, chất lượng mối hàn được chia thành 4 lớp:

• Lớp A: Mối hàn đạt chuẩn, bề mặt đều và ngấu tốt.
• Lớp B: Mối hàn tương đối tốt, chỉ xuất hiện một số hạt bắn tóe nhỏ.
• Lớp C: Mối hàn có nhiều khuyết tật phối hợp.
• Lớp D: Mối hàn hỏng nghiêm trọng, bị cháy thủng hoặc không hình thành được đường hàn liên tục.

2. Mô hình AI nào được sử dụng cho bài toán phát hiện khuyết tật mối hàn?

Hệ thống sử dụng mô hình YOLOv8 (phiên bản do Ultralytics phát hành năm 2023) với kích thước đầu vào ảnh chuẩn hóa $640 \times 640$ pixel để thực hiện phát hiện và định vị các vùng khuyết tật (vẽ bounding box và gán nhãn loại lỗi) trên bề mặt mối hàn.

3. Thành phần RAG kết hợp với mô hình nào để đưa ra gợi ý khắc phục lỗi?

Đồ án sử dụng mô hình ngôn ngữ lớn Llama 3 kết hợp kỹ thuật Retrieval-Augmented Generation (RAG). Cơ chế này chuyển đổi truy vấn thành vector nhúng, tìm kiếm thông tin kỹ thuật tương ứng trong cơ sở dữ liệu chuyên ngành hàn, sau đó Llama 3 tổng hợp và tạo ra đoạn văn bản phản hồi hướng dẫn sinh viên cách điều chỉnh thông số hoặc thao tác tay.

4. Hệ thống phần cứng của trạm quan sát bao gồm những thiết bị chính nào?

Phần cứng của bàn thao tác bao gồm: Khung nhôm định hình bọc tấm Aluminum Composite Panel (ACP) tạo buồng tối, Camera công nghiệp GigE Grasshopper 2, Kit xử lý nhúng Jetson Nano Developer Kit, màn hình hiển thị LCD, Aptomat (MCB), bộ nguồn AC-DC, mạch giảm áp DC-DC Buck Converter, module relay và hệ thống nút bấm, đèn báo LED.

---

Kết luận

Đồ án tốt nghiệp của nhóm tác giả tại Trường Đại học Sư phạm Kỹ thuật TP.HCM đã nghiên cứu, thiết kế và chế tạo thành công bàn thao tác đánh giá ngoại quan mối hàn hồ quang tay phục vụ đào tạo. Bằng việc kết hợp phần cứng buồng chụp chuẩn hóa với các mô hình thị giác máy tính tiên tiến (ViT, YOLOv8) và mô hình ngôn ngữ lớn (Llama 3 kết hợp RAG) triển khai qua Google Cloud Run, hệ thống đã giải quyết hiệu quả tính chủ quan trong khâu đánh giá thủ công truyền thống. Đây là một giải pháp ứng dụng công nghệ số có tính khả thi cao, góp phần nâng cao chất lượng thực hành và đào tạo nghề cơ khí hàn.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS MAJOR: MACHINE MANUFACTURING TECHNOLOGY DESIGN AND FABRICATION OF A VISUAL INSPECTION WORKSTATION FOR MANUAL ARC WELDING APPLIED IN WELDING TRAINING INSTRUCTOR: TRAN NGOC THIEN,ME. STUDENT: TONG HUYNH TANH TRAN VAN THOAI LUONG HOANG HIEN Ho Chi Minh city, July 2024 MINISTRY OF EDUCATION AND TRAINING HCMC UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF MECHANICAL ENGINEERING  GRADUATION THESIS DESIGN AND FABRICATION OF A VISUAL INSPECTION WORKSTATION FOR MANUAL ARC WELDING APPLIED IN WELDING TRAINING Supervisor: Tran Ngoc Thien, M.E Students: ID: Class: Tong Huynh Tanh 20134024 20134A Tran Van Thoai 20134025 20134A Luong Hoang Hien 20143069 20143CL5B Year of Admission: 2020-2024 Ho Chi Minh City, July 2024 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF MECHANICAL ENGINEERING ---------------------------------- DEPARTMENT OF MECHATRONICS GRADUATION THESIS DESIGN AND FABRICATION OF A VISUAL INSPECTION WORKSTATION FOR MANUAL ARC WELDING APPLIED IN WELDING TRAINING Supervisor: Tran Ngoc Thien, M.E Student: TONG HUYNH TANH Student ID: 20134024 Student: TRAN VAN THOAI Student ID: 20134025 Student: LUONG HOANG HIEN Student ID: 20143069 Class: 20134A, 20143CL5B Year of Admission: 2020 - 2024 Ho Chi Minh City, July 2024 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự do - Hạnh phúc NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Học kỳ II / năm học 2023-2024 Giảng viên hướng dẫn: ThS. Trần Ngọc Thiện Sinh viên thực hiện: Tống Huỳnh Tánh MSSV: 20134024 Điện thoại: [phone] Sinh viên thực hiện: Trần Văn Thoại MSSV: 20134025 Điện thoại: [phone] Sinh viên thực hiện: Lương Hoàng Hiện MSSV: 20143069 Điện thoại: [phone].

Đề tài tốt nghiệp: - Mã số đề tài: CKM-155 - Tên đề tài: Thiết Kế, Chế Tạo Bàn Thao Tác Đánh Giá Ngoại Quan Mối Hàn Hồ Quang Tay Ứng Dụng Trong Đào Tạo Hàn 2. Các số liệu, tài liệu ban đầu: - Hình ảnh mối hàn hồ quang tay của sinh viên. - Tài liệu về các lỗi trong hàn hồ quang tay. Nội dung chính của đồ án: - Thiết kế và chế tạo bàn quan sát mối hàn.

- Xây dựng mô hình AI để phân loại và phát hiện lỗi của mối hàn. - Xây dựng giao diện thao tác với mối hàn. Các sản phẩm dự kiến - Báo cáo thuyết trình và sản phẩm 5. Ngôn ngữ trình bày: Bản báo cáo: Tiếng Anh  Tiếng Việt  Trình bày bảo vệ: Tiếng Anh  Tiếng Việt  TRƯỞNG BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên)  Được phép bảo vệ …………………………………………… (GVHD ký, ghi rõ họ tên) i COMMITMENT - Project: DESIGN AND FABRICATION OF A VISUAL INSPECTION WORKSTATION FOR MANUAL ARC WELDING APPLIED IN WELDING TRAINING - Supervisor: Tran Ngoc Thien, M.E Students: ID: Phone Number: Tong Huynh Tanh 20134024 0916716095 Tran Van Thoai 20134025 0354408059 Luong Hoang Hien 20143069 0962269011 - Graduation thesis submission date: 07/2024 - Commitment: “We hereby certify that this graduation thesis is our own research and work.

We have not copied from any published articles without proper citation. If there is any violation, we will take full responsibility.” ii ACKNOWLEDGMENTS We wish to express our sincere gratitude to Ho Chi Minh City University of Technology and Education, with special acknowledgments to the esteemed members of the Mechanical Engineering Faculty. Their unwavering guidance and support have been invaluable throughout our academic journey, playing a crucial role in the successful completion of a significant portion of our training program. The exceptional instruction provided by the faculty has not only equipped us with specialized knowledge but has also significantly shaped our understanding and approach to academic pursuits.

A profound appreciation is extended to M.E Tran Ngoc Thien, whose expertise and guidance have been instrumental in navigating the complexities of this project. His insightful contributions and dedicated mentorship have enriched the depth and quality of our research. Mistakes are an inherent part of any academic endeavor, and we welcome any constructive criticism and recommendations from the academic community to enhance the overall completeness of this report. Your valuable insights will contribute to the refinement and improvement of our work.

Lastly, we express our gratitude to the Faculty of Mechanical Engineering for their generous funding support, which has played a pivotal role in enabling us to undertake and successfully complete this research. Their commitment to fostering academic exploration is deeply appreciated. Sincerely, Tong Huynh Tanh Tran Van Thoai Luong Hoang Hien iii ABSTRACT The assessment of weld quality in universities is an integral part of welding engineering education, ensuring that students grasp the knowledge and skills required for proficiency in welding. Developing a weld assessment system yields practical benefits such as enhancing the quality of welding training, minimizing errors, and increasing objectivity in evaluations.

Recognizing the need for such a system, our team has chosen to undertake the project "Design and Fabrication of a Visual Inspection Workstation for Manual Arc Welding Applied in Welding Training." The objective of this project is to develop a system capable of receiving input from a student's manual arc weld product and providing results on the quality, defects present in the weld, and suggesting causes and remedies based on the severity and type of defect. The system will consist of compact and convenient hardware with full functionality, and AI-powered weld assessment software with high accuracy and a user-friendly interface. As the initial step in implementing the system, our team collected image data of welds produced by students. We analyzed the characteristics of this collected image dataset and consulted relevant technical literature to contribute to the development of a highly accurate weld assessment software system.

Regarding the hardware, our research focused on ensuring the quality of the input image, providing a display for results, and maintaining an aesthetically pleasing design. The results of this project demonstrate that the system achieves high accuracy in classifying weld quality, detecting defects, and suggesting corrective actions. This product provides students with detailed, rapid, and objective feedback, effectively supporting their learning and practice. iv TABLE OF CONTENTS NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP.

iv TABLE OF CONTENTS. v LIST OF TABLES. viii LIST OF FIGURES. ix LIST OF ABBREVIATIONS.

Scientific and practical significances. Scope of the study. Structure of the report. Theoretical basis of manual metal arc welding (MMAW).

Artificial intelligence (AI) and related terms. Artificial intelligence, machine learning (ML) and deep learning (DL) 16 2. Computer vision and Convolution Neural Network (CNN). Image Classification and Vision Transformer (ViT).

Object Detection and YOLOv8. Retrieval augmented generation (RAG) in large language models (LLMs). Data transmission and processing via cloud server. Data transmission method.

Google Cloud run. DESIGN MECHANICAL SYSTEM. Mechanical Design Process. Weld placement block.

Mechanical system summary. DESIGN ELECTRONICS-CONTROL SYSTEM. System electrical requirements. Electrical System Connection Diagram.

The selection of devices. DESIGN AI SYSTEM. Criteria for evaluating weld quality. Weld quality classification.

Weld defects detection. AI process overview. Developing weld quality classification model. Model evaluation metric.

Developing weld defect detection model. Model Evaluation Metrics. Developing weld feedback generating model. Developing data transmission and processing feature.

Developing graphical user interface. Overall System Result. CONCLUSION AND RECOMMENDATION. 83 vii LIST OF TABLES Table 2.

Welding rod diameter reference. Camera setups comparison. Comparison of common lighting types used for cameras. Frame materials Comparison.

Cover materials comparison. Jetson Nano Specification. Miniature Circuit Breaker specification. AC-DC power supply specification.

Buck Converter specification. Relay module specification. Classify model accuracy comparison. 68 viii LIST OF FIGURES Figure 1.

Metal welding class at vocational college. Manual metal arc welding process. Movement of the welding rod. Burn through defect.

Incomplete fusion (infusion) defect. Machine learning process. Comparing Artificial Intelligence related terms. Neural network structure.

Convolutional neural network example. Image Classification Example. Vision Transformer model overview. Object Detection On Image.

YOLO models comparison. Large language models operation. Retrieval-Augmented Generation operation. Client-Server model.

REST API operation. Cloud Run service. Camera mounting solution. Weld placement block.

Monitor setup options. Using right-angle brackets and bolts to assemble the model frame. Metal covers for machines. Plastic cover for mini fan.

Composite mudguards for cars. Aluminum composite panel’s structure. The cover panels for the light-blocking chamber of the model. The cover for the electrical cabinet.

Completed mechanical system design. Completed mechanical system fabrication. Block diagram of electrical device connection. Electronics-control system fabrication.

Jetson Nano Developer kit. GigE Grasshopper 2 camera. Miniature circuit breaker. AC-DC Power Supply.

Buck DC-DC Converter. Switches & indicator lights. B class weld with some spatters. C class weld with multiple defects.

D class weld which is burned through. D class weld which has not form a weld. Burn through sample. Weld Quality Class Balance.

Testing classify model on real weld image. Classification model accuracy. Testing detection model on real weld image. F1-Confidence curve of defect detection model.

Precision-Recall curve of defect detection model. The data transmission and processing workflow. LED indicator when power on. Correct weld position.

Wrong weld position. Displaying results on GUI. 82 x LIST OF ABBREVIATIONS AC Alternating Current ACP Aluminum Composite Panel AI Artificial Intelligence ANN Artificial Neural Network AP Average Precision API Application Programming Interface CNN Convolutional Neural Network DC Direct Current DL Deep Learning GMAW Gas Metal Arc Welding GUI Graphical User Interface LCD Liquid Crystal Display LLMs Large Language Models MCB Miniature Circuit Breaker MIG Metal Inert Gas ML Machine Learning MMAW Manual Metal Arc Welding NIMs Nvidia Inference Microservices NLP Natural Language Processing RAG Retrieval-Augmented Generation RNN Recurrent Neural Network SDK Software Development Kit SVM Support Vector Machine ViT Vision Transformer YOLO You Only Look Once xi CHAPTER 1. Thesis background In the field of welding, particularly manual metal arc welding (MMAW), the quality of welds is a critical determinant of the structural integrity and durability of fabricated products.

Ensuring high-quality welds requires a combination of skill, experience, and meticulous attention to detail. However, traditional methods of welding training often rely heavily on subjective assessments by instructors, which can lead to inconsistent evaluations and a steep learning curve for students. This subjectivity can result in inadequate feedback, hindering students' ability to identify and correct mistakes effectively. Moreover, with the advancement of manufacturing technologies and the increasing complexity of welding tasks, there is a growing demand for more precise and reliable methods of weld quality assessment.

Automation and digitalization in welding processes have the potential to enhance training methodologies, making them more efficient and objective. Despite the potential benefits, there is a lack of comprehensive systems specifically designed for welding training that utilize these technologies. Existing solutions are often tailored for industrial quality control rather than educational purposes. Therefore, there is a need to develop a specialized system that can capture and process weld bead images from metal manual arc welding, classify the weld quality, and provide actionable feedback to students in a training environment.

Metal welding class at vocational college (source: [1]) 1 Additionally, the integration of image processing and machine learning technologies offers a promising solution to this challenge. By capturing images of weld beads in metal manual arc welding and analyzing them using advanced algorithms, it is possible to classify weld quality with a high degree of accuracy. This approach not only provides consistent and objective assessments but also facilitates immediate feedback, enabling students to learn and improve their welding skills more effectively.