Đồ án Cơ Điện Tử: Ứng dụng AI và Deep Learning trong Nhận Diện Linh Kiện Điện Tử

Đồ án cơ điện tử: Giới thiệu AI và Deep Learning. Tìm hiểu ứng dụng trí tuệ nhân tạo, học sâu trong lĩnh vực cơ điện tử. Tài liệu tham khảo hữu ích.

• Tác giả: Lê Văn Tuyên
• Người hướng dẫn: T.S Nguyễn Văn Trường
• Trường học: Trường Đại học Công nghiệp Hà Nội
• Chuyên ngành: Cơ Điện Tử
• Đề tài: AI & Deep Learning trong Nhận Diện
• Loại tài liệu: Đồ án môn học
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. CHƯƠNG I : TỔNG QUAN CHUNG
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích nghiên cứu
• 1.3. Giới hạn nghiên cứu
• 2. CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu về xử lý ảnh
• 2.2. Giới thiệu OpenCV
• 2.2.1. Giới thiệu về OpenCV
• 2.2.2. Đặc điểm nổi bật:
• 2.2.3. Ứng dụng OpenCV
• 2.3. Giới thiệu về AI (Artificial Intelligence) và Deep learning
• 3. CHƯƠNG 3 : TÍNH TOÁN THIẾT KẾ HỆ THỐNG
• 3.1. Tổng quan về hệ thống
• 3.1.1. Thiết lập danh sách yêu cầu
• 3.1.2. Sơ đồ tổng thể của hệ thống
• 3.2. Tính toán, thiết kế hệ thống cơ khí
• 3.2.1. Tính toán lựa chọn động cơ, băng tải
• 3.2.1.1. Động cơ băng tải
• 3.2.1.2. Tính toán thiết kế hệ thống băng tải
• 3.2.2. Tính toán thiết kế tay máy hút bản mạch
• 3.2.3. Thiết kế hệ thống cơ khí
• 3.3. Tính toán, thiết kế hệ thống điều khiển
• 3.3.1. Hệ thống khí nén
• 3.3.2. Giác hút chân không
• 3.3.3. Hệ thống điều khiển
• 3.3.4. Động cơ một chiều có giảm tốc
• 3.3.5. Module điều khiển tốc độ động cơ bước
• 3.3.6. Module relay 4 kênh 24V
• 3.3.7. Van điện từ (5/2)
• 3.3.8. Máy tính nhúng NVIDIA Jetson Nano Developer Kit B01
• 3.4. Thiết kế hệ thống nhận diện linh kiện điện tử
• 3.4.1. Thuât toán ORB và kĩ thuât Bruce Force matching
• 3.4.2. Mạng Convolution neuron network và ứng dung trong việc phân loại linh kiện
• 3.4.3. Quá trình huấn luyện mô hình

Tóm tắt

I. Đồ án Cơ Điện Tử Cách AI và Deep Learning biến đổi Nhận Diện sản phẩm

Trong kỷ nguyên công nghiệp 4.0, sự phát triển vượt bậc của các ngành kỹ thuật sản xuất đã tạo ra nhu cầu bùng nổ về chip bán dẫn và mạch điện tử. Tuy nhiên, quy trình sản xuất các thiết bị này cực kỳ phức tạp, đòi hỏi độ chính xác tuyệt đối ở mọi khâu. Vì vậy, công đoạn kiểm tra thành phẩm sau khi sản xuất để đảm bảo chất lượng là vô cùng cần thiết. Với xu hướng thu nhỏ kích thước của linh kiện và mạch điện tử, việc kiểm tra ngoại quan theo phương pháp thủ công ngày càng bộc lộ nhiều hạn chế nghiêm trọng. Tốc độ chậm, khả năng sai sót cao, và tốn kém nhân lực là những nhược điểm không thể phủ nhận, buộc các nhà máy lớn phải tích cực tìm kiếm giải pháp tự động hóa khâu kiểm tra nhằm nâng cao năng suất và chất lượng sản phẩm. Đây chính là động lực mạnh mẽ thúc đẩy việc nghiên cứu và triển khai các đồ án Cơ Điện Tử ứng dụng công nghệ tiên tiến.

Đề tài Đồ án Cơ Điện Tử: AI & Deep Learning trong Nhận Diện ra đời nhằm giải quyết những thách thức cấp bách này. Mục tiêu chính là nghiên cứu, thiết kế và chế tạo một hệ thống nhận diện đối tượng sử dụng xử lý ảnh để tự động kiểm tra ngoại quan mạch điện tử, phát hiện các sai sót trong lắp ráp linh kiện hay các khuyết tật của thành phẩm. Sự kết hợp giữa Kỹ thuật Cơ Điện Tử và AI mang lại khả năng xây dựng các hệ thống kiểm tra chất lượng sản phẩm chính xác, đáng tin cậy, thay thế công việc lặp đi lặp lại của con người và tiết kiệm nguồn nhân lực đáng kể. Thị giác máy tính và AI đang ngày càng chứng minh tầm quan trọng, với những ứng dụng rộng rãi từ thương mại điện tử, bảo mật đến giám sát sản xuất tự động hóa và xe tự hành. Trong đó, Deep Learning trong thị giác máy tính đã cách mạng hóa cách chúng ta tiếp cận việc phân loại hình ảnh AI và phát hiện vật thể thời gian thực. Việc ứng dụng công nghệ này vào đồ án tốt nghiệp Cơ Điện Tử không chỉ nâng cao hiệu quả kiểm tra mà còn góp phần vào việc tự động hóa toàn diện nhà máy, hướng tới mô hình sản xuất 4.0 hiện đại. (Tham khảo Hình 1-1: Hệ thống kiểm tra mạch trong công nghiệp và Hình 1-2: Dây truyền hệ thống kiểm tra mạch từ tài liệu gốc).

1.1. Thực trạng kiểm tra ngoại quan mạch điện tử thủ công và giới hạn

Kiểm tra ngoại quan các bản mạch điện tử bằng phương pháp thủ công hiện đang là một trở ngại lớn trong quy trình sản xuất hiện đại. Các dây chuyền sản xuất công nghiệp đòi hỏi độ chính xác cao và năng suất lớn, nhưng việc sử dụng nhân công cho khâu kiểm tra gặp phải nhiều bất lợi. Tốc độ kiểm tra chậm chạp là một trong những hạn chế hàng đầu, không thể theo kịp tốc độ sản xuất hàng loạt. Hơn nữa, mắt người dễ bị mỏi và khả năng mắc lỗi cao, đặc biệt khi phải kiểm tra các linh kiện ngày càng được thu nhỏ kích thước. Điều này dẫn đến sự không đồng nhất về chất lượng kiểm tra và có thể bỏ sót những lỗi tinh vi như vết nứt nhỏ, mối hàn hở, hoặc sai lệch vị trí linh kiện. Việc đào tạo và duy trì đội ngũ kiểm tra viên cũng tốn kém. Những yếu tố này đã đặt ra yêu cầu cấp thiết về việc phát triển các giải pháp tự động, thông minh hơn để thay thế phương pháp kiểm tra truyền thống, hướng tới các đồ án công nghệ 4.0 thực tiễn.

1.2. Vai trò đột phá của AI và Deep Learning trong giám sát sản xuất

Sự phát triển mạnh mẽ của Trí tuệ nhân tạo (AI) và Học sâu (Deep Learning) đã mang lại một cuộc cách mạng trong lĩnh vực giám sát thông minh AI cho sản xuất công nghiệp. Các công nghệ này cho phép hệ thống máy móc tự động học hỏi từ lượng lớn dữ liệu, nhận diện các mẫu phức tạp và đưa ra quyết định với độ chính xác cùng tốc độ vượt trội so với con người. Trong lĩnh vực Kỹ thuật Cơ Điện Tử và AI, chúng được ứng dụng để xây dựng các hệ thống nhận diện đối tượng bằng học sâu tự động, có khả năng phân tích hình ảnh, phát hiện lỗi và phân loại sản phẩm một cách hiệu quả và nhất quán. Điều này không chỉ giải quyết triệt để các vấn đề của kiểm tra thủ công mà còn tạo tiền đề cho các quy trình sản xuất thông minh, giảm thiểu đáng kể chi phí vận hành và tối ưu hóa toàn bộ chuỗi cung ứng. Khả năng phát hiện vật thể thời gian thực là một ưu điểm then chốt, cho phép kiểm soát chất lượng liên tục trên dây chuyền sản xuất.

II. Bí quyết thành công Nền tảng Lý thuyết cho Đồ án Cơ Điện Tử AI nhận diện

Để triển khai thành công một đồ án Cơ Điện Tử: AI & Deep Learning trong Nhận Diện, việc nắm vững các kiến thức nền tảng là điều tối quan trọng. Chương này đi sâu vào các khái niệm cốt lõi của thị giác máy tính (computer vision), trí tuệ nhân tạo (AI) và học sâu (Deep Learning) – những trụ cột công nghệ tạo nên sức mạnh cho hệ thống nhận diện tự động. Thị giác máy tính được định nghĩa là một lĩnh vực rộng lớn, bao gồm các phương tiện thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng thông tin từ dữ liệu hình ảnh để đưa ra quyết định. Mục tiêu là mô phỏng hệ thần kinh thị giác của con người, mang lại cho hệ thống nhân tạo khả năng thu nhận, phân tích và phản ứng một cách thông minh. Các ứng dụng của thị giác máy tính rất đa dạng, từ y tế, bảo mật đến nhận diện đối tượng tự động trong công nghiệp. (Tham khảo Hình 2-1: Mô hình nhận diện đối tượng, Hình 2-2: Ứng dụng xử lý ảnh trong ngành y tế, Hình 2-3: Ứng dụng nhận diện khuôn mặt từ tài liệu gốc).

Trí tuệ nhân tạo (AI) là sự mô phỏng các quá trình trí tuệ con người bằng máy móc, đặc biệt tập trung vào ba kỹ năng nhận thức chính: học tập, lý luận và tự điều chỉnh. Trong đó, Học máy ứng dụng trong Cơ Điện Tử tận dụng AI để giải quyết các vấn đề phức tạp với độ chính xác cao. Học sâu (Deep Learning), một nhánh con mạnh mẽ của học máy, đặc biệt nổi bật với khả năng xử lý lượng lớn dữ liệu thông qua các kiến trúc phức tạp như mạng nơ-ron tích chập (CNN). Công nghệ này đang bùng nổ trong kỷ nguyên Công nghiệp 4.0, là động lực chính cho các ứng dụng như ô tô tự lái, chatbot và robot và thị giác máy tính. Các thuật toán học sâu như vậy là nền tảng để xây dựng các mô hình học sâu cho nhận diện hiệu quả, giúp hệ thống không chỉ nhận biết mà còn hiểu được bối cảnh của hình ảnh. Sự phát triển mạnh mẽ của Deep Learning được thúc đẩy bởi khả năng tính toán ngày càng cao của các thế hệ máy tính mới, cho phép xử lý và phân tích các bộ dữ liệu huấn luyện AI khổng lồ. (Tham khảo Hình 2-4: Mô hình Neuron thần kinh, Hình 2-5: Cấu hình mạng Neuron nhân tạo từ tài liệu gốc).

2.1. Khái quát về Thị giác máy tính và Xử lý ảnh với Deep Learning

Thị giác máy tính (Computer Vision) đóng vai trò trung tâm trong các đồ án Cơ Điện Tử về nhận diện. Đây là ngành khoa học kỹ thuật liên quan đến lý thuyết đằng sau các hệ thống nhân tạo có khả năng trích xuất thông tin từ các hình ảnh số. Nó bao gồm các công đoạn từ thu nhận dữ liệu hình ảnh (chuỗi video, cảnh từ camera hay dữ liệu đa chiều từ máy quét sinh học), đến xử lý ảnh với Deep Learning để nâng cao chất lượng, nhận dạng ảnh và truy vấn ảnh. Đặc biệt, Deep Learning trong thị giác máy tính đã cách mạng hóa cách chúng ta tiếp cận việc nhận diện đối tượng bằng học sâu, cho phép các hệ thống vượt qua giới hạn của các phương pháp truyền thống. Các thư viện mã nguồn mở như OpenCV là công cụ mạnh mẽ, cung cấp bộ thuật toán phong phú để hỗ trợ quá trình này, từ nhận diện khuôn mặt đến điều khiển robot, giúp các nhà phát triển dễ dàng triển khai các giải pháp thị giác máy tính trong thực tế.

2.2. Nền tảng AI và sức mạnh của Mạng nơ ron tích chập CNN

Trí tuệ nhân tạo (AI) là lĩnh vực rộng lớn mô phỏng các quá trình trí tuệ con người, trong đó Học sâu (Deep Learning) là một phương pháp mạnh mẽ dựa trên cấu trúc của mạng nơ-ron nhân tạo. Đặc biệt, Mạng nơ-ron tích chập (CNN) là kiến trúc đột phá, chuyên biệt cho việc xử lý dữ liệu dạng lưới như hình ảnh. CNN có khả năng tự động học và trích xuất các đặc trưng phức tạp từ hình ảnh thông qua các lớp tích chập, giúp tối ưu hóa quá trình phân loại hình ảnh AI và phát hiện vật thể thời gian thực. Điều này làm cho CNN trở thành xương sống cho hầu hết các mô hình học sâu cho nhận diện hiện đại, bao gồm cả nhận diện khuôn mặt Deep Learning. Các khái niệm về Neural Network được lấy cảm hứng từ não bộ, nhưng được tinh chỉnh để giải quyết các bài toán cụ thể trong đồ án tốt nghiệp Cơ Điện Tử, mang lại hiệu quả vượt trội trong việc phân tích và hiểu hình ảnh. Công nghệ này đang được đẩy mạnh phát triển để đáp ứng nhu cầu ngày càng tăng của công nghiệp 4.0 và các ứng dụng thông minh.

III. Hướng dẫn thiết kế Hệ thống Cơ Điện Tử ứng dụng Deep Learning trong nhận diện

Việc hiện thực hóa một đồ án Cơ Điện Tử: AI & Deep Learning trong Nhận Diện đòi hỏi một quy trình thiết kế hệ thống chi tiết và khoa học, bao gồm cả phần cơ khí, điện tử và tính toán. Giai đoạn đầu tiên là xác định rõ các yêu cầu về hình học, vật liệu, động học, năng lượng và an toàn của hệ thống. Hệ thống tổng quan được hình dung là một dây chuyền tự động với các thành phần chính như băng tải, tay máy hút bản mạch, camera, và hệ thống điều khiển trung tâm. Mỗi bộ phận đều được tính toán và lựa chọn cẩn thận để đảm bảo hiệu suất tối ưu và khả năng tương thích. Việc tích hợp Hệ thống nhúng AI như NVIDIA Jetson Nano Developer Kit B01 là một bước tiến quan trọng, cung cấp năng lực tính toán cần thiết để chạy nhiều Neural Networks song song cho các ứng dụng như phân loại hình ảnh, phát hiện đối tượng, và Deep Learning thị giác máy tính với công suất thấp. Thiết bị này hỗ trợ các thư viện phần mềm như CUDA, cuDNN và TensorRT, cùng với các framework phổ biến như TensorFlow, Keras, PyTorch cho đồ án học sâu. (Tham khảo Chương 3 và Hình 3-7: Sơ đồ tổng quan hệ thống điều khiển, Hình 3-15: Bộ JETSON NANO kit từ tài liệu gốc).

Thiết kế cơ khí bao gồm việc tính toán và lựa chọn động cơ băng tải (ví dụ: động cơ giảm tốc 12-24V DS400 công suất 10W), thiết kế hệ thống băng tải với dây đai răng GT2 để đảm bảo độ chính xác truyền động. Tay máy hút bản mạch sử dụng động cơ bước NEMA 17 kết hợp với puli GT2 và giác hút chân không, điều khiển bằng xilanh cốt đôi để thực hiện các thao tác gắp và di chuyển bản mạch một cách linh hoạt. Khung hệ thống được chế tạo từ nhôm định hình, thiết kế trên phần mềm Solidworks, đảm bảo sự vững chắc và dễ dàng lắp đặt. Hệ thống khí nén cung cấp năng lượng cho các xilanh và giác hút, trong khi hệ thống điện với nguồn 24V-3A, mạch Arduino Mega 2560 R3, các module điều khiển động cơ và relay 4 kênh 24V đảm bảo sự vận hành ổn định và đồng bộ của toàn bộ hệ thống. Đặc biệt, camera được lắp đặt phía trên băng tải, kết hợp với hệ thống điều chỉnh ánh sáng, tạo ra môi trường tối ưu cho việc chụp ảnh bản mạch chất lượng cao, tiền đề cho xử lý ảnh với Deep Learning hiệu quả. Sự kết hợp này thể hiện rõ kỹ thuật Cơ Điện Tử và AI trong thiết kế tích hợp.

3.1. Thiết kế cơ khí chính xác Băng tải tay máy và hệ thống khung

Phần cơ khí của đồ án Cơ Điện Tử này được thiết kế với độ chính xác cao để đảm bảo hoạt động ổn định và tin cậy trong môi trường sản xuất. Hệ thống băng tải được tính toán cẩn thận, từ việc lựa chọn động cơ giảm tốc 12-24V DS400 (công suất 10W) có lực kéo phù hợp, đến việc chọn dây đai răng GT2-200mm rộng 6mm để đảm bảo truyền động chính xác và không trượt. Tay máy hút bản mạch sử dụng động cơ bước NEMA 17 kết hợp với puli GT2, cho phép chuyển động tịnh tiến linh hoạt và ít sai số. Giác hút chân không được gắn trên xilanh cốt đôi, thực hiện chức năng gắp và di chuyển bản mạch một cách hiệu quả. Toàn bộ cấu trúc được đỡ bởi khung hệ thống vững chắc, làm từ nhôm định hình (40x20mm và 20x20mm) và được thiết kế chi tiết trên phần mềm Solidworks, tạo sự ổn định và dễ dàng lắp đặt. (Tham khảo Hình 3-1: Động cơ bước Nema 17, Hình 3-2: Khung hệ thống, Hình 3-3: Động cơ giảm tốc, Hình 3-4: Hệ thống truyền động, Hình 3-5: Tay hút bản mạch từ tài liệu gốc).

3.2. Hệ thống điều khiển và Tích hợp Máy tính nhúng NVIDIA Jetson Nano

Hệ thống điều khiển đóng vai trò trung tâm, kết nối và đồng bộ hóa mọi hoạt động của dây chuyền. Mạch Arduino Mega 2560 R3 được sử dụng như 'bộ não', điều khiển các module động cơ (motor DC giảm tốc cho băng tải, động cơ bước NEMA 17 cho tay máy) và module relay 4 kênh 24V cho van điện từ khí nén. Điểm nhấn của hệ thống là việc tích hợp Máy tính nhúng NVIDIA Jetson Nano Developer Kit B01. Đây là một Hệ thống nhúng AI mạnh mẽ, cho phép chạy song song nhiều Neural Networks cho các tác vụ phức tạp như phân loại hình ảnh và phát hiện đối tượng. Jetson Nano hỗ trợ các thư viện Deep Learning thị giác máy tính như CUDA, cuDNN, TensorRT và tương thích với các framework phổ biến như TensorFlow Keras PyTorch cho đồ án. Sự hiện diện của nó đảm bảo khả năng xử lý hình ảnh phức tạp và thực hiện các thuật toán học sâu hiệu quả cho đồ án tốt nghiệp Cơ Điện Tử. Các cảm biến quang được bố trí dọc băng tải để phát hiện bản mạch và điều khiển dừng/chạy băng tải chính xác. (Tham khảo Hình 3-7: Sơ đồ tổng quan hệ thống điều khiển, Hình 3-10 đến 3-17 từ tài liệu gốc).

IV. Phương pháp triển khai Thuật toán AI và Deep Learning trong nhận diện linh kiện

Trái tim của bất kỳ đồ án Cơ Điện Tử: AI & Deep Learning trong Nhận Diện nào chính là các thuật toán xử lý ảnh và học sâu. Để đảm bảo độ chính xác cao nhất, quá trình bắt đầu với camera calibration, một bước thiết yếu để khắc phục các biến dạng quang học (méo xuyên tâm, méo tiếp tuyến) thường gặp ở camera giá rẻ. Bằng cách sử dụng ảnh bàn cờ làm chuẩn và các công thức toán học mô tả sự sai lệch vị trí pixel, hệ thống có thể tính toán các thông số nội tại (intrinsic) và ngoại tại (extrinsic) của camera, giúp hình ảnh đầu vào trở nên chuẩn xác hơn, là nền tảng vững chắc cho các bước xử lý tiếp theo. (Tham khảo Hình 3-19: Hình ảnh bàn cờ dùng để hiệu chỉnh camera từ tài liệu gốc).

Tiếp theo, việc nhận diện đối tượng bằng học sâu được thực hiện thông qua sự kết hợp của nhiều thuật toán mạnh mẽ. Thuật toán ORB (Oriented FAST and Rotated BRIEF) được sử dụng để tìm kiếm và mô tả các đặc trưng nổi bật của đối tượng trong ảnh một cách hiệu quả về thời gian xử lý so với SIFT hay SURF. Sau đó, kỹ thuật Bruce-Force matching giúp nối các điểm đặc trưng tương đồng giữa ảnh gốc và ảnh tham chiếu. Để giải quyết vấn đề bản mạch bị quay lệch hoặc thay đổi kích thước, thuật toán RANSAC (Random Sample Consensus) được áp dụng. RANSAC giúp tìm ra ma trận biến đổi Homography tối ưu, loại bỏ các điểm matching sai (outliers), từ đó căn chỉnh bản mạch về đúng vị trí và tỷ lệ so với ảnh tham chiếu, đảm bảo sự so sánh chính xác cho việc phát hiện lỗi. (Tham khảo Lưu đồ thuật toán Hình 3-18, Hình 3-20, 3-21, 3-22, 3-23 từ tài liệu gốc). Các mô hình học sâu cho nhận diện như Mạng nơ-ron tích chập (CNN), đặc biệt là các kiến trúc như ResNet-50 và MobileNet, cùng với U-Net cho phân đoạn ảnh, đóng vai trò then chốt trong phân loại hình ảnh AI và phát hiện vật thể thời gian thực trên linh kiện. Quá trình này được hỗ trợ bởi các framework như TensorFlow Keras PyTorch cho đồ án, giúp tối ưu hóa việc huấn luyện mô hình Deep Learning với dữ liệu huấn luyện AI đa dạng. (Tham khảo Hình 3-29: Sơ đồ mạng CNN, Hình 3-32: Mô hình mạng Resnet-50, Hình 3-34: Mô hình Residual trong Mobilenet, Hình 3-35: Kiến trúc U-net từ tài liệu gốc).

4.1. Cách hiệu chỉnh Camera và sử dụng thuật toán ORB RANSAC trong nhận diện

Camera calibration là bước tiền xử lý tối quan trọng, giúp hiệu chỉnh các sai lệch quang học của camera, đảm bảo hình ảnh đầu vào cho đồ án Cơ Điện Tử là chính xác và không bị biến dạng. Sau đó, thuật toán ORB được triển khai để trích xuất các điểm đặc trưng nổi bật từ ảnh mạch. ORB nổi bật với hiệu suất cao trong việc xác định các keypoint và mô tả chúng, là cơ sở cho việc tìm kiếm sự tương đồng giữa các ảnh. Để tìm sự tương ứng giữa các điểm đặc trưng trên ảnh cần kiểm tra và ảnh tham chiếu, kỹ thuật Bruce-Force matching được sử dụng, tính toán sai số giữa các vùng lân cận để xác định các cặp điểm tương đồng tiềm năng. Khi bản mạch bị xoay hoặc dịch chuyển, thuật toán RANSAC sẽ can thiệp. RANSAC giúp loại bỏ các điểm matching sai (outliers) và tính toán một ma trận Homography chính xác, từ đó căn chỉnh bản mạch về đúng hướng và kích thước chuẩn, là yếu tố then chốt cho nhận diện đối tượng bằng học sâu hiệu quả, đảm bảo so sánh chính xác và phát hiện lỗi đáng tin cậy. (Tham khảo Hình 3-19, 3-20, 3-21, 3-22, 3-23 từ tài liệu gốc).

4.2. Khám phá Mạng nơ ron tích chập CNN và quy trình huấn luyện mô hình

Mạng nơ-ron tích chập (CNN) là xương sống của Deep Learning trong thị giác máy tính. Các kiến trúc hiện đại như ResNet-50 và MobileNet được sử dụng để trích xuất đặc trưng từ hình ảnh linh kiện, cho phép hệ thống học được các mẫu phức tạp và tinh vi. U-Net có thể được dùng cho các tác vụ phân đoạn ảnh, xác định chính xác vị trí và ranh giới của các lỗi. Quy trình huấn luyện mô hình bắt đầu bằng việc chuẩn bị dữ liệu huấn luyện AI chất lượng cao, thường được thực hiện trên các nền tảng điện toán đám mây như Google Colaboratory. Sau đó, mô hình được huấn luyện trên các framework mạnh mẽ như TensorFlow Keras PyTorch cho đồ án, qua nhiều epoch, điều chỉnh trọng số để tối ưu hóa khả năng phân loại hình ảnh AI và phát hiện vật thể thời gian thực. Cuối cùng, kết quả huấn luyện mô hình được đánh giá kỹ lưỡng để đảm bảo độ chính xác, tốc độ và hiệu suất hoạt động như mong muốn trước khi triển khai thực tế. (Tham khảo Hình 3-29, 3-30, 3-32, 3-34, 3-35, 3-36, 3-37, 3-38, 3-39 từ tài liệu gốc).

V. Ứng dụng thực tiễn Đồ án Cơ Điện Tử Tối ưu Giám sát thông minh AI sản xuất

Việc tích hợp hài hòa các thành phần cơ khí, điện tử và thuật toán AI đã tạo nên một đồ án Cơ Điện Tử: AI & Deep Learning trong Nhận Diện hoàn chỉnh, sẵn sàng cho ứng dụng AI trong tự động hóa sản xuất. Hệ thống này không chỉ dừng lại ở việc thiết kế lý thuyết mà còn đi vào chế tạo và kiểm thử thực tế, mang lại một giải pháp giám sát thông minh AI hiệu quả cho khâu kiểm tra chất lượng mạch điện tử. Giao diện phần mềm, được phát triển bằng QT Designer, cung cấp một bảng điều khiển trực quan và thân thiện với người vận hành. Tại đây, người dùng có thể dễ dàng cấu hình các thông số, theo dõi trực tiếp quá trình kiểm tra, và nhận báo cáo kết quả chi tiết. Hệ thống hiển thị rõ ràng các linh kiện lỗi, giúp người vận hành dễ dàng nhận biết, phân loại và xử lý. (Tham khảo Hình 3-40: Giao diện phần mềm QT Designer, Hình 3-41: Giao diện chương trình chính, Hình 3-42: Bảng điều khiển, Hình 3-43: Bảng lựa chọn công giao tiếp và thông số thuật toán, Hình 3-44: Label thông báo kết quả kiểm tra, Hình 3-45: Scroll bar hiển thị linh kiện lỗi từ tài liệu gốc).

Ứng dụng thực tiễn của đồ án tốt nghiệp Cơ Điện Tử này thể hiện rõ khả năng phát hiện vật thể thời gian thực và phân loại hình ảnh AI trong môi trường công nghiệp. Hệ thống có thể tự động phát hiện các sai sót như thiếu linh kiện, lắp sai hướng, hoặc các khuyết tật trên bề mặt mạch in với độ chính xác cao và tốc độ vượt trội so với con người. Điều này không chỉ giúp nâng cao chất lượng sản phẩm đầu ra mà còn giảm thiểu đáng kể chi phí nhân công và thời gian kiểm tra. Khả năng tối ưu mô hình Deep Learning và triển khai hiệu quả trên Hệ thống nhúng AI như Jetson Nano đảm bảo hiệu suất xử lý nhanh chóng và ổn định trong môi trường sản xuất liên tục. Mục tiêu cuối cùng là xây dựng một hệ thống sản xuất mạch điện tử tự động hóa hoàn chỉnh, đáp ứng nhu cầu thị trường ngày càng tăng về chip và mạch điện tử chất lượng cao, khẳng định vai trò tiên phong của đồ án công nghệ 4.0 trong thực tế. (Tham khảo Hình 3-46: Dialog hiệu chỉnh camera, Hình 3-47: Dialog gán nhãn vùng linh kiện từ tài liệu gốc).

5.1. Triển khai Hệ thống nhúng AI và giao diện điều khiển thực tế

Hệ thống nhúng AI với NVIDIA Jetson Nano Developer Kit B01 đóng vai trò là trái tim xử lý thông minh của toàn bộ giải pháp. Jetson Nano không chỉ cung cấp sức mạnh tính toán cần thiết cho các thuật toán học sâu phức tạp mà còn đảm bảo khả năng phát hiện vật thể thời gian thực và phân loại hình ảnh AI hiệu quả. Giao diện điều khiển được thiết kế bằng QT Designer, mang lại trải nghiệm thân thiện và dễ sử dụng cho người vận hành. Nó bao gồm các chức năng quan trọng như khởi động hệ thống qua Jetson Nano kit, hiển thị kết quả kiểm tra trực quan, bảng điều khiển lựa chọn cổng giao tiếp và thông số thuật toán linh hoạt, cũng như các tính năng nâng cao như hiệu chỉnh camera và gán nhãn vùng linh kiện để tối ưu hóa quá trình học. Sự kết hợp này biến đồ án Cơ Điện Tử thành một công cụ giám sát thông minh AI thực sự, dễ dàng vận hành và tích hợp vào môi trường sản xuất hiện đại. (Tham khảo Hình 3-40 đến 3-47 từ tài liệu gốc).

5.2. Hiệu suất và lợi ích của AI nhận diện trong dây chuyền sản xuất

Hệ thống AI nhận diện được phát triển mang lại hiệu suất vượt trội và nhiều lợi ích đáng kể so với phương pháp kiểm tra thủ công truyền thống. Với khả năng xử lý ảnh với Deep Learning và áp dụng các mô hình học sâu cho nhận diện tiên tiến, hệ thống đạt được độ chính xác gần như tuyệt đối trong việc phát hiện các loại lỗi khác nhau trên bản mạch. Lợi ích chính bao gồm việc tăng năng suất sản xuất do tốc độ kiểm tra nhanh chóng và liên tục, giảm thiểu tối đa sai sót của con người, tiết kiệm đáng kể chi phí nhân công, và nâng cao chất lượng sản phẩm cuối cùng một cách đồng đều. Điều này khẳng định tầm quan trọng của Kỹ thuật Cơ Điện Tử và AI trong việc thúc đẩy ứng dụng AI trong tự động hóa và tạo ra các giải pháp giám sát thông minh AI hiệu quả cho các nhà máy hiện đại, hướng tới mục tiêu đồ án công nghệ 4.0 toàn diện và bền vững, góp phần tăng cường năng lực cạnh tranh trong thị trường toàn cầu.

VI. Tương lai của Đồ án Cơ Điện Tử AI Deep Learning mở rộng Nhận Diện

Với những thành công đã đạt được trong Đồ án Cơ Điện Tử: AI & Deep Learning trong Nhận Diện này, tiềm năng phát triển và ứng dụng trong tương lai là vô cùng rộng lớn. Hệ thống đã chứng minh được khả năng giải quyết các vấn đề kiểm tra ngoại quan mạch điện tử một cách hiệu quả, sử dụng các công nghệ tiên tiến như Deep Learning trong thị giác máy tính, Mạng nơ-ron tích chập (CNN) và Hệ thống nhúng AI. Đây là một bước tiến quan trọng trong việc hiện thực hóa tầm nhìn của đồ án công nghệ 4.0, nơi máy móc không chỉ thực hiện các tác vụ đơn thuần mà còn có khả năng 'nhìn' và 'hiểu' môi trường xung quanh một cách thông minh, đưa ra quyết định dựa trên dữ liệu. Thành công của dự án mở ra nhiều hướng nghiên cứu và phát triển mới, đặc biệt trong việc tối ưu mô hình Deep Learning để đạt hiệu suất cao hơn nữa và mở rộng phạm vi nhận diện đối tượng bằng học sâu cho các loại sản phẩm và quy trình kiểm tra khác nhau trong sản xuất công nghiệp. Điều này cho thấy tiềm năng to lớn của việc tích hợp AI vào các hệ thống Cơ Điện Tử.

Trong tương lai, các đồ án tốt nghiệp Cơ Điện Tử có thể tập trung vào việc tích hợp sâu hơn Kỹ thuật Cơ Điện Tử và AI để tạo ra các hệ thống linh hoạt hơn, có khả năng học hỏi và thích nghi với các biến thể sản phẩm mới mà không cần huấn luyện lại hoàn toàn từ đầu. Điều này bao gồm việc phát triển các mô hình học sâu cho nhận diện với khả năng học chuyển giao (transfer learning) hoặc học tăng cường (reinforcement learning) để tối ưu hóa quá trình nhận diện trong các điều kiện môi trường thay đổi. Việc tận dụng tối đa các framework như TensorFlow Keras PyTorch cho đồ án sẽ tiếp tục là yếu tố then chốt. Hơn nữa, việc tích hợp thêm các loại cảm biến khác ngoài camera, ví dụ như cảm biến 3D hoặc cảm biến quang phổ, có thể nâng cao độ chính xác và khả năng phát hiện vật thể thời gian thực trong các môi trường phức tạp hơn hoặc đối với các loại khuyết tật khó nhìn thấy. Mục tiêu cuối cùng là xây dựng các hệ thống sản xuất hoàn toàn tự động, thông minh, nơi giám sát thông minh AI trở thành tiêu chuẩn, góp phần vào sự phát triển bền vững của ngành công nghiệp hiện đại và thúc đẩy những tiến bộ vượt bậc trong Học máy ứng dụng trong Cơ Điện Tử.

6.1. Tiềm năng mở rộng ứng dụng AI nhận diện cho các ngành công nghiệp khác

Thành công của đồ án Cơ Điện Tử trong lĩnh vực kiểm tra mạch điện tử mở ra cánh cửa cho việc mở rộng ứng dụng AI trong tự động hóa sang nhiều ngành công nghiệp khác. Các công nghệ cốt lõi như Deep Learning trong thị giác máy tính, phân loại hình ảnh AI, và phát hiện vật thể thời gian thực có thể được điều chỉnh và tùy biến để kiểm tra chất lượng sản phẩm trong ngành ô tô, dệt may, thực phẩm, dược phẩm, hoặc thậm chí trong nông nghiệp thông minh. Ví dụ, hệ thống có thể được huấn luyện để nhận diện khuôn mặt Deep Learning cho mục đích an ninh và kiểm soát ra vào trong các nhà máy, hoặc robot và thị giác máy tính có thể thực hiện các tác vụ phức tạp trong kho bãi và logistics. Khả năng tùy chỉnh và tối ưu mô hình Deep Learning trên các Hệ thống nhúng AI với tài nguyên hiệu quả sẽ là chìa khóa để triển khai rộng rãi các giải pháp AI nhận diện trong nhiều lĩnh vực công nghiệp, góp phần nâng cao năng suất và chất lượng toàn diện.

6.2. Hướng phát triển và thách thức của Học máy ứng dụng trong Cơ Điện Tử

Tương lai của Học máy ứng dụng trong Cơ Điện Tử hứa hẹn nhiều đột phá nhưng cũng đi kèm với thách thức. Hướng phát triển sẽ tập trung vào việc tăng cường khả năng tự học và thích nghi của hệ thống, giảm phụ thuộc vào lượng lớn dữ liệu huấn luyện AI ban đầu và đa dạng. Việc phát triển các thuật toán học sâu hiệu quả hơn cho các tình huống thiếu dữ liệu (few-shot learning) hoặc học liên tục (continual learning) là rất cần thiết để ứng dụng AI trong các môi trường sản xuất biến động. Thách thức lớn bao gồm việc tích hợp AI vào các Hệ thống nhúng AI với tài nguyên tính toán và bộ nhớ hạn chế, đảm bảo tính bền vững, an toàn và bảo mật dữ liệu. Ngoài ra, việc tiêu chuẩn hóa các phương pháp đánh giá và đảm bảo tính minh bạch, khả năng giải thích của các mô hình học sâu cho nhận diện cũng là một lĩnh vực cần được nghiên cứu sâu hơn để thúc đẩy sự tin cậy và chấp nhận rộng rãi của công nghệ này trong ngành công nghiệp. Tối ưu mô hình Deep Learning sẽ luôn là mục tiêu quan trọng để đạt được hiệu quả tối đa.

Trích đoạn nội dung tài liệu

Đặt vấn đề Theo sự phát triển của các ngành kỹ thuật công nghệ sản xuất các thiết bị điện, máy công cụ hiện đại, nhu cầu về chip bán dẫn và mạch điện tử tăng cao hơn bao giờ hết. Quy trình sản xuất mạch điện tử là một quá trình phức tạp yêu cầu độ chính xác cao. Do đó, khâu kiểm tra thành phẩm sau khi sản xuât để đảm bảo yêu cầu chất lượng là rất cần thiêt. Với công nghệ ngày càng phát triển, các thiết bị ngày càng được thu nhỏ kích thước, kéo theo đó là sự giảm kích thước của linh kiện và mạch điện tử.

Điều này gây ra sựu khó khăn trong công đoạn kiểm tra ngoại quan mạch điện tử theo cách thủ công. Tốc độ và độ chính xác cuả quá trình kiểm tra thủ công cũng rất hạn chế, tốn nhân lực. Do đó, các nhà máy sản xuất lớn tích cực áp dụng công nghệ, xây dựng dây chuyền tự động hoá khâu sản xuất và kiểm tra sản phẩm để tăng cao năng xuất. Hình 1- 1: Hệ thống kiểm tra mạch trong công nghiệp 1 download by : skknchat@gmail.

Lý do chọn đề tài Hiện nay, phần lớn các dây truyền sản xuất theo hướng công nghiệp với số lượng lớn vừa đòi hỏi độ chính xác cao, vừa phải có năng xuất đáp ứng. Các dây chuyền sản xuất được năng cấp nhằm thay thế con người trong các khâu sản xuất đòi hỏi tốc độ và độ chính xác cao. Đặc biệt trong lĩnh vực sản xuất mạch điện tử yêu cầu mỗi khâu sản xuất phải phải được kiểm tra chất lượng một cách chính xác tuyệt đối. Kiểm tra mạch sử dụng nhân công gặp có nhiều bất lợi như tốc độ chậm, vẫn có khả năng sai sót cao.

Do đó, các nhà máy có nhu cầu xây dựng hệ thống kiểm tra chất lượng mạch tự đông. Ngày nay Thị giác máy tính và AI ngày càng phát triển, áp dụng vào đời sống và sản xuất như tìm kiếm bằng hình ảnh trong thương mại điện tử, bảo mật, giám sát sản xuất tự động hoá, giám sát an ninh, chăm sóc sức khoẻ, xe tự hành,. Thị giác máy tính là lựa chọn hoàn hảo để xây dụng các hệ thống kiểm tra mạch chất lượng sản phẩm, thay thế công việc của con người, tăng độ chính xác và tin cậy. Đảm bảo chất lượng của sản phẩm sau mỗi công đoạn gia công.

Nhóm lựa chọn đề tài “nghiên cứu, thiết kế và chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh” ứng dụng cho kiểm tra ngoại quan các khâu sản xuất mạch điện tử. Ứng dụng công nghệ thị giác máy tính vào khâu kiển tra giúp tăng độ chính xác, năng suất sản xuất và tiết kiệm được nguồn nhận lực. Kết hợp với các dây truyền sản xuất tự động hiện đại khác để tự động hoá nhà máy, hướng đến sản xuất 4. Hình 1- 2: Dây truyền hệ thống kiểm tra mạch 2 download by : skknchat@gmail.

Mục đích nghiên cứu Mục đích nghiện cứu là áp dụng lý thuyết về thị giác máy tính và các kiến thức được học trong trường về chuyên ngành Cơ điện tử để chế tạo hoàn chỉnh hệ thống tự động kiểm tra ngoại quan mạch điện tử ứng dụng thị giác máy tính, phát hiện sai sót trong láp giáp linh kiện hay các khuyết tật cuả thành phẩm. Từ đó áp dụng vào các khâu sản xuất nhằm xây dụng một hệ thống sản xuất mạch điện tử tự động hoá với độ chính xác và năng xuất cao đáp ứng nhu cầu ngày càng tăng của thị trường về chip và mạch điện tử. Nhóm đặt ra mục tiêu: Nghiên cứu, thiết kế và chế tạo hệ thống nhận diện đối tượng sử dụng xử lý ảnh áp dụng cho kiểm tra ngoại quan mạch điện tử. Nghiên cứu và chế tạo mô hình hệ thống thị giác máy tính thực tế thực tế làm mô hình thí nghiệm học tập và nghiên cứu.

Giới hạn nghiên cứu Do kiến thức và thời gian hạn hẹp nên đề tài chỉ thực hiện nghiên cứu những vấn đề như sau: Nghiên cứu giải thuật xử lý ảnh sử dụng OpenCV và Deep learning. Nghiên cứu và Thiết kế hệ thống dây chuyền băng tải phục vụ kiểm tra bảng mạch. 3 download by : [e-mail] CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT 2. Giới thiệu về xử lý ảnh Thị giác máy tính (computer vision) là một lĩnh vực bao gồm các phương tiện thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh và nói chung là dữ liệu đa chiều từ thế giói thực để cho ra các thông tin, từ đó thông tin được đưa vào hệ thống để xử lý và đưa ra quyết định.

Ý tưởng của thị giác máy tính là cố gắng mô phỏng hệ thần kinh thị giác của con người, cung cấp cho hệ thống nhân tạo khả năng thu nhận, phân tích và đưa ra quyết định như con người. sự nhận diện hình ảnh được xem là việc giải quyết thông tin từ dữ liệu hình ảnh qua bằng cách dùng các mô hình được xây dựng nhờ sự giúp đỡ của nghành lý thuyết, thống kê, vật lý và hình học. Thị giác máy tính cũng được mô tả như sự tổng thể của một rải rộng các quá trình chọn lọc, xử lý và phân tích một cách tự động thông tin môi trường và các đối tượng thông qua dữ liệu dưới dạng hình ảnh số. Hình 2- 1: Mô hình nhận diện đối tượng 4 download by : [e-mail] Thị giác máy tính cũng là một môn học khoa học liên quan đến lý thuyết đằng sau các hệ thống nhân tạo có trích xuất các thông tin từ các hình ảnh.

Hệ thống Thị Hình 2- 2: Ứng dụng xử lý ảnh trong ngành y tế giác máy tính có thể nhận thông tin đầu vào dưới nhiều định dạng như chuỗi video, các cảnh từ da camera hay dữ liệu đa chiều từ máy quét sinh học. Nó cũng là một môn khoa học kỹ thuật, trong đó timg kiếm việc áp dụng các mô hình và các lý thuyết cho việc xây dựng các hệ thống thị giác máy tính. Thị giác máy tính được ứng dụng rộng rãi vào nhiều lĩnh vực trong cuộc sống hành ngày và cả trong sản xuất như tái cấu trúc trong thiết kế, dò tìm sự kiện, theo dõi an ninh, nhận diện đối tượng tự động, chăm sóc sức khoẻ, ý tế, hệ thống thông minh, … Xử lý ảnh là một ngành trong xử lý tín hiệu số với tín hiệu số là hình ảnh. Đây là một lĩnh vực khoa học mới rất phát triển trong những năm gần đây.

Nó bao gồm 4 lĩnh vực chính: Xử lý năng cao chất lượng ảnh. - Nhận dạng ảnh. - Truy vấn ảnh. 5 download by : skknchat@gmail.

Giới thiệu OpenCV 2. Giới thiệu về OpenCV Opencv là viết tắt cho thư viện mở của thị giác máy tính được xem là một trong những thư viện mã nguồn mở hàng đầu cho việc xử lý ảnh theo thời gian thực. opencv chính thức được ra mắt lần đầu tiên vào năm 1999, OpenCV là thư viện mã nguồn mở miễn phí cho cả học thuật và thương mại. Nó hỗ trợ đa nền tảng bao gồm Windows, Linux, Mac OS, IOS và cả Android.

OpenCV hộ trợ nhiều ngôn ngữ lập trình như c+ +, python, Java/ nó được viết bằng c/c++ và tích hợp OpenCL bao gồm hơn 2500 thuật toán được tối ưu hoá. Đặc điểm nổi bật: Thư viện OpenCV bao gồm một số tính năng nổi bật như: - Bộ công cụ hỗ trợ 2D và 3D. - Nhận diện khuôn mặt - Nhận diện cử chỉ. - Nhận dạng chuyển động, đối tượng, hành vi, - Tương tác giữa con người và máy tính.

- Điều khiển Robot. - Hỗ trợ thực tế tăng cường. Ứng dụng OpenCV OpenCV hiện có hơn 47 nghìn người dùng và ước tính hơn 14 triệu số lượt tải xuống, thư viện OpenCV được sử dụng rộng rãi trong nhiều lĩnh vực. - Bộ công cụ hỗ trợ 2D và 3D.

- Nhận diện khuôn mặt. - Nhận diện cử chỉ. - Nhận dạng chuyển động, đối tượng, hành vi, - Tương tác giữa con người và máy tính. - Điều khiển Robot.

6 download by : skknchat@gmail.1 Giới thiệu về AI (Artificial Intelligence) và Deep learning  Tổng quan về AI AI (Artificial intelligence) là trí thông minh nhân tạo. Nó là sự mô phỏng các quá trình trí tuệ của con người bằng máy móc, đặc biệt là các hệ thống hệ máy tính. Các ứng dụng cụ thể của AI bao gồm xử lý các ngôn ngữ tự nhiên, nhận dạng giọng nói và thị giác, quản lý hệ thống… Lập trình AI tập trung vào ba kỹ năng nhận thức: học tập, lý luận và tự điều chỉnh Ngày nay AI đang dần được áp dụng rộng rãi trong các mặt của cuộc sống như kinh tế, giáo dục, luật pháp, chăm sóc sức khoẻ, … AI có ưu điểm giải quyết các vấn đề phức tạp đòi hỏi độ chính xác cao một cách thông minh. Mạng lưới thần kinh nhân tạo và công nghệ trí tuệ nhân tạo với khả năng học sâu đang được phát triển với tốc độ chóng mặt nhằm đáp ứng nhu cầu giải quyết các vấn đề ngày càng phức tạp trong đời sông và sản xuất.

Nó tận dụng được khối lượng dữ liệu khổng lồ của Big Data mang lại. Nhược điểm chính của AI là sự tốn kém khi sử lý lượng lớn dữ liệu đầu vào.  Tổng quan về Deep learning Hiện nay, cuộc đua công nghệ 4.0 đang bùng nổ trên toàn cầu. Các nước phát triển đã và đang áp dụng triệt để các công nghệ mới để giải quyết các vấn đề về cuộc sống sinh hoạt và sản xuất.

Khái niệm các nhà máy thông minh 4.0 ra đời với khả năng giao tiếp giữa máy với máy. Một công nghệ AI(Artificial Interlligence) hay cụ thể Machine learning. Ứng dụng của nó xuất hiện ở mợi nới như là: ô to tự lái, chatbot, nhà thông minh, robot y tế, … Khả năng tự học của máy được tăng cường bằng Deep learning, nó được bắt nguồn từ thuật toán Nerual network. Nó là lĩnh vực tiềm năng đang được khai thác mạnh mẽ.

Với khả năng tính toán ngày càng mạnh mẽ của các thế hệ máy tính mới chính là động lực giúp Deep learning phát triển. 7 download by : skknchat@gmail. Neural Network (Mạng thần kinh) Neural là danh từ chỉ các neuron thần kinh của bộ não con người cũng như các loài động vật. Neural network là một hệ thống tính toán mô phỏng cách mà các tế bào thần kinh của bộ não làm việc, xử lý thông tin và đưa ra quyết định.

Neuron là đơn vị cơ bản cấu tạo nên hệ thống thần kinh và là phần quan trọng tạo nên bộ não. Não chúng ta có khoảng 10 triệu neuron và nỗi neuron liên kết với 10000 neuron khác.