CHƯƠNG 1. TỔNG QUAN • Chương 5: Kết quả - Nhận xét Chương này trình bày về kết quả đạt được sau một thời gian nghiên cứu, một số hình ảnh của hệ thống, đưa ra những nhận xét, đánh giá toàn bộ hệ thống. • Chương 6: Kết luận và hướng phát triển Chương này trình bày những điểm quan trọng nhất mà đề tài đã đạt được và chưa đạt được từ đó đưa ra hướng phát triển cho đề tài. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 4 CHƯƠNG 2.
CƠ SỞ LÝ THUYẾT Chương 2.1 Tổng quan về nhận diện vật thể (Object Detection) Nhận diện vật thể là bài toán thị giác máy tính - một trong những lĩnh vực quan trọng của Trí tuệ nhân tạo. Bài toán này đề cập đến khả năng của hệ thống máy tính và phần mềm để xác định các đối tượng và vị trí của chúng trong một hình ảnh hoặc một video. Đã có rất nhiều ứng dụng được xây dựng dựa trên bài toán này như phát hiện gương mặt, phát hiện xe, camera giám sát, đếm số lượng sản phẩm,. Có thể nói nhận diện vật thể là tập hợp các nhiệm vụ thị giác máy tính có liên quan đến việc xác định đối tượng trong ảnh gồm phân loại hình ảnh, định vị đối tượng, phát hiện đối tượng.
Phân loại hình ảnh liên quan đến việc dự đoán lớp của một đối tượng trong một hình ảnh. Định vị vật thể đề cập đến việc xác định vị trí của một hoặc nhiều đối tượng trong một hình ảnh và vẽ bounding box xung quanh chúng. Các bounding box này được xác định bởi tọa độ tâm, chiều rộng và chiều cao của vật thể. Và cuối cùng là phát hiện đối tượng sẽ kết hợp cả hai nhiệm vụ trên là xác định vị trí hiện diện của các đối tượng trong bounding box và nhãn của các đối tượng nằm trong một hình ảnh [7].1: Bài toán nhận diện vật thể BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 5 CHƯƠNG 2.
CƠ SỞ LÝ THUYẾT Các thuật toán nhận diện vật thể có thể được chia thành hai loại chính: phát hiện một giai đoạn (Single-shot object detection) và phát hiện hai giai đoạn (Two-shot object detection). Single-shot object detection: Sử dụng một lần truyền hình ảnh đầu vào để đưa ra dự đoán về sự hiện diện và vị trí của các đối tượng trong ảnh. Nó xử lý toàn bộ hình ảnh trong một lần chạy, khiến chúng trở nên hiệu quả về mặt tính toán. Two-shot object detection: Sử dụng hai lần truyền hình ảnh đầu vào để đưa ra dự đoán về sự hiện diện và vị trí của đối tượng.
Lượt đầu tiên được sử dụng để tạo một tập hợp các đề xuất hoặc vị trí tiềm năng của đối tượng. Lượt thứ hai được sử dụng để tinh chỉnh các đề xuất này và đưa ra dự đoán cuối cùng. Cách tiếp cận này chính xác hơn Single-shot object detection nhưng cũng tốn kém hơn về mặt tính toán [8] .2 Tổng quan về theo dõi vật thể (Object Tracking) Theo dõi vật thể (Object Tracking) là bài toán theo dõi và định vị một hoặc nhiều vật thể chuyển động trong các khung hình liên tiếp của một video [2]. Khác với Object Detection, Ob- ject Tracking không chỉ xác định vị trí và lớp của vật thể một lần duy nhất, mà nó theo dõi vật thể qua các khung hình liên tiếp trong video.
Nói cách khác nó là một bài toán nâng cấp hơn so với Object Detection. Mục tiêu của Object Tracking là duy trì việc theo dõi vật thể qua thời gian, bằng cách cập nhật vị trí, id của vật thể trong mỗi khung hình. Quá trình này thường bao gồm các bước sau : • Khởi tạo: Chọn một vật thể trong khung hình đầu tiên và xác định vị trí ban đầu của nó. • Xác định đặc trưng: Trích xuất các đặc trưng đại diện cho vật thể được theo dõi, chẳng hạn như màu sắc, texture, hoặc đặc trưng hình học.
• Dự đoán vị trí: Dự đoán vị trí của vật thể trong các khung hình tiếp theo dựa trên các phương pháp như bộ lọc Kalman, particle filter, hoặc mạng nơ-ron. • Cập nhật vị trí: So khớp các đặc trưng của vật thể được dự đoán với các đặc trưng trong khung hình hiện tại để cập nhật vị trí của vật thể. • Kiểm tra và chỉnh sửa: Kiểm tra và điều chỉnh kết quả theo dõi, đối chiếu với các tiêu chí như độ chính xác, độ tin cậy và độ mượt của quá trình theo dõi. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 6 CHƯƠNG 2.
CƠ SỞ LÝ THUYẾT Hình 2.2: Bài toán theo dõi vật thể Object Tracking có thể chia thành 2 cách tiếp cận chính: • Single Object Tracking (SOT): Theo dõi một đối tượng duy nhất trong toàn bộ video. • Mutiple Object Tracking (MOT): Theo dõi đồng thời tất cả các đối tượng trong tầm nhìn, kể cả các đối tượng mới xuất hiện trong video. [2] Bên cạnh việc tiếp cận, các phương pháp giải lớp bài toán này cũng được phân chia rất đa dạng, phổ biến nhất là: • Online Tracking : Sử dụng frame hiện tại và frame ngay trước đó để tracking. • Offline Tracking : Sử dụng toàn bộ frame của video, do đó thường đạt được độ chính xác và được sử dụng nhiều hơn trong thực tế.3 Mô hình YOLOv7 YOLO (You Only Look Once) là một thuật toán phát hiện đối tượng phổ biến đã cách mạng hóa lĩnh vực thị giác máy tính.
Với tốc độ nhận diện nhanh và độ hiệu quả cao mà nó mang lại đã giúp YOLO trở thành một lựa chọn tuyệt vời cho các nhiệm vụ phát hiện đối tượng thời gian thực. YOLO đã đạt được hiệu suất tiên tiến trên nhiều tiêu chuẩn khác nhau và đã được áp dụng rộng rãi trong nhiều ứng dụng thực tế. [8] BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 7 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Một trong những ưu điểm chính của YOLO là tốc độ suy luận nhanh, cho phép nó xử lý hình ảnh theo thời gian thực.
Ngoài ra, YOLO có kiến trúc đơn giản và yêu cầu dữ liệu đào tạo tối thiểu, giúp dễ dàng triển khai và thích ứng với các nhiệm vụ mới [8]. YOLO sử dụng một mạng CNN (mạng nơ-ron tích chập). Mạng CNN này được đào tạo trên một tập dữ liệu lớn gồm các ảnh có chứa các đối tượng được dán nhãn. YOLO hoạt động bằng cách chia ảnh thành một lưới ô vuông.
Đối với mỗi ô vuông, YOLO sẽ thực hiện các dự đoán: • Xác suất: YOLO dự đoán xác suất rằng một ô vuông chứa một đối tượng bằng cách sử dụng một lớp phân loại. Lớp phân loại này nhận đầu vào là một vector đặc trưng từ mạng CNN và trả về một giá trị xác suất từ 0 đến 1. • Loại đối tượng: YOLO dự đoán loại đối tượng mà một ô vuông chứa bằng cách sử dụng một lớp phân loại. Lớp phân loại này nhận đầu vào là một vector đặc trưng từ mạng CNN và trả về một giá trị xác suất cho mỗi loại đối tượng được đào tạo.
• Tọa độ hộp giới hạn: YOLO dự đoán tọa độ của hộp giới hạn bao quanh một đối tượng bằng cách sử dụng ba lớp hồi quy. Mỗi lớp hồi quy nhận đầu vào là một vector đặc trưng từ mạng CNN và trả về một giá trị tương ứng với một tham số của hộp giới hạn. Các tham số này bao gồm trung tâm của hộp giới hạn, chiều rộng và chiều cao của hộp giới hạn, chiều cao của hộp giới hạn so với chiều rộng của hộp giới hạn.3: Ví dụ mô tả cách hoạt động của YOLO BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 8 CHƯƠNG 2.4 Cơ cấu gắp thả vật Cơ cấu gắp thả vật là một hệ thống tự động hóa thực hiện việc gắp và đặt các vật phẩm từ vị trí này sang vị trí khác. Nó được sử dụng rộng rãi trong nhiều ngành công nghiệp sản xuất, ứng dụng trong cái quy trình sản xuất và đóng gói để tăng hiệu suất cũng như đảm bảo được độ chính xác trong việc xử lý và phân loại.
Có nhiều loại cơ cấu gắp thả khác nhau, nhưng nhìn chung tất cả đều bao gồm các thành phần cơ bản sau: • Cánh tay gắp: Đây là phần chính của cơ cấu gắp thả, có nhiệm vụ di chuyển và vận chuyển các đối tượng từ vị trí này sang vị trí khác. Cánh tay gắp thường được điều khiển bằng các động cơ servo hoặc động cơ bước để đạt được độ chính xác và linh hoạt cao. • Cơ cấu truyền động: Cơ cấu này tạo ra chuyển động cho cánh tay gắp và cụm gắp. Cơ cấu có nhiệm vụ đưa tay gắp đến vị trí chính xác của vật cần gắp cũng như vận chuyển vật cần gắp đến vị trí để thả dựa vào hệ tọa độ X,Y,Z.
Cơ cấu là một hệ thống truyền động cơ học, hệ thống truyền động thủy lực gồm các động cơ, dây đai, và bánh răng để di chuyển. • Cụm gắp: Đây là phần cuối được gắn chặt với cánh tay gắp, được thiết kế để gắp chặt các đối tượng và đặt chúng vào vị trí mong muốn. Tùy vào loại đối tượng sản phẩm cần xử lý mà cơ cấu này có thể là một ngón tay kẹp, một nam châm hoặc một hệ thống bơm hút chân không.4: Cấu tạo cơ bản của một cơ cấu gắp thả BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 9 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Ngoài các thành phần cơ bản trên, cơ cấu gắp thả có thể bao gồm các thành phần bổ sung khác, chẳng hạn như: • Hệ thống cảm biến: Hệ thống cảm biến được sử dụng để phát hiện vị trí và trạng thái của vật cần gắp.
Hệ thống cảm biến có thể bao gồm cảm biến quang học, cảm biến tiếp xúc hoặc cảm biến siêu âm. • Hệ thống điều khiển: Hệ thống điều khiển được sử dụng để điều khiển các thành phần của cơ cấu gắp thả. Hệ thống điều khiển có thể là một bộ điều khiển lập trình logic (PLC), một bộ vi xử lý hoặc một hệ thống điều khiển máy tính.5 Chuẩn giao tiếp Serial Giao tiếp serial là một phương thức truyền dữ liệu giữa hai thiết bị điện tử sử dụng một đường truyền duy nhất. Dữ liệu trong chuẩn giao tiếp này được truyền theo dạng nối tiếp, tức là từng bit dữ liệu sẽ được truyền một cách tuần tự.
Trong truyền dẫn nối tiếp có 2 loại chính: • Truyền dẫn nối tiếp đồng bộ: là một phương thức truyền trong đó dữ liệu được truyền dưới dạng một luồng tín hiệu liên tục. Trong phương thức truyền này, dữ liệu được truyền theo các khoảng thời gian được xác định trước theo tín hiệu xung nhịp được xác định trước.