Luận văn thạc sĩ kỹ thuật điều khiển và tự động hóa điều khiển bám theo và bắt vật chuyển động trong không gian 3d sử dụng kỹ thuật stereo vision và visual servoing

Luận văn thạc sĩ kỹ thuật nghiên cứu kỹ thuật điều khiển và tự động hóa điều khiển bám theo và bắt vật chuyển động trong không gian 3d, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Trần Minh Kiệt
• Người hướng dẫn: TS. Nguyễn Vĩnh Hảo
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
• Đề tài: Điều Khiển Bám Theo Và Bắt Vật Chuyển Động Trong Không Gian 3-D Sử Dụng Kỹ Thuật Stereo Vision Và Visual Servoing
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Tổng quan về nghiên cứu điều khiển bám theo và bắt vật 3D

Nghiên cứu điều khiển bám theo và bắt vật 3D bằng kỹ thuật stereo vision và visual servoing đang trở thành một lĩnh vực quan trọng trong tự động hóa và robot. Các công nghệ này cho phép robot nhận diện và tương tác với các đối tượng trong không gian ba chiều một cách chính xác. Việc áp dụng visual servoing giúp robot có khả năng điều khiển chính xác hơn trong việc bám theo và gắp các vật thể đang di chuyển. Điều này không chỉ nâng cao hiệu suất làm việc của robot mà còn mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như sản xuất, y tế và dịch vụ.

1.1. Lý do chọn đề tài nghiên cứu điều khiển bám theo

Xu hướng phát triển công nghiệp 4.0 đã tạo ra nhu cầu cao về robot có khả năng tương tác với con người. Việc nghiên cứu stereo vision và visual servoing giúp cải thiện khả năng của robot trong việc bám theo và gắp vật thể, từ đó nâng cao hiệu quả công việc.

1.2. Tổng quan về công nghệ stereo vision và visual servoing

Công nghệ stereo vision cho phép robot thu thập thông tin về không gian ba chiều từ hai hoặc nhiều camera. Kết hợp với visual servoing, robot có thể điều khiển chính xác vị trí và hướng của mình để bám theo các vật thể đang di chuyển.

II. Thách thức trong nghiên cứu điều khiển bám theo và bắt vật 3D

Mặc dù có nhiều tiến bộ trong công nghệ, việc điều khiển bám theo và bắt vật 3D vẫn gặp phải nhiều thách thức. Các vấn đề như độ chính xác trong việc phát hiện và ước lượng tư thế của vật thể, cũng như khả năng xử lý thông tin trong thời gian thực là những yếu tố quan trọng cần được giải quyết. Hệ thống cần phải có khả năng hoạt động hiệu quả trong các điều kiện môi trường khác nhau, từ ánh sáng yếu đến các vật thể có hình dạng phức tạp.

2.1. Độ chính xác trong phát hiện và ước lượng tư thế

Độ chính xác trong việc phát hiện và ước lượng tư thế của vật thể là một trong những thách thức lớn nhất. Các thuật toán cần phải được tối ưu hóa để giảm thiểu sai số và tăng cường khả năng nhận diện trong các điều kiện khác nhau.

2.2. Khả năng xử lý thông tin trong thời gian thực

Hệ thống cần có khả năng xử lý thông tin nhanh chóng để đáp ứng kịp thời với các thay đổi trong môi trường. Việc tối ưu hóa thuật toán và phần cứng là cần thiết để đảm bảo hiệu suất cao trong các ứng dụng thực tế.

III. Phương pháp nghiên cứu điều khiển bám theo và bắt vật 3D

Để giải quyết các thách thức trong nghiên cứu, nhiều phương pháp đã được phát triển. Việc sử dụng bộ phát hiện và ước lượng tư thế là rất quan trọng trong việc xác định vị trí của vật thể. Các thuật toán như Kalman filter được áp dụng để dự đoán chuyển động của vật thể, từ đó giúp robot có thể bám theo một cách chính xác hơn.

3.1. Xây dựng bộ phát hiện và ước lượng tư thế

Bộ phát hiện và ước lượng tư thế được xây dựng để nhận diện vật thể và bàn tay người. Việc sử dụng các cảm biến và camera giúp thu thập dữ liệu chính xác cho quá trình này.

3.2. Ứng dụng thuật toán Kalman trong dự đoán chuyển động

Thuật toán Kalman filter được sử dụng để dự đoán chuyển động của vật thể, giúp robot có thể điều chỉnh hành động của mình một cách linh hoạt và chính xác.

IV. Ứng dụng thực tiễn của nghiên cứu điều khiển bám theo và bắt vật 3D

Nghiên cứu điều khiển bám theo và bắt vật 3D có nhiều ứng dụng thực tiễn trong đời sống. Từ việc hỗ trợ trong sản xuất công nghiệp đến các ứng dụng trong y tế, robot có thể thực hiện các nhiệm vụ phức tạp một cách hiệu quả. Hệ thống robot có khả năng tương tác với con người, giúp nâng cao chất lượng công việc và giảm thiểu rủi ro trong các tình huống nguy hiểm.

4.1. Ứng dụng trong sản xuất công nghiệp

Robot có thể được sử dụng để tự động hóa các quy trình sản xuất, từ việc lắp ráp đến kiểm tra chất lượng sản phẩm. Điều này giúp tăng năng suất và giảm chi phí lao động.

4.2. Ứng dụng trong lĩnh vực y tế

Trong lĩnh vực y tế, robot có thể hỗ trợ bác sĩ trong các ca phẫu thuật hoặc thực hiện các nhiệm vụ chăm sóc bệnh nhân, từ đó nâng cao chất lượng dịch vụ y tế.

V. Kết luận và hướng phát triển tương lai của nghiên cứu

Nghiên cứu điều khiển bám theo và bắt vật 3D bằng stereo vision và visual servoing đã mở ra nhiều cơ hội mới cho robot trong việc tương tác với con người và môi trường. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều cải tiến trong công nghệ robot, từ đó nâng cao hiệu quả và an toàn trong các ứng dụng thực tiễn.

5.1. Tóm tắt những kết quả đạt được

Nghiên cứu đã đạt được nhiều kết quả tích cực trong việc phát triển hệ thống robot có khả năng bám theo và gắp vật thể một cách chính xác và hiệu quả.

5.2. Hướng phát triển trong tương lai

Hướng phát triển trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và tốc độ xử lý của hệ thống, cũng như mở rộng ứng dụng của robot trong nhiều lĩnh vực khác nhau.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Trong chương này, nội dung sẽ xoay quanh về việc giới thiệu về các lý do lựa chọn đề tài, tổng quan các tài liệu mà học viên tìm hiểu được liên quan đến các đề tài nghiên cứu và ứng dụng kỹ thuật Visual Servoing để bám theo và gắp vật chuyển động cũng như bám theo và trả vật vào tay người đang chuyển động trong không gian ba chiều, từ đó tìm được những vấn đề chưa được giải quyết và đưa ra hướng và đối tượng nghiên cứu cũng như là mục tiêu của luận văn.1 Lý do chọn đề tài: Xu hướng hiện tại của Công nghiệp 4.0 đã hoạch định ra những môi trường nơi mà cả con người và robot cùng chia sẻ hoàn toàn, trong đó Robot hành động và tương tác với môi trường xung quanh cũng như các tác nhân khác như con người [1], [2], một phần vì đã được hỗ trợ bởi những tiến bộ công nghệ trong phần cứng Robot [3]. Đại dịch COVID-19 gần đây đã làm tăng nhu cầu về Robot tự động và hợp tác trong các môi trường như viện dưỡng lão và bệnh viện [4], [5]. Theo đó, Tương tác giữa người và Robot (HRI) được nêu bật nổi bật trong lộ trình phát triển Robot của Châu Âu, Úc, Nhật Bản và Hoa Kỳ [6]–[9]. Ưu điểm của hệ thống tương tác giữa người và robot có thể trải rộng trên nhiều lĩnh vực.

Lấy ví dụ điển hình ở nơi mà robot có nhiều tiềm năng để thể hiện khả năng của mình đó là trong một nhà máy sản xuất, nơi công nhân có thể được giảm bớt số lượng và tập trung vào chất lượng cho các nhiệm vụ có kỹ năng nhận thức và thao tác cao, đồng thời chuyển các nhiệm vụ lặp đi lặp lại, không yêu cầu nhận thức và kỹ năng tay nghề cao và mang tính nguy hiểm cho trợ lý Robot. Việc triển khai hiệu quả các trợ lý robot trong nhiệm vụ tương tác có thể cải thiện cả chất lượng công việc và trải nghiệm của con người. Với công nghệ phát triển nhanh chóng và nhu cầu gia tăng trong các ứng dụng Robot tương tác qua lại với con người (Human-Robot-Handover) hiện nay đã mở ra cho con người rất nhiều hướng nghiên cứu mới đầy tiềm năng và triển vọng. Các hệ LUẬN VĂN THẠC SĨ TRANG 1 thống Robot hiện nay có sự khác biệt với các hệ thống Robot trước đây về khả năng tương tác với các đối tượng môi trường xung quanh đặc biệt là con người là vì chúng đã có thể được tích hợp các thiết bị thu thập dữ liệu môi trường mạnh mẽ hơn như các loại cảm biến hoặc Camera nhằm mục đích cung cấp những thông tin đáng tin cậy và chính xác cho Robot.

Tiềm năng nhất phải kể đến đó chính là các hệ thống tương tác có tích hợp Camera và Computer Vision cho Robot. Đa dạng các loại dữ liệu như đặc điểm nhận dạng của môi trường, hay một vật thể cụ thể bất kì có thể được thu thập bằng Camera điển hình như kích thước, màu sắc, hình dáng, vị trí, góc xoay. Từ đó Robot có thể linh hoạt xử lý được những thông tin có độ tin cậy cao và có khả năng đưa ra những quyết định chính xác. Nghiên cứu về các giải pháp tương tác giữa người và robot một đề tài rất mới.

Ví dụ, nếu robot dựa vào các cảm biến hoặc các thông tin từ camera có thể biết được tư thế bàn tay hoặc các bộ phận khác của con người từ đó phân tích ra hành vi của con người .Sau đó con người có thể đưa ra các yêu cầu cho Robot chuyển những đồ vật từ kho hoặc ở những vị trí bất tiện cho con người sau đó giao đến tận tay họ. Hoặc các doanh nghiệp kinh doanh dịch vụ có thể ứng dụng vào trong các cánh tay Robot phục vụ nhằm ứng phó với các đại dịch mới nguy hiểm hơn Covid- 19 có thể xuất hiện trong tương lai. Cốt lõi của tương tác người v là tạo ra một hệ thống tương tác nhanh chóng và chính xác để tăng khả năng tương tác và đáp ứng của Robot đến môi trường. Khi con người cần Robot giữ một vật gì đó hoặc khi Robot đang giữ một vật gì đó mà con người cần.

Con người có thể giao mệnh lệnh cho Robot đưa đúng vào vị trí và tư thế của bàn tay người chỉ với một hành động ngửa tay và đợi Qua các ý tưởng và phân tích trên, học viên quyết định chọn đề tài “Điều Khiển Bám Theo Và Gắp Vật Chuyển Động Trong Không Gian 3-D Sử Dụng Kỹ Thuật Visual Servoing Và Stereo Vision” làm luận văn thạc sĩ để nghiên cứu về lĩnh vực tương tác giữa người và robot. LUẬN VĂN THẠC SĨ TRANG 2 1.2 Tổng quan tài liệu: Trước tiên, để tiếp cận với đề tài thì học viên đã tập trung vào các từ khóa và các nghiên cứu trước đây về các chủ đề liên quan đến thao tác giữa con người với Robot. Từ đó đặt ra rất nhiều vấn đề nghiên cứu về các cách thức và phương pháp quy hoạch chuyển giao và tương tác giữa con người với Robot cũng như yêu cầu về hiệu suất của robot để đáp ứng được con người trong thời gian thực. Giới thiệu về hướng đi của đề tài, chuyển giao là một hành động hợp tác chung mô tả sự trao đồ vật giữa người cho và người nhận.

Vai trò của người cho và người nhận ở đây có thể hoán đổi linh hoạt giữa người và Robot. Hình 1-1 Minh họa về công tác chuyển giao đồ vật giữa Robot và người. Sự hợp tác giữa con người cùng Robot hoặc tương tác giữa con người với Robot là những từ khóa thường xuyên được nhắc đến trong cộng đồng nghiên cứu hiện nay. Trong các nghiên cứu của các nhóm tác giả [3], [11] để đánh giá về sự hợp tác thể chất và [12], [13] để có cái nhìn tổng quan về các khía cạnh nhận thức.

Có thể thấy sự quan tâm cực kỳ lớn đối với hướng nghiên cứu về tương tác giữa người và Robot [14]–[16]. Trong bối cảnh này, Robot phải có khả năng trao đổi đồ vật để hợp tác và tương tác thành công trong các nhiệm vụ thao tác, như trong minh họa Hình 1-1. Ví dụ, hãy xem xét một nhiệm vụ lắp ráp trong đó người vận hành con người phải lắp ráp một chi tiết cơ khí hoặc một món đồ nội thất phức tạp và cần có một công cụ. Trợ lý robot phải có khả năng tìm và chuyển công cụ cho người vận hành.

Hoặc hãy xem xét một robot dịch vụ phát tờ rơi cho người qua đường [17] hoặc phục LUẬN VĂN THẠC SĨ TRANG 3 vụ đồ uống [18]. Một ví dụ khác có thể là một người thợ cơ khí yêu cầu một dụng cụ khi ở dưới ô tô, trong trường hợp này, phạm vi chuyển động của người thợ máy là cực kỳ hạn chế và cần phải cẩn thận hơn để có thể tiếp nhận từ robot những dụng cụ đó [19]. Cụ thể hơn là các hệ Robot trực tiếp giúp đỡ con người trong đời sống hằng ngày như một cánh tay thứ ba. Nhóm nghiên cứu [21] đã đưa ra một nghiên cứu về ứng dụng tương tác giữa con người và Robot, trong đó mô hình chú trọng việc sử dụng Computer Vision (YOLO object detection) để nhận diện cả vật thể và bàn tay người cầm vật.

Hình 1-2 Ứng dụng tương tác [21] con người giao vật thể bất kỳ để Robot gắp vật từ tay người dựa vào thông tin của Camera. Tác giả Naresh Marturi [22] đã đưa ra một hệ Human to Robot Handover với nền tảng là kỹ thuật Visual Servoing được đưa ra với cấu hình 2 camera hỗn hợp (ETH và EIH). Trong khi camera số 1 (đặt ở vị trí cố định) có nhiệm vụ giám sát tương tác của con người và Robot thì camera số 2 (gắn trên điểm làm việc của Robot) tập trung trong việc phân tích cấu trúc 3D của vật thể và bàn tay người cầm vật thể bằng cách thu thập đám mây điểm từ đó suy ra một tập hợp các khả năng mà Robot có thể gắp vật từ tay người một cách chính xác và an toàn LUẬN VĂN THẠC SĨ TRANG 4 Hình 1-3 Cánh tay Robot gắp vật từ bàn tay người [22] sử dụng thông tin từ 2 camera đặt ở 2 vị trí khác nhau. Chi tiết hơn về kỹ thuật Visual Servoing.

Để có thể ứng dụng một cơ cấu chấp hành đủ linh hoạt như là cánh tay robot phục vụ cho nhiệm vụ tương tác với con người, kỹ thuật Visual Servoing sẽ là phương pháp chính mà học viên sử dụng trong luận văn này. Đầu tiên vì các hệ thống visual servoing có tính kết nối cao với các thiết bị thu thập dữ liệu đặc biệt là camera. Tiếp theo đó là visual servoing bao gồm tập hợp các giải pháp có tính thực tế và tốc độ đáp ứng cao, phù hợp cho các hệ thống mà ở đó yêu cầu robot phải đáp ứng một đối tượng khó đoán và tức thời như con người. Đây là một hệ thống điều khiển vòng kín dựa trên thông tin phối hợp giữa hệ thống Camera và hệ thống Cơ cấu chấp hành.

Hệ thống Visual Servoing bao gồm 3 phần chính. Phần phản hồi từ thị giác máy tính bao gồm một hoặc nhiều Camera. Phần chấp hành có thể là các cơ cấu tự động thông dụng như Pick & Place, Mobile Robot, cánh tay Robot. Phần xử lý trung tâm có thể là một CPU của một máy tính nhúng để có thể vừa thu thập dữ liệu phản hồi từ thị giác máy và phân tích, xử lý để thu được kết quả ban đầu là thông tin của vật thể.

Mặt khác, sau khi có được thông tin thì CPU tiến hành xử lý thông tin đã thu được thông qua thuật toán điều khiển để đưa ra được quyết định điều khiển phù hợp cho Robot, tín hiệu điều khiển sẽ được truyền đến cho Robot thông qua nhiều phương thức truyền thông thông dụng hiện nay như Ethernet TCP/IP hoặc UDP, ROS … LUẬN VĂN THẠC SĨ TRANG 5 Hình 1-4 Sơ đồ tổng quan cấu hình hệ thống Visual Servoing. Sau khi tham khảo một số bài báo về ứng dụng thực tiễn của các hệ Visual Servoing. Nhóm nghiên cứu của tác giả Juan D. Gamba [23] đã đưa ra một ý tưởng và trình bày về một hệ thống ứng dụng cấu hình Image-Based Visual Servoing cho thu hoạch nông nghiệp, cụ thể là cánh tay Robot được đặt trên một Mobile Robot sẽ di chuyển và thu hoạch những quả dâu chín trên cây mà nó phát hiện được dựa vào hình ảnh thu thập từ Camera được gắn trên End-Effector của Robot.

Hình 1-5 Robot thu hoạch nông sản [23] ứng dụng kỹ thuật IBVS cho nông nghiệp.