MỞ ĐẦU Trong chương này, nội dung sẽ xoay quanh về việc giới thiệu về các lý do lựa chọn đề tài, tổng quan các tài liệu mà học viên tìm hiểu được liên quan đến các đề tài nghiên cứu và ứng dụng kỹ thuật Visual Servoing để bám theo và gắp vật chuyển động cũng như bám theo và trả vật vào tay người đang chuyển động trong không gian ba chiều, từ đó tìm được những vấn đề chưa được giải quyết và đưa ra hướng và đối tượng nghiên cứu cũng như là mục tiêu của luận văn.1 Lý do chọn đề tài: Xu hướng hiện tại của Công nghiệp 4.0 đã hoạch định ra những môi trường nơi mà cả con người và robot cùng chia sẻ hoàn toàn, trong đó Robot hành động và tương tác với môi trường xung quanh cũng như các tác nhân khác như con người [1], [2], một phần vì đã được hỗ trợ bởi những tiến bộ công nghệ trong phần cứng Robot [3]. Đại dịch COVID-19 gần đây đã làm tăng nhu cầu về Robot tự động và hợp tác trong các môi trường như viện dưỡng lão và bệnh viện [4], [5]. Theo đó, Tương tác giữa người và Robot (HRI) được nêu bật nổi bật trong lộ trình phát triển Robot của Châu Âu, Úc, Nhật Bản và Hoa Kỳ [6]–[9]. Ưu điểm của hệ thống tương tác giữa người và robot có thể trải rộng trên nhiều lĩnh vực.
Lấy ví dụ điển hình ở nơi mà robot có nhiều tiềm năng để thể hiện khả năng của mình đó là trong một nhà máy sản xuất, nơi công nhân có thể được giảm bớt số lượng và tập trung vào chất lượng cho các nhiệm vụ có kỹ năng nhận thức và thao tác cao, đồng thời chuyển các nhiệm vụ lặp đi lặp lại, không yêu cầu nhận thức và kỹ năng tay nghề cao và mang tính nguy hiểm cho trợ lý Robot. Việc triển khai hiệu quả các trợ lý robot trong nhiệm vụ tương tác có thể cải thiện cả chất lượng công việc và trải nghiệm của con người. Với công nghệ phát triển nhanh chóng và nhu cầu gia tăng trong các ứng dụng Robot tương tác qua lại với con người (Human-Robot-Handover) hiện nay đã mở ra cho con người rất nhiều hướng nghiên cứu mới đầy tiềm năng và triển vọng. Các hệ LUẬN VĂN THẠC SĨ TRANG 1 thống Robot hiện nay có sự khác biệt với các hệ thống Robot trước đây về khả năng tương tác với các đối tượng môi trường xung quanh đặc biệt là con người là vì chúng đã có thể được tích hợp các thiết bị thu thập dữ liệu môi trường mạnh mẽ hơn như các loại cảm biến hoặc Camera nhằm mục đích cung cấp những thông tin đáng tin cậy và chính xác cho Robot.
Tiềm năng nhất phải kể đến đó chính là các hệ thống tương tác có tích hợp Camera và Computer Vision cho Robot. Đa dạng các loại dữ liệu như đặc điểm nhận dạng của môi trường, hay một vật thể cụ thể bất kì có thể được thu thập bằng Camera điển hình như kích thước, màu sắc, hình dáng, vị trí, góc xoay. Từ đó Robot có thể linh hoạt xử lý được những thông tin có độ tin cậy cao và có khả năng đưa ra những quyết định chính xác. Nghiên cứu về các giải pháp tương tác giữa người và robot một đề tài rất mới.
Ví dụ, nếu robot dựa vào các cảm biến hoặc các thông tin từ camera có thể biết được tư thế bàn tay hoặc các bộ phận khác của con người từ đó phân tích ra hành vi của con người .Sau đó con người có thể đưa ra các yêu cầu cho Robot chuyển những đồ vật từ kho hoặc ở những vị trí bất tiện cho con người sau đó giao đến tận tay họ. Hoặc các doanh nghiệp kinh doanh dịch vụ có thể ứng dụng vào trong các cánh tay Robot phục vụ nhằm ứng phó với các đại dịch mới nguy hiểm hơn Covid- 19 có thể xuất hiện trong tương lai. Cốt lõi của tương tác người v là tạo ra một hệ thống tương tác nhanh chóng và chính xác để tăng khả năng tương tác và đáp ứng của Robot đến môi trường. Khi con người cần Robot giữ một vật gì đó hoặc khi Robot đang giữ một vật gì đó mà con người cần.
Con người có thể giao mệnh lệnh cho Robot đưa đúng vào vị trí và tư thế của bàn tay người chỉ với một hành động ngửa tay và đợi Qua các ý tưởng và phân tích trên, học viên quyết định chọn đề tài “Điều Khiển Bám Theo Và Gắp Vật Chuyển Động Trong Không Gian 3-D Sử Dụng Kỹ Thuật Visual Servoing Và Stereo Vision” làm luận văn thạc sĩ để nghiên cứu về lĩnh vực tương tác giữa người và robot. LUẬN VĂN THẠC SĨ TRANG 2 1.2 Tổng quan tài liệu: Trước tiên, để tiếp cận với đề tài thì học viên đã tập trung vào các từ khóa và các nghiên cứu trước đây về các chủ đề liên quan đến thao tác giữa con người với Robot. Từ đó đặt ra rất nhiều vấn đề nghiên cứu về các cách thức và phương pháp quy hoạch chuyển giao và tương tác giữa con người với Robot cũng như yêu cầu về hiệu suất của robot để đáp ứng được con người trong thời gian thực. Giới thiệu về hướng đi của đề tài, chuyển giao là một hành động hợp tác chung mô tả sự trao đồ vật giữa người cho và người nhận.
Vai trò của người cho và người nhận ở đây có thể hoán đổi linh hoạt giữa người và Robot. Hình 1-1 Minh họa về công tác chuyển giao đồ vật giữa Robot và người. Sự hợp tác giữa con người cùng Robot hoặc tương tác giữa con người với Robot là những từ khóa thường xuyên được nhắc đến trong cộng đồng nghiên cứu hiện nay. Trong các nghiên cứu của các nhóm tác giả [3], [11] để đánh giá về sự hợp tác thể chất và [12], [13] để có cái nhìn tổng quan về các khía cạnh nhận thức.
Có thể thấy sự quan tâm cực kỳ lớn đối với hướng nghiên cứu về tương tác giữa người và Robot [14]–[16]. Trong bối cảnh này, Robot phải có khả năng trao đổi đồ vật để hợp tác và tương tác thành công trong các nhiệm vụ thao tác, như trong minh họa Hình 1-1. Ví dụ, hãy xem xét một nhiệm vụ lắp ráp trong đó người vận hành con người phải lắp ráp một chi tiết cơ khí hoặc một món đồ nội thất phức tạp và cần có một công cụ. Trợ lý robot phải có khả năng tìm và chuyển công cụ cho người vận hành.
Hoặc hãy xem xét một robot dịch vụ phát tờ rơi cho người qua đường [17] hoặc phục LUẬN VĂN THẠC SĨ TRANG 3 vụ đồ uống [18]. Một ví dụ khác có thể là một người thợ cơ khí yêu cầu một dụng cụ khi ở dưới ô tô, trong trường hợp này, phạm vi chuyển động của người thợ máy là cực kỳ hạn chế và cần phải cẩn thận hơn để có thể tiếp nhận từ robot những dụng cụ đó [19]. Cụ thể hơn là các hệ Robot trực tiếp giúp đỡ con người trong đời sống hằng ngày như một cánh tay thứ ba. Nhóm nghiên cứu [21] đã đưa ra một nghiên cứu về ứng dụng tương tác giữa con người và Robot, trong đó mô hình chú trọng việc sử dụng Computer Vision (YOLO object detection) để nhận diện cả vật thể và bàn tay người cầm vật.
Hình 1-2 Ứng dụng tương tác [21] con người giao vật thể bất kỳ để Robot gắp vật từ tay người dựa vào thông tin của Camera. Tác giả Naresh Marturi [22] đã đưa ra một hệ Human to Robot Handover với nền tảng là kỹ thuật Visual Servoing được đưa ra với cấu hình 2 camera hỗn hợp (ETH và EIH). Trong khi camera số 1 (đặt ở vị trí cố định) có nhiệm vụ giám sát tương tác của con người và Robot thì camera số 2 (gắn trên điểm làm việc của Robot) tập trung trong việc phân tích cấu trúc 3D của vật thể và bàn tay người cầm vật thể bằng cách thu thập đám mây điểm từ đó suy ra một tập hợp các khả năng mà Robot có thể gắp vật từ tay người một cách chính xác và an toàn LUẬN VĂN THẠC SĨ TRANG 4 Hình 1-3 Cánh tay Robot gắp vật từ bàn tay người [22] sử dụng thông tin từ 2 camera đặt ở 2 vị trí khác nhau. Chi tiết hơn về kỹ thuật Visual Servoing.
Để có thể ứng dụng một cơ cấu chấp hành đủ linh hoạt như là cánh tay robot phục vụ cho nhiệm vụ tương tác với con người, kỹ thuật Visual Servoing sẽ là phương pháp chính mà học viên sử dụng trong luận văn này. Đầu tiên vì các hệ thống visual servoing có tính kết nối cao với các thiết bị thu thập dữ liệu đặc biệt là camera. Tiếp theo đó là visual servoing bao gồm tập hợp các giải pháp có tính thực tế và tốc độ đáp ứng cao, phù hợp cho các hệ thống mà ở đó yêu cầu robot phải đáp ứng một đối tượng khó đoán và tức thời như con người. Đây là một hệ thống điều khiển vòng kín dựa trên thông tin phối hợp giữa hệ thống Camera và hệ thống Cơ cấu chấp hành.
Hệ thống Visual Servoing bao gồm 3 phần chính. Phần phản hồi từ thị giác máy tính bao gồm một hoặc nhiều Camera. Phần chấp hành có thể là các cơ cấu tự động thông dụng như Pick & Place, Mobile Robot, cánh tay Robot. Phần xử lý trung tâm có thể là một CPU của một máy tính nhúng để có thể vừa thu thập dữ liệu phản hồi từ thị giác máy và phân tích, xử lý để thu được kết quả ban đầu là thông tin của vật thể.
Mặt khác, sau khi có được thông tin thì CPU tiến hành xử lý thông tin đã thu được thông qua thuật toán điều khiển để đưa ra được quyết định điều khiển phù hợp cho Robot, tín hiệu điều khiển sẽ được truyền đến cho Robot thông qua nhiều phương thức truyền thông thông dụng hiện nay như Ethernet TCP/IP hoặc UDP, ROS … LUẬN VĂN THẠC SĨ TRANG 5 Hình 1-4 Sơ đồ tổng quan cấu hình hệ thống Visual Servoing. Sau khi tham khảo một số bài báo về ứng dụng thực tiễn của các hệ Visual Servoing. Nhóm nghiên cứu của tác giả Juan D. Gamba [23] đã đưa ra một ý tưởng và trình bày về một hệ thống ứng dụng cấu hình Image-Based Visual Servoing cho thu hoạch nông nghiệp, cụ thể là cánh tay Robot được đặt trên một Mobile Robot sẽ di chuyển và thu hoạch những quả dâu chín trên cây mà nó phát hiện được dựa vào hình ảnh thu thập từ Camera được gắn trên End-Effector của Robot.
Hình 1-5 Robot thu hoạch nông sản [23] ứng dụng kỹ thuật IBVS cho nông nghiệp.