Đặt vấn đề Trong các nhà máy, xưởng sản xuất, robot hiện đang dần thay thế con người trong các nhiệm vụ có tính lặp lại, đòi hỏi sự bền bỉ, độ chính xác cao và có thể làm việc liên tục trong môi trường có tính độc hại. Hệ thống robot gắp vật tự động ra đời từ những yêu cầu thực tiễn đó. Theo như một khảo sát và thống kê của Universal robot, tại Mỹ, có khoảng 38% lực lượng lao động sản xuất thực hiện các thao tác lặp lại việc di chuyển giữa các đồ vật trong thùng và máy móc, 500 nghìn công việc cho vị trí trên cần được lấp đầy. Để giải quyết bài toán này, một mô hình được đề xuất là một hệ thống robot gắp vật tự động (bin-picking robot).
Mô hình robot gắp vật tự động thường bao gồm: Một robot/cánh tay robot có đầu kẹp hoặc hút sử dụng để nhặt đồ trong các thùng chứa; cảm biến 3D để lập bản đồ thùng chứa; phần mềm phân tích hình ảnh để xác định các đối tượng trong Trang 15 thùng chứa hoặc chướng ngại vật; phần mềm tìm kiếm đường đi để tìm quỹ đạo tối ưu di chuyển đến mục tiêu đích, tránh vật cản; phần mềm điều khiển robot.2 Các nghiên cứu gần đây về robot gắp vật tự động Sự phát triển của robot gắp vật tự động đã hỗ trợ con người giải quyết nhiều vấn đề trong khoa học công nghệ cũng như đời sống sản xuất. Tuy nhiên, nó là một lĩnh vực không hề dễ dàng nắm bắt và đang có rất nhiều thách thức trong công nghệ chế tạo. Trong một bài nghiên cứu ở [1], M. Fujata và cộng sự đã đề xuất một giải pháp lựa chọn công nghệ thông qua việc phân tích các chỉ số hiệu suất của bốn hệ thống robot được phát triển cho Amazone Robotics Challenge 2017.
Dựa trên kết quả cuộc thi, nhóm tác giả chỉ ra sự khác biệt giữa các hệ thống này và công nghệ nào là quan trọng đối với cuộc thi và việc sử dụng thực tế trong tương lai theo các chỉ số được đề xuất. Theo đó, các chỉ số về số lần gắp trung bình trong một giờ (MPPH - Mean Picks Per Hour) và thời gian trung bình để sửa chữa (MTTR - Mean Time to Repair) được cho là quan trọng để đánh giá hiệu suất làm việc của robot. Các thuật toán xử lý ảnh 3 chiều kết học thuật toán học sâu như: Mạng thần kinh tích chập (CNN - Convolutional Neural Networks) và các biến thể mạng khác của nó như Faster RCNN, Mask RCNN, YOLO, SSD được đề xuất để giải quyết vấn đề nhận dạng đối tượng.8 Hệ thống robot gắp vật tự động của nhóm MIT-Princeton tại Amazone Robotics Challenge 2017 Trong một nghiên cứu khác ở [2], Ming-Yu Liu và cộng sự đã trình bày một phương pháp hiệu quả để bản địa hóa đối tượng và xác định hướng, tư thế gắp đối tượng một cách nhanh chóng. Theo nghiên cứu này, đầu tiên, nhóm tác giả sử dụng Trang 16 máy ảnh với nhiều đèn flash hỗ trợ nhằm mục đích làm nổi bật cạnh và chiều sâu của chi tiết.
Tiếp đến, nhóm tác giả đề xuất một thuật toán so khớp hình dạng có tên là FDCM (Fast Directional Chamfer Matching) để xác định hướng và tư thế của vật. Bằng cách sử dụng thuật toán FDCM, các hướng và cạnh của chi tiết được xác định chính xác hơn, ứng dụng hiệu quả trong nhận dạng chi tiết bị biến dạng hoặc có khớp nối.9 Hệ thống robot gắp vật được phát triển với Liu. và cộng sự Ưu điểm của hệ thống: - Thời gian nhận dạng nhanh, dễ dàng tùy chỉnh tích hợp thêm đối tượng mới (theo tác giả là dưới 10 phút) - Hệ thống cải thiện được độ chính xác trong phân biệt các chi tiết cùng màu bằng phương pháp chiếu sáng làm nổi bật các hướng và góc cạnh của chi tiết. Một nghiên cứu thú vị khác trong lĩnh vực Robot ở [3] Matthias Nieuwenhuisen và cộng sự đã giới thiệu hệ thống robot hình người mà họ phát triển có tên là Cosero, ứng dụng gắp vật trong ngành dịch vụ.
Hệ thống gồm một robot hình dạng người với hai cánh tay bảy bậc tự do được đặt điều hướng trên một đế có tám bánh xe. Hệ thống cảm nhận chính của robot là camera Kinect DRGB gắn ở đầu và bộ xử lý xách tay Intel I7-Q720. Trang 17 Hình 1.10 Mô hình mobile robot pin-picking của Matthias và cs Phát triển hệ thống robot, nhóm tác giả sử dụng hệ thống camera 3D để quét 3 đám mây điểm chồng lấn nhau (Giữa, Trái, Phải) sau đó sử dụng thuật toán điểm lặp lại gần nhất (ICP - Iterative Closest Point) để căn chỉnh sau các lần quét, chỉ những phần không bị chồng chéo giữa các lần quét sẽ được thêm vào đám mây điểm với mục đích giảm kích thước. Để nhận dạng đối tượng, nhóm tác giả sử dụng thuật toán đồng thuận mẫu ngẫu nhiên (RANSAC) và so sánh với đồ thị phụ.
Kết hợp mô hình với các kỹ năng điều hướng và thao tác, căn chỉnh, lập kế hoạch chuyển động, … Ưu điểm của robot Cosero: - Nhận dạng chính xác hình dạng đối tượng thông qua ảnh đám mây điểm và thuật toán loại bỏ các điểm ngoại lệ. - Thời gian xây dựng vào tái tạo mô hình nhanh (từ 12 đến 15s). - Có tính ứng dụng cao, là cơ sở để phát triển robot dịch vụ trong tương lai 1.3 Xây dựng mô hình Từ yêu cầu đặt ra mang tính cấp thiết về việc xây dựng một hệ thống robot tự đồng gặp vật, thay thế được con người trong các nhiệm vụ có tính lắp lại, yêu cầu sự bền bỉ và độ chính xác cao, robot có thể có khả năng tích hợp các thuật toán học máy thông minh để tự đưa ra các quyết định. Phát triển từ các mô hình đã phát triển và đưa vào sử dụng trước đó trên thế giới, trong luận án này, em đã xây dựng Trang 18 một mô hình robot có khả năng nhận diện giọng nói, dựa trên công nghệ học sâu và xử lý ảnh ba chiều để tự động gắp vật trong không gian làm việc.
Hệ thống robot được xây dựng bao gồm các thành phần cơ bản sau: - Một cánh tay robot, có đầu kẹp (gripper). - Camera 3D - Bộ vi điều khiển, động cơ và driver điều khiển, … Hình 1.11 Các thành phần cơ bản của mô hình đề xuất 1.3 Hệ thống xử lý ảnh ba chiều 1.1 Tổng quan về hệ xử lý ảnh 3 chiều Thị giác là một giác quan quan trọng trong việc tương tác giữa con người với môi trường xung quanh, một trong số đó là sự tương tác với máy móc, thiết bị trong ngành công nghiệp. Hiện nay, với sự phát triển của nền công nghiệp 4.0, máy móc, phần cứng máy tính, đồ họa ngày càng hiện đại hơn và thể hiện rõ được các ứng dụng thiết thực của nó. Trong đó, xử lý ảnh đóng một vai trò quan trọng.
Hệ thống xử lý ảnh là một hệ thu nhận ảnh hoặc khung ảnh ở đầu vào, thực hiện các phép xử lý để tạo ra một ảnh ở đầu ra thỏa mãn các yêu cầu về cảm thụ hoặc trích rút các đặc trưng của ảnh. Một hệ thống xử lý ảnh cơ bản được thể hiện như hình 1.12 Hệ thống xử lý ảnh cơ bản Ảnh ba chiều là ảnh, thể hiện các tính chất và đặc trưng theo ba chiều không gian (chiều dài, chiều rộng, chiều sâu). Sự khác biệt duy nhất giữa ảnh ba chiều và ảnh hai chiều là ở ảnh ba chiều ta có thêm thông tin về chiều sâu của đối tượng trong ảnh. Xử lý ảnh ba chiều được hiểu là quá trình tiếp nhận hình ảnh ba chiều ở đầu vào, thông qua các phép xử lý, thuật toán để đưa ra kết quả là một hình ảnh 3 chiều có đặc trưng và tính chất cần cho mục đích sử dụng của con người.2 Các nghiên cứu liên quan Hệ thống xử lý ảnh đóng một vai trò quan trọng, hỗ trợ đắc lực cho con người trong việc cảm nhận và tương tác với môi trường xung quanh.
Nó là một lĩnh vực khoa học tiềm năng, tuy nhiên, vẫn tồn tại rất nhiều thách thức đang chờ con người tìm tòi và khám phá. Gần đây, có nhiều nghiên cứu, phát minh của con người trong việc cải tiến, ứng dụng các hệ thống xử lý ảnh ba chiều trong khoa học công nghệ và đời sống. Điển hình là một nghiên cứu ở [4] của Lapo Governi và cộng sự 2013. Trong nghiên cứu này, nhóm tác đưa ra một phương pháp để tái tạo hình dạng khối 3D từ các chế độ xem trực quan và xử lý điều chỉnh dữ liệu.
Phương pháp nhóm nghiên cứu sử dụng chính là xây dựng đám mây voxel (hình ảnh 3D) đại diện cho các hình ảnh 2D (raster) ban đầu, sau đó, tác các nhãn 3D bằng cách phát hiện các giao điểm gần đúng, tiếp đến, họ lấy các mô hình khung dây 3D từ các đường cong spline và tinh chỉnh các đường cong thu được trong các vùng giao nhau, cuối cùng, Xây dựng hình dạng 3D bằng cách gán mặt cho các đường spline. Một ví dụ về quá trình tái thiết, xây dựng khối 3D từ các hình ảnh 2D của Lapo Governi và cộng sự được thể hiện như hình 1. Hình ảnh 2D scan ban đầu; b. Hình ảnh khung các đường cong; c.
Mô hình xây dựng cuối cùng. Một ứng dụng khác của xử lý ảnh 3 chiều trong lĩnh vực y tế, ở nghiên cứu [5] , Henrik Skibbe và cộng sự đã trình bày một phương pháp xử lý, phân tích hình ảnh 3 chiều để đánh giá nhanh chóng và chính xác các tương tác và chức năng phức tạp giữa các tế bào thần kinh.Từ đó, đưa ra các cách giảm tác động của ung thư não (khối u giấy và khối u miệng phát triển ở một bên của não), tăng tuổi thọ của con người với sự hỗ trợ của hóa trị và quá trình phân đoạn 3 chiều. Đóng góp chính của bài báo là cung cấp một hộp công cụ mã nguồn mở thực hiện tất cả các hoạt động được đề xuất liên quan đến đại số tensor hình cầu (STA - Spherical Tensor Algebra). Thúc đẩy sử dụng STA để nâng cao hiệu quả quá trình xử lý ảnh 3 chiều trong y tế.
Xử lý ảnh 3 chiều cũng được ứng dụng ở [6] để phân tích đặc điểm hình thái của tế bào gốm (ceramic) thông qua ảnh chụp cắt lớp X quang. Kết quả cho thấy sự kết hợp của hai loại phép đo tiêu chuẩn và phép đo thu được bằng xử lý hình ảnh 3D cho ta một bức tranh rất đầy đủ và bổ sung về cấu trúc vi mô và hình thái của gốm xốp, có khả năng làm phong phú thêm mô tả về các vật liệu này.