Đồ án HCMUTE: Ước Lượng Quỹ Đạo Robot Dựa Trên Ảnh Đơn

Đồ án HCMUTE: Ước lượng quỹ đạo robot từ ảnh đơn. Nghiên cứu phương pháp mới, ứng dụng thị giác máy tính để điều khiển robot chính xác hơn.

Người đăng

Ẩn danh

Thể loại

Đồ án tốt nghiệp

2016

64
1
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

TÓM TẮT

MỤC LỤC

Danh mục hình

Danh mục bảng

Các từ viết tắt

1. CHƢƠNG 1 GIỚI THIỆU

1.1. TỔNG QUAN VỀ HƢỚNG NGHIÊN CỨU

1.2. TÍNH CẤP THIẾT, Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN

1.3. MỤC TIÊU CỦA ĐỀ TÀI

1.4. NỘI DUNG VÀ GIỚI HẠN ĐỀ TÀI

1.4.1. Nội dung đề tài

1.4.2. Giới hạn đề tài

1.5. PHƢƠNG PHÁP NGHIÊN CỨU

1.6. BỐ CỤC CỦA KHOÁ LUẬN TỐT NGHIỆP

2. CHƢƠNG 2 LƢU ĐỒ CỦA HỆ THỐNG, DỮ LIỆU ẢNH ĐẦU VÀO

2.1. LƢU ĐỒ CỦA HỆ THỐNG

2.1.1. Dò và theo vết đặc trƣng ảnh

2.1.2. Ƣớc lƣợng quỹ đạo chuyển động của robot

2.1.3. Dựng quỹ đạo chuyển động

2.2. DỮ LIỆU ẢNH ĐẦU VÀO

3. CHƢƠNG 3 DÒ TÌM VÀ BÁO THEO CÁC ĐIỂM ĐẶC TRƢNG ẢNH

3.1. CHUYỂN ĐỔI ẢNH XÁM

3.2. DÒ TÌM ĐẶC TRƢNG ẢNH

3.2.1. Áp dụng phƣơng pháp học máy vào bộ dò

3.2.2. Giải thuật Non-maximal Suppression

3.3. THEO VẾT ĐẶC TRƢNG ẢNH

3.3.1. Mô hình hình chóp theo vết đặc trƣng

3.3.2. Tính toán optical flow theo phƣơng pháp lặp

3.3.3. Tính toán các điểm ảnh phụ

3.3.4. Theo vết các đặc trƣng nằm ở viền của ảnh

4. CHƢƠNG 4 ƢỚC LƢỢNG QUỸ ĐẠO CHUYỂN ĐỘNG CỦA ROBOT

4.1. HÌNH HỌC EPIPOLAR

4.1.1. Ràng buộc Epipolar và ma trận cốt yếu E

4.1.2. Tính chất của ma trận cốt yếu E

4.2. ƢỚC LƢỢNG QUỸ ĐẠO CHUYỂN ĐỘNG

5. CHƢƠNG 5 KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ

5.1. PHẦN CỨNG, PHẦN MỀM

5.2. CHUYỂN ĐỔI ẢNH XÁM

5.3. DÒ TÌM CÁC ĐIỂM ĐẶC TRƢNG

5.4. THEO VẾT CÁC ĐẶC TRƢNG

5.5. ƢỚC LƢỢNG QUỸ ĐẠO CHUYỂN ĐỘNG

6. CHƢƠNG 6 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN

6.1. Kết quả đạt đƣợc

6.2. HƢỚNG PHÁT TRIỂN

PHỤ LỤC A MÃ NGUỒN CHƢƠNG TRÌNH

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Tổng Quan Về Ước Lượng Quỹ Đạo Robot

Ước lượng quỹ đạo robot từ ảnh đơn, hay còn gọi là Visual Odometry (VO), là một lĩnh vực nghiên cứu quan trọng trong robot học và thị giác máy tính. Nó cho phép robot xác định vị trí và hướng di chuyển của mình dựa trên chuỗi ảnh thu được từ camera. VO có nhiều ưu điểm so với các phương pháp truyền thống như sử dụng encoder bánh xe hay IMU, đặc biệt là khả năng hoạt động trong môi trường không có GPS và ít bị ảnh hưởng bởi trượt bánh xe. Các nghiên cứu ban đầu về VO bắt nguồn từ chương trình thám hiểm sao Hỏa của NASA, nhằm cung cấp khả năng định vị chính xác cho robot tự hành. Ngày nay, VO được ứng dụng rộng rãi trong nhiều lĩnh vực như robot di động, xe tự lái, thực tế tăng cường và thực tế ảo. Các thuật toán VO ngày càng phát triển, hướng đến sự chính xác, ổn định và khả năng hoạt động trong thời gian thực. VO không chỉ là nền tảng cho việc định vị mà còn mở ra cơ hội cho các ứng dụng cao cấp hơn như tránh vật cản, lập bản đồ 3D và SLAM (Simultaneous Localization and Mapping). Tuy nhiên, VO cũng đối mặt với nhiều thách thức như xử lý nhiễu ảnh, độ nhạy với ánh sáng và sự tích lũy sai số theo thời gian. Để giải quyết những vấn đề này, các nhà nghiên cứu liên tục cải tiến thuật toán và kết hợp VO với các cảm biến khác.

1.1. Ưu Điểm Của Visual Odometry So Với Phương Pháp Khác

Visual Odometry (VO) vượt trội so với các phương pháp định vị truyền thống nhờ một số ưu điểm then chốt. Khác với encoder bánh xe, VO không bị ảnh hưởng bởi hiện tượng trượt bánh xe, vốn thường xảy ra trong điều kiện địa hình phức tạp hoặc trơn trượt. So với hệ thống định vị GPS, VO có khả năng hoạt động hiệu quả trong môi trường trong nhà, dưới nước hoặc trên không, nơi mà tín hiệu GPS bị yếu hoặc không khả dụng. Bên cạnh đó, VO có tiềm năng đạt được độ chính xác cao với chi phí thấp hơn so với các hệ thống GPS RTK (Real Time Kinematic) đắt tiền. Quan trọng hơn, VO mở ra khả năng phát triển các hệ thống định vị độc lập, không phụ thuộc vào hạ tầng bên ngoài. Điều này có ý nghĩa lớn trong các ứng dụng an ninh quốc phòng và các nhiệm vụ đặc biệt.

1.2. Ứng Dụng Tiềm Năng Của Ước Lượng Quỹ Đạo Robot

Khả năng ước lượng quỹ đạo chuyển động của robot từ ảnh đơn mở ra vô số ứng dụng tiềm năng trong nhiều lĩnh vực. Trong robot công nghiệp, VO có thể được sử dụng để điều khiển robot một cách chính xác và linh hoạt trong môi trường sản xuất. Trong lĩnh vực xe tự lái, VO đóng vai trò quan trọng trong việc định vị và điều hướng xe trong điều kiện đô thị phức tạp. VO cũng có thể được ứng dụng trong thực tế tăng cường và thực tế ảo, cho phép người dùng tương tác với môi trường ảo một cách tự nhiên và trực quan. Ngoài ra, VO còn có tiềm năng trong các ứng dụng như giám sát an ninh, cứu hộ khẩn cấp và khám phá địa hình hiểm trở.

II. Vấn Đề Thách Thức Trong Ước Lượng Quỹ Đạo Robot

Mặc dù có nhiều ưu điểm, ước lượng quỹ đạo robot từ ảnh đơn cũng đối mặt với không ít thách thức. Một trong những vấn đề lớn nhất là độ nhạy cảm với nhiễu ảnh và sự thay đổi ánh sáng. Các thuật toán VO thường dựa vào việc trích xuất và theo dõi các đặc trưng hình ảnh, và những đặc trưng này có thể bị ảnh hưởng bởi nhiễu, mờ hoặc sự thay đổi độ sáng. Thách thức khác là sự tích lũy sai số theo thời gian. Do VO ước lượng vị trí và hướng di chuyển dựa trên chuỗi ảnh liên tiếp, sai số nhỏ trong mỗi ước lượng có thể cộng dồn lại, dẫn đến sự trôi dạt (drift) của quỹ đạo. Ngoài ra, VO cũng đòi hỏi khả năng xử lý ảnh nhanh chóng và hiệu quả để hoạt động trong thời gian thực. Cuối cùng, việc đảm bảo tính ổn định và độ chính xác của VO trong môi trường động, nơi có nhiều vật thể di chuyển, là một thách thức không nhỏ.

2.1. Ảnh Hưởng Của Ánh Sáng Và Nhiễu Đến Độ Chính Xác

Các thuật toán Visual Odometry (VO) dựa vào việc phát hiện và theo dõi các điểm đặc trưng trong ảnh để ước tính chuyển động. Tuy nhiên, sự thay đổi ánh sáng và nhiễu trong ảnh có thể làm sai lệch hoặc làm mất các điểm đặc trưng này, dẫn đến sai số trong ước tính chuyển động. Các nguồn sáng mạnh, bóng đổ, hoặc sự thay đổi đột ngột về độ sáng có thể gây khó khăn cho việc phát hiện điểm đặc trưng. Nhiễu ảnh, do cảm biến hoặc điều kiện môi trường, cũng có thể làm giảm độ chính xác của VO. Để giảm thiểu ảnh hưởng của ánh sáng và nhiễu, cần sử dụng các thuật toán xử lý ảnh mạnh mẽ và các phương pháp thích ứng ánh sáng.

2.2. Sai Số Tích Lũy Và Khó Khăn Trong Môi Trường Động

Một trong những thách thức lớn nhất của Visual Odometry (VO) là sự tích lũy sai số theo thời gian. Do VO ước tính chuyển động dựa trên chuỗi ảnh liên tiếp, sai số nhỏ trong mỗi ước tính có thể cộng dồn lại, dẫn đến sự trôi dạt (drift) của quỹ đạo. Điều này đặc biệt nghiêm trọng trong các ứng dụng yêu cầu độ chính xác cao và hoạt động trong thời gian dài. Ngoài ra, môi trường động, nơi có nhiều vật thể di chuyển, cũng gây khó khăn cho VO. Các thuật toán VO cần có khả năng phân biệt giữa chuyển động của robot và chuyển động của các vật thể khác, và loại bỏ các điểm đặc trưng động để tránh sai số.

III. Phương Pháp Dò Điểm Đặc Trưng FAST Cho Quỹ Đạo Robot

Để giải quyết các thách thức trên, nhiều phương pháp và thuật toán đã được phát triển trong lĩnh vực ước lượng quỹ đạo robot từ ảnh đơn. Một trong những phương pháp phổ biến là sử dụng thuật toán dò điểm đặc trưng FAST (Features from Accelerated Segment Test). FAST là một thuật toán nhanh chóng và hiệu quả để phát hiện các góc và điểm nổi bật trong ảnh. Thuật toán này hoạt động bằng cách so sánh cường độ sáng của các pixel xung quanh một điểm với một ngưỡng nhất định. Ưu điểm của FAST là tốc độ tính toán nhanh, cho phép VO hoạt động trong thời gian thực. Tuy nhiên, FAST cũng có một số hạn chế, chẳng hạn như độ nhạy cảm với nhiễu và sự thay đổi tỷ lệ. Để khắc phục những hạn chế này, FAST thường được kết hợp với các phương pháp xử lý ảnh khác và các kỹ thuật lọc nhiễu.

3.1. Ưu Điểm Của FAST Trong Bài Toán Ước Lượng Quỹ Đạo

Trong bài toán Visual Odometry (VO), thuật toán FAST mang lại một số lợi thế đáng kể. Tốc độ tính toán nhanh của FAST cho phép VO hoạt động trong thời gian thực, điều này rất quan trọng trong các ứng dụng như robot di động và xe tự lái. FAST cũng tương đối đơn giản để cài đặt và sử dụng, giúp giảm thiểu thời gian phát triển và triển khai. Ngoài ra, FAST có thể được sử dụng trên nhiều loại phần cứng khác nhau, từ máy tính để bàn đến các thiết bị nhúng, mang lại tính linh hoạt cao cho các ứng dụng VO.

3.2. Các Bước Cài Đặt Thuật Toán FAST Để Ước Lượng Quỹ Đạo

Để cài đặt thuật toán FAST trong một hệ thống Visual Odometry (VO), cần thực hiện một số bước cơ bản. Đầu tiên, cần tích hợp thư viện OpenCV, vốn cung cấp các hàm hỗ trợ cho FAST, vào dự án. Tiếp theo, cần thiết lập các tham số cho thuật toán FAST, chẳng hạn như ngưỡng so sánh cường độ sáng và số lượng pixel tối thiểu trong một phân đoạn. Sau đó, có thể sử dụng hàm cv::FAST để phát hiện các điểm đặc trưng trong ảnh. Cuối cùng, cần kết hợp các điểm đặc trưng FAST với các thuật toán theo dõi đặc trưng và ước tính chuyển động để xây dựng một hệ thống VO hoàn chỉnh.

IV. Thuật Toán Theo Vết Lucas Kanade Theo Dõi Điểm Robot

Sau khi phát hiện các điểm đặc trưng bằng FAST, bước tiếp theo là theo dõi chúng qua các khung hình liên tiếp. Một trong những thuật toán theo dõi đặc trưng phổ biến nhất là Lucas-Kanade (LK). LK là một thuật toán dựa trên dòng quang (optical flow) để ước lượng chuyển động của các điểm ảnh trong ảnh. LK hoạt động bằng cách giả định rằng cường độ sáng của một điểm ảnh không thay đổi theo thời gian, và sử dụng phương pháp bình phương tối thiểu để tìm ra chuyển động phù hợp nhất. Ưu điểm của LK là tính chính xác và độ ổn định cao. Tuy nhiên, LK cũng có một số hạn chế, chẳng hạn như độ nhạy cảm với các chuyển động lớn và sự thay đổi ánh sáng. Để khắc phục những hạn chế này, LK thường được sử dụng kết hợp với các kỹ thuật hình chóp ảnh (image pyramid) và các phương pháp thích ứng ánh sáng.

4.1. Nguyên Lý Hoạt Động Của Theo Vết Lucas Kanade KLT

Thuật toán theo vết Lucas-Kanade (KLT) hoạt động dựa trên nguyên lý bảo toàn cường độ sáng. Nguyên lý này giả định rằng cường độ sáng của một điểm ảnh không thay đổi đáng kể giữa các khung hình liên tiếp. KLT sử dụng một cửa sổ nhỏ xung quanh điểm đặc trưng và tìm kiếm chuyển động của cửa sổ đó sao cho sự khác biệt về cường độ sáng giữa các khung hình là nhỏ nhất. Thuật toán sử dụng phương pháp bình phương tối thiểu để tìm ra chuyển động tối ưu. KLT là một thuật toán hiệu quả và chính xác, nhưng cũng có một số hạn chế, chẳng hạn như độ nhạy cảm với các chuyển động lớn và sự thay đổi ánh sáng.

4.2. Cải Thiện Độ Ổn Định Với Hình Chóp Ảnh Image Pyramids

Để cải thiện độ ổn định của thuật toán theo vết Lucas-Kanade (KLT) trong trường hợp chuyển động lớn, kỹ thuật hình chóp ảnh (image pyramids) thường được sử dụng. Hình chóp ảnh là một chuỗi các phiên bản của ảnh gốc với độ phân giải giảm dần. KLT được áp dụng trên từng mức của hình chóp, bắt đầu từ mức thấp nhất (độ phân giải thấp nhất) và lan dần lên mức cao nhất (độ phân giải cao nhất). Cách tiếp cận này cho phép KLT xử lý các chuyển động lớn bằng cách ước tính chuyển động thô ở mức thấp và tinh chỉnh nó ở mức cao.

V. Ước Lượng Chuyển Động Với Thuật Toán Năm Điểm Nister

Sau khi theo dõi các điểm đặc trưng, bước cuối cùng là ước lượng chuyển động của robot. Một trong những thuật toán hiệu quả nhất để ước lượng chuyển động từ các điểm đặc trưng tương ứng là thuật toán năm điểm của David Nister. Thuật toán này dựa trên lý thuyết hình học epipolar và sử dụng tối thiểu năm điểm để tính toán ma trận cơ bản (essential matrix). Ưu điểm của thuật toán năm điểm là tính chính xác cao và khả năng xử lý các trường hợp suy biến. Tuy nhiên, thuật toán này cũng đòi hỏi kiến thức sâu về hình học nhiều ảnh và các phương pháp tối ưu hóa.

5.1. Giải Thích Về Thuật Toán Năm Điểm Của David Nister

Thuật toán năm điểm của David Nister là một thuật toán kinh điển trong lĩnh vực hình học nhiều ảnh, được sử dụng để ước tính ma trận cơ bản (essential matrix) từ năm điểm tương ứng giữa hai ảnh. Ma trận cơ bản mã hóa mối quan hệ hình học giữa hai ảnh và chứa thông tin về vị trí tương đối và hướng của hai camera. Thuật toán năm điểm dựa trên một hệ phương trình đại số và sử dụng các phương pháp tối ưu hóa để tìm ra nghiệm phù hợp nhất.

5.2. Áp Dụng Giải Thuật Để Tính Toán Ma Trận Cơ Bản Essential Matrix

Để áp dụng thuật toán năm điểm của David Nister, cần thực hiện một số bước. Đầu tiên, cần chuẩn hóa tọa độ của các điểm đặc trưng để cải thiện độ ổn định của thuật toán. Tiếp theo, cần thiết lập hệ phương trình đại số dựa trên ràng buộc epipolar. Sau đó, có thể sử dụng các phương pháp tối ưu hóa, chẳng hạn như phương pháp Levenberg-Marquardt, để giải hệ phương trình và tìm ra ma trận cơ bản. Cuối cùng, cần kiểm tra tính hợp lệ của ma trận cơ bản và loại bỏ các nghiệm không phù hợp.

VI. Đánh Giá Kết Quả Và Hướng Phát Triển Cho Quỹ Đạo Robot

Sau khi triển khai và thử nghiệm, việc đánh giá kết quả và xác định hướng phát triển là rất quan trọng. Độ chính xác của ước lượng quỹ đạo robot cần được đánh giá bằng cách so sánh với quỹ đạo thực tế hoặc các phương pháp định vị khác. Các yếu tố như độ ổn định, độ tin cậy và tốc độ tính toán cũng cần được xem xét. Dựa trên kết quả đánh giá, có thể xác định các lĩnh vực cần cải thiện và đề xuất các hướng phát triển trong tương lai. Một số hướng phát triển tiềm năng bao gồm kết hợp VO với các cảm biến khác, phát triển các thuật toán VO mạnh mẽ hơn và khám phá các ứng dụng mới của VO.

6.1. Các Phương Pháp Đánh Giá Độ Chính Xác Của Ước Lượng

Để đánh giá độ chính xác của hệ thống Visual Odometry (VO), có thể sử dụng một số phương pháp. Một phương pháp phổ biến là so sánh quỹ đạo ước tính với quỹ đạo thực tế (ground truth), nếu có sẵn. Các chỉ số đánh giá thường được sử dụng bao gồm sai số trung bình tuyệt đối (Mean Absolute Error - MAE), sai số căn bậc hai trung bình (Root Mean Squared Error - RMSE) và sai số trôi dạt (drift). Ngoài ra, có thể sử dụng các phương pháp đánh giá định tính bằng cách quan sát trực quan quỹ đạo ước tính và so sánh với môi trường thực tế.

6.2. Hướng Nghiên Cứu Tiếp Theo Cho Ước Lượng Quỹ Đạo Robot

Lĩnh vực Visual Odometry (VO) vẫn còn nhiều hướng nghiên cứu tiềm năng. Một trong những hướng quan trọng là kết hợp VO với các cảm biến khác, chẳng hạn như IMU, LiDAR và GPS, để tạo ra các hệ thống định vị đa cảm biến mạnh mẽ hơn. Hướng khác là phát triển các thuật toán VO có khả năng thích ứng với các điều kiện môi trường khác nhau, chẳng hạn như ánh sáng thay đổi, thời tiết xấu và môi trường động. Ngoài ra, việc khám phá các ứng dụng mới của VO, chẳng hạn như trong robot phẫu thuật, robot nông nghiệp và robot thám hiểm không gian, cũng là một hướng đi đầy hứa hẹn.

22/09/2025