CHƯƠNG 1: GIỚI THIỆU TONG QUAN VE VISUAL ODOMETRY VA STEREO CAMERA 1. Khai niém Visual Odometry: Ước lượng chuyển động của camera đặc biệt là stereo camera là một nhiệm vụ quan trọng trong lĩnh vực rô bốt và trong những hệ thống trợ giúp cho lái xe. Nó còn được ứng dụng trong nhiều hệ thống khác như hệ thống tự hành, định vi và xác định vị trí. Thông thường việc xác định vi trí dựa vào cảm biến đo tốc độ của bánh xe hay các thiết bị cảm biến IMUs.
Odemetry là phương pháp xác định vị trí và hướng chuyển động của thiết bị băng cách đo vòng xoay bánh xe của thiết bị. Kỹ thuật odometry truyền thống được ứng dụng nhiều trong các thiết bị có bánh xe hoặc đường ray. Odometry hiện nay không còn được sử dụng trong các phương pháp điều khién chuyển động không theo chuẩn ví dụ như rô bốt đi bang chân. Phương pháp odometry truyền thong gặp những van đề như sau: l2® Sự chính xác phụ thuộc vào độ chính xác của thiết bị đo vòng xoay của bánh xe rô bot.
* Bê mặt mà rô bot di chuyển phải phăng. l2» Bánh xe có thé bị trượt khi di chuyển trên sàn. % Sai số về vị trí được tích lũy. Trong những năm gần đây hệ thông camera trở nên rẻ hơn, nhỏ hơn và tốc độ xử lí cũng nhanh hơn.
Chính điều này giúp ta có thể bắt được ảnh với tốc độ cao và xử lí ảnh thời gian thực. Việc ước lượng chính xác chuyên động của camera dựa vào các cặp ảnh liên tiếp nhau thu được gọi là Visual Odometry. Để khắc phục những nhược điểm ở trên ta sẽ sử dụng Visual Odometry. Visual Odometry là phương pháp dùng để xác định vị trí và hướng chuyền động của rô bốt băng cách phân tích những hình ảnh thu được liên tiếp từ camera.
Visual odometry giúp tăng độ chính xác trong chuyển động của rô bốt cũng như các thiết Trang 4 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras bị khác khi di chuyển trên bất kì bề mặt nào. Visual Odometry được ứng dụng ngày càng rộng rãi trong các lĩnh vực nghiên cứu về người máy và thị giác máy tính. Ước lượng sự chuyển động của camera, đặc biệt là stereo camera, là một nhiệm vụ quan trọng trong lĩnh vực rô bốt và các hệ thống hỗ trợ người lái. Nó còn là tiền đề cho những ứng dụng như phát hiện vật thé, hệ thống tự hành, hệ thống đồng thời xác định vị trí, vẽ lại quỹ đạo và rất nhiều những ứng dụng khác.
Hau hết các ứng dụng về Visual Odometry đều dựa vào thuật toán sau: s* Đọc ảnh vào: có thé sử dụng một camera hoặc hai hay nhiều camera khác nhau. s Hiệu ch nh lại ảnh vào cho phù hợp với từng phương pháp xử lí khác nhau. % Phat hiện đặc điểm ảnh: định nghĩa những vùng cần thiết và bắt những điểm đặt trưng thông qua các khung ảnh. % Xác định sự tương quan giữa những đặc điểm bat được ở những khung ảnh liên tiếp nhau.
s* Dung thuật toán để ước lượng sự chuyển động của camera dựa vào mỗi tương quan ở trên. Dung những bộ lọc để cập nhật hiệu ch nh để giảm sai SỐ. Ta lập bang so sánh các phương pháp định vi với nhau như sau: Phương pháp Những ưu điểm Những nhược điểm DGPS (Differential Global | Độ chính xác cao Không làm việc trong nhà Positioning System) hệ (1 cm) thong định vi trí toàn cầu | Thực hiện dé dàng Gia thành vừa phải Sóng siêu âm và hong Giá thành thap Rat khó dé có sự hoạt động ngoại ôn định của hệ thống Có nhiều lỗi khác nhau Dùng tia Laser Độ chính xác cao Giá thành cao Dễ thực hiện Visual Odometry Giá thành thap Việc thực thi gặp nhiêu khó Có độ chính xác khăn. cũng khá cao Ch vận hành trong những điều kiện có ánh sáng tương đối tốt Trang 5 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras 1.
Stereo camera: Stereo camera là một loại camera với hai hay nhiều ống kính, mỗi ống kính có một cảm biến hình ảnh hoặc một khung phim riêng biệt. Với cầu tạo này cho phép Stereo camera có thé mô phỏng như đôi mắt của con người vì thế nó có thé bắt được ảnh ba chiều.1: Anh thu được khi dùng một camera x kX x=ƒ„=Ítrz (1.2) Nếu ch sử dụng một camera ta không thé phan biệt được những điểm năm trên cùng một đường thăng như hình trên chính vì vậy ta phải sử dụng stereo camera. Khoảng cách giữa hai ống kính của một Stereo camera tiêu biểu gần bang khoảng cách giữa hai mắt của con người khoảng 6. Có rất nhiều loại Stereo camera khác nhau.
Trang 6 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras O.2: Ảnh thu được khi dùng hai camera Các mau stereo camera có thê ding trong đề tài: Hình 1.3: Các mẫu camera có thé dùng trong dé tai 1. Những ứng dụng Visual Odometry trên thế giới: 1. Ứng dụng trong Mobile robot: Visual Odometry đã được sử dụng một cách rộng rãi trong các ứng dụng về rõ bot. Mô hình phần cứng: Trang 7 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras GPS RTK GPS Antenna GPR Logger mae ` = oe 'RTK GPS) » Receiver; mt Ground-Penetrating : oe Radar Anterina”`.4: Mô hình rô bot Các bước thực hiện Visual Odometry Other PP nmnnmn sensors Ï1 Right | |, Image Keypoin ! camera P de-warp rectification and detection.
L LÍ Nonlinear | I Keypoint Outlier Pose | re" numerical — ; matching tracking 1 1 Ị Image solution pie > de-warp and pret L 1 camera I | rectification on Hình 1.5: Các bước thực hiện thuật toán Visual Odometry Thực hiện thuật toán SURF dé tìm các điểm đặc trưng từ cặp ảnh trái phải thu được. Kích thước của vòng tròn thể hiện kích thước của điểm đặc trưng bắt được. Thuật toán SURE còn phân biệt được những điểm đặc trưng blob sáng trên nên tôi (màu xanh) và những diém đặc trưng blob tôi trên nên sáng (màu đỏ): Hình 1.6: Điểm đặc trưng blob thu được khi dùng thuật toán SURF Trang 8 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras Thực hiện matching các điểm đặc trưng thu được: Hình 1.7: Kết quả thu được sau khi thực hiện matching Kết quả thu được so sánh giữa visual odometry và GPS: a _ RTK GPS wo ” wlXI _ = = =~ Visual Odometry Sai số thu được khi thực hiện visual odometry: ‘Transect Length (m) Linear Error (m) % Error Images Mock Rover 357.96% 258 Trang 9 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras 1. Ứng dụng trong mô hình máy bay trực thăng tự điều khiến: Hình 1.9: Mô hình máy bay trực thăng có ứng dung Visual Odometry Máy bay có thé di chuyển theo 6 bậc tự do.
Stereo camera được đặt phía trước cơ cau hạ cánh dài khoảng 50cm với độ cân ch nh chính xác cho mỗi chuyền bay.10: Stereo camera trên máy bay Sử dụng thêm bộ định vị toàn cầu GPS, bộ thiết bị đo quán tính IMU và một máy tính PC 104 dùng hệ điều hành Linux để xử lí ảnh. Tốc độ bắt ảnh của camera là 30 Hz. Thuật toán điều khiến: Trang 10 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras Cloud —»( Before — Stereo Motion | Averaged Estimation Aigurlitin Voioett0© Camera = : Thy Fused Incremental -: : Fiter ‘ i Motion Estynate Accelsrations and „| IMU Measurements / Angular Velocities "| (State Propagation) IMU Hình 1.11: Thuật toán điều khiển Kết quả ước lượng khi ch dùng Visual Odometry: Mlofion Estimation Results Motion estimate using Visual Odometry alone.7 meter error over 405.12: Kết quả ước lượng 1. Visual Odometry sử dung Stereo camera Sau khi phat hiện điểm đặc trưng va tiến hành matching các điểm đặc trưng ta thu được kết quả như sau: Trang 11 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras Hình 1.13: Mô hình rô bốt và kết quả matching điểm đặc trưng Thuật toán Visual Odometry Newimage pair (I!, If) E¬ Previous 5 gas a đ.r) Se Bit Rutt) L0 > LÊ) Hinh 1.14: Thuat toan Visual Odometry Ước lượng chuyển động sử dung các thuật toán Harris, SIFT hay SURF và odometry dựa vào cảm biên ở bánh xe ta được các kêt quả như sau: Trang 12 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras V —~@— whool odomelry vị SIFT Tí.
1 | || làu KH Hknloii: —==— visual cdœnetry (SURF)¿ ———— ‘weer odomety | x [mm] Hình 1.15: So sánh các kết quả thu được Vẫn sử dung các thuật toán như trên nhưng khi ta chạy mô hình ở môi trường bên ngoài ta thu được kết quả như sau: ~4= wheel odometry ~—— visual odometry (SIFT) —e— Visual odometry (SURF) laser ociometry Hình 1.16: Kết quả thu được khi rô bốt chạy ở môi trường bên ngoài Bang tong hợp các kết quả thu được: Visual odometry SIFT (SURF) [Harris] Dead reckoning Run Distance (m) Frames Average time (ms) 2D RMS error % 2D RMS error % Indoor 1 413 615 144 0.1% Bang sai số sử dụng các thuật toán khác nhau khi ta cho rô bốt chạy thành một vòng kín với nhiều lần khác nhau: Trang 13 Luận Văn Thạc Si— Hệ thông định vị 3D dùng Stereo Cameras Run Number 1 2 3 = S Distance (m) 30. Mục tiêu đề tài: Mục tiêu của đề tài là nghiên cứu hệ thống xử lý ảnh 3D tốc độ cao (hi-speed stereo camera) để góp phan tao ra mot hé thống định vị 3D có độ chính xác cao. Hệ thống này được gắn vao đối tượng di động có chức năng xác định góc nghiêng 3D và vị trí 3D của đối tượng theo 3 phương x, y, z. Hệ thống sau khi hoàn thành có khả năng kết hợp với những phương pháp khác như INS va GPS dé có thé áp dụng rộng rãi vào các lĩnh vực phù hop với điều kiện hiện tại và trong tương lai phát triển thực tiễn ở Việt Nam trong vài năm tới như: “+ Y tế: Gan vào các khớp chính dé có thông tin về các khớp này trong quá trình bệnh nhân được theo dõi điều trị sau chấn thương cơ và khớp; thiết bị này găn vào chân các vận động viên điền kinh để đánh giá điểm mạnh và điểm cần cải thiện ở các giai đoạn xuất phát và tăng tốc của vận động viên.
G lv Mobile robot: Điều khiển & giám sát rô bốt tự hành cấp phát thuốc trong bệnh viện; rô bốt thăm dò trong những khu vực nguy hiểm cần có độ chính xác cao như khu vực thuộc nhà máy điện nguyên tử, khu vực cài bom khủng bó. lv + Giám sát đô thị và tài nguyên môi trường của Việt Nam: Điều khiến máy bay không người lái để có được những phông hình cùng một vị trí và cao độ ở nhiều thời điểm khác nhau.