Luận Văn Thạc Sĩ Về Tự Động Hóa Hệ Thống Định Vị 3D Sử Dụng Stereo Camera

• Tác giả: Dang Tam Trung
• Người hướng dẫn: TS. Nguyen Vinh Hao
• Trường học: Đại Học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Tự Động Hóa
• Đề tài: Hệ Thống Định Vị 3D Dùng Stereo Camera
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: TP. Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG LUẬN VĂN THẠC SĨ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ VISUAL ODOMETRY VÀ STEREO CAMERA
• 1.1. Khái niệm Visual Odometry
• 1.2. Những ứng dụng Visual Odometry trên thế giới
• 1.3. Ứng dụng trong Mobile robot
• 1.4. Ứng dụng trong mô hình máy bay trực thăng tự điều khiển
• 1.5. Visual Odometry sử dụng Stereo Camera
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT CỦA ĐỀ TÀI
• 2.1. Các khái niệm cơ bản trong xử lý ảnh
• 2.2. Ảnh đen trắng
• 2.3. Mô hình camera và hiệu chỉnh các thông số
• 2.4. Stereo camera Bumblebee 2
• 2.5. Cơ bản về hình học và phép chiếu
• 2.6. Sự biến dạng của thấu kính
• 2.7. Ma trận xoay và vector dịch
• 2.8. Hiệu chỉnh ảnh thu được
• 2.9. Các thông số nội của Camera
• 2.10. Các thông số bên ngoài của Camera
• 2.11. Hình học ảnh
• 2.12. Mối quan hệ giữa các hệ trục tọa độ
• 2.13. Mối quan hệ giữa tọa độ camera và tọa độ mặt phẳng ảnh
• 2.14. Lý thuyết về hình học 3D
• 2.15. Các ứng dụng sử dụng điểm đặc trưng là điểm góc
• 2.16. Các phương pháp phát hiện góc
• 2.17. Thuật toán phát hiện góc
• 2.18. Thuật toán Non-Maximum Suppression (NMS) trong một chiều
• 2.19. NMS trong 2 chiều
• 2.20. Tổng sai lệch tuyệt đối
• 3. CHƯƠNG 3: VISUAL ODOMETRY SỬ DỤNG STEREO CAMERA
• 3.1. Thuật toán Visual Odometry
• 3.2. Dùng thư viện Triclops bắt ảnh từ stereo camera Bumblebee2
• 3.3. Chương trình đọc các thông số của camera Bumblebee2
• 3.4. Hiệu chỉnh ảnh thu được (Rectified)
• 3.5. Tìm những điểm đặc trưng góc và blob (Feature detection)
• 3.6. Thuật toán Non-Maximum Suppression
• 3.7. Tìm điểm đặc trưng giống nhau trong hai cặp ảnh (Feature matching)
• 3.8. Epipolar Geometry
• 3.9. Tính toán Disparity và xây dựng điểm ảnh 3D
• 3.10. Ước lượng chuyển động
• 3.11. Kỹ thuật Bucketing
• 3.12. Thuật toán Gauss-Newton
• 3.13. Thuật toán RANSAC
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM MÔ HÌNH
• 4.1. Mô hình phần cứng
• 4.2. Kết quả các phương pháp matching và tracking điểm đặc trưng
• 4.3. Kết quả thực hiện Visual Odometry trong các môi trường khác nhau
• 4.3.1. Môi trường trong nhà
• 4.3.2. Môi trường ngoài trời
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Các kết quả đạt được
• 5.2. Hướng phát triển đề tài
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A: CODE CHƯƠNG TRÌNH CHÍNH VISUAL ODOMETRY TRÊN MATLAB
• PHỤ LỤC B: CODE DRIVER ĐỌC ẢNH TỪ STEREO CAMERA BUMBLEBEE 2
• PHỤ LỤC C: CHƯƠNG TRÌNH TÌM VÀ TÍNH TOÁN ĐIỂM ĐẶC TRƯNG
• PHỤ LỤC D: CHƯƠNG TRÌNH TÍNH TOÁN VÀ ƯỚC LƯỢNG CHUYỂN ĐỘNG

I. Giới thiệu tổng quan về Visual Odometry và Stereo Camera

Luận văn thạc sĩ này tập trung vào việc nghiên cứu và phát triển hệ thống định vị 3D sử dụng stereo camera. Visual Odometry là phương pháp ước lượng chuyển động của camera dựa trên phân tích các cặp ảnh liên tiếp. Phương pháp này được ứng dụng rộng rãi trong các lĩnh vực như rô bốt tự hành, hệ thống hỗ trợ lái xe, và định vị không gian. Stereo camera với hai ống kính cho phép mô phỏng thị giác hai mắt của con người, giúp thu nhận hình ảnh 3D và đo lường khoảng cách chính xác.

1.1. Khái niệm Visual Odometry

Visual Odometry là kỹ thuật xác định vị trí và hướng chuyển động của thiết bị bằng cách phân tích các hình ảnh liên tiếp từ camera. Phương pháp này khắc phục được các hạn chế của odometry truyền thống, như sự phụ thuộc vào độ chính xác của cảm biến bánh xe và hiện tượng trượt bánh. Visual Odometry được ứng dụng trong các hệ thống tự động hóa, định vị không gian, và thị giác máy tính.

1.2. Stereo Camera và ứng dụng

Stereo camera là loại camera có hai ống kính, cho phép thu nhận hình ảnh 3D và đo lường khoảng cách. Cấu trúc này mô phỏng thị giác hai mắt của con người, giúp tăng độ chính xác trong việc xác định vị trí và chuyển động. Stereo camera được sử dụng trong các ứng dụng như rô bốt tự hành, máy bay không người lái, và hệ thống giám sát đô thị.

II. Cơ sở lý thuyết và phương pháp nghiên cứu

Luận văn trình bày các khái niệm cơ bản về xử lý hình ảnh, mô hình camera, và hình học 3D. Các thuật toán như Gauss-Newton và RANSAC được sử dụng để ước lượng chuyển động của camera. Stereo camera Bumblebee 2 được chọn làm thiết bị chính để thu nhận hình ảnh và đo lường khoảng cách. Phương pháp Visual Odometry được triển khai qua các bước: đọc ảnh, hiệu chỉnh ảnh, phát hiện điểm đặc trưng, và ước lượng chuyển động.

2.1. Xử lý hình ảnh và mô hình camera

Quá trình xử lý hình ảnh bao gồm việc hiệu chỉnh ảnh, phát hiện điểm đặc trưng, và tính toán disparity để xây dựng hình ảnh 3D. Mô hình camera được sử dụng để xác định các thông số nội và ngoại của camera, giúp tăng độ chính xác trong việc ước lượng chuyển động.

2.2. Thuật toán ước lượng chuyển động

Các thuật toán Gauss-Newton và RANSAC được áp dụng để ước lượng chuyển động của camera dựa trên các điểm đặc trưng. Gauss-Newton giúp tối ưu hóa các thông số chuyển động, trong khi RANSAC loại bỏ các điểm nhiễu, đảm bảo độ chính xác của kết quả.

III. Kết quả thực nghiệm và ứng dụng

Luận văn trình bày kết quả thực nghiệm của hệ thống định vị 3D sử dụng stereo camera. Hệ thống được thử nghiệm trong các môi trường khác nhau, bao gồm trong nhà và ngoài trời. Kết quả cho thấy độ chính xác cao trong việc xác định vị trí và chuyển động của đối tượng. Hệ thống có thể kết hợp với các phương pháp khác như GPS và INS để ứng dụng trong các lĩnh vực như y tế, công nghiệp, và quân sự.

3.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy hệ thống định vị 3D đạt độ chính xác cao với sai số khoảng 5%. Hệ thống có thể xác định vị trí và chuyển động của đối tượng theo ba trục x, y, z và các góc pitch, yaw, roll. Kết quả được so sánh với dữ liệu từ GPS và INS, cho thấy sự tương đồng và độ tin cậy cao.

3.2. Ứng dụng thực tế

Hệ thống có thể ứng dụng trong nhiều lĩnh vực như y tế (theo dõi chuyển động khớp), công nghiệp (điều khiển cần trục), và quân sự (giám sát tên lửa). Khả năng kết hợp với các phương pháp khác như GPS và INS giúp mở rộng phạm vi ứng dụng của hệ thống.