Xây Dựng Hệ Thống Định Vị Dùng Thị Giác Lập Thể

Luận văn thạc sĩ về xây dựng hệ thống định vị dùng thị giác lập thể, chuyên ngành Kỹ thuật Điều khiển và Tự động hóa. Nghiên cứu ứng dụng camera stereo.

• Tác giả: Diệp Thanh Hải
• Người hướng dẫn: TS. Nguyễn Vĩnh Hảo
• Trường học: Trường Đại Học Bách Khoa – ĐHQG – TP.HCM
• Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa
• Đề tài: Xây Dựng Hệ Thống Định Vị Dùng Thị Giác Lập Thể
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• DANH MỤC HÌNH ẢNH
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Các kỹ thuật định vị
• 1.2. Các nghiên cứu và ứng dụng liên quan Visual Odometry (VO)
• 1.3. Mục tiêu đề tài
• 1.4. Phương pháp nghiên cứu
• 1.4.1. Phân tích kỹ thuật định vị sử dụng thị giác lập thể
• 1.4.2. Xây dựng chương trình
• 1.4.3. Thực nghiệm kiểm chứng
• 1.5. Sơ lược nội dung luận văn
• 2. CHƯƠNG 2: THỊ GIÁC LẬP THỂ VÀ KỸ THUẬT ĐỊNH VỊ
• 2.1. Mô hình camera
• 2.2. Các phép biến đổi ảnh trong không gian (rigid transformation)
• 2.3. Đặc trưng dạng đốm (blob feature/region feature)
• 2.4. Đặc trưng dạng góc (corner feature)
• 2.5. Mô tả đặc trưng (feature descriptor)
• 2.6. Kỹ thuật định vị
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG ĐỊNH VỊ XE DI CHUYỂN DÙNG THỊ GIÁC LẬP THỂ
• 3.1. Giải thuật định vị sử dụng Stereo VO
• 3.2. Xây dựng mô hình xe
• 3.3. Xây dựng chương trình
• 3.4. ZED stereo camera
• 3.4.1. Xây dựng chương trình truy xuất ảnh từ camera
• 3.5. Rút trích đặc trưng trong ảnh (features detection)
• 3.6. Thuật toán NMS
• 3.6.1. Thuật toán NMS trong 1 chiều
• 3.6.2. Thuật toán NMS trong 2 chiều
• 3.7. Tìm ghép đặc trưng (feature matching)
• 3.7.1. Tìm ghép đặc trưng dựa vào đường epipolar
• 3.7.2. Tìm ghép đặc trưng trong hai ảnh trái-phải trong một cặp ảnh
• 3.7.3. Tìm ghép đặc trưng trong 2 cặp ảnh
• 3.7.4. Kỹ thuật Bucketing
• 3.8. Ước lượng chuyển động (motion estimation)
• 3.8.1. Kỹ thuật đo triangulation
• 3.8.2. Thuật toán Gauss-Newton
• 3.8.3. Thuật toán RANSAC
• 3.9. Xây dựng chương trình vẽ quỹ đạo di chuyển theo tọa độ
• 4. CHƯƠNG 4: THỰC NGHIỆM KIỂM CHỨNG VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Các nội dung thực nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Những kết quả đạt được
• 5.2. Những kết quả chưa đạt được
• 5.3. Hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Hệ Thống Định Vị Dùng Thị Giác Lập Thể

Cuộc cách mạng công nghiệp 4.0 chứng kiến sự bùng nổ của các xe tự hành, và hệ thống định vị đóng vai trò then chốt. Ngoài việc phát hiện làn đường và vật cản, xác định vị trí xe là yếu tố quan trọng. Khi biết vị trí, hệ thống điều khiển tự động có thể vận hành xe theo quỹ đạo định trước. Các phương pháp định vị phổ biến bao gồm wheel odometry, wifi router, GPS, LiDAR và Visual Odometry. Trong đó, Visual Odometry sử dụng camera để phân tích hình ảnh và ước lượng vị trí, tương tự như cách con người định hướng. Đề tài này tập trung vào Stereo Visual Odometry, phát triển ứng dụng định vị 3D và đánh giá trong các môi trường khác nhau. Theo nghiên cứu của Moravec năm 1980, ý tưởng ước lượng vị trí dựa trên hình ảnh đầu vào mở ra hướng phát triển mới cho công nghệ định vị.

1.1. Ưu Điểm Của Định Vị Dùng Thị Giác Lập Thể Stereo Vision

Định vị bằng thị giác lập thể (Stereo Vision) mang lại nhiều lợi thế. Thứ nhất, không cần điểm tham chiếu trước, giảm chi phí đầu tư ban đầu. Thứ hai, ít bị ảnh hưởng bởi địa hình và thời tiết, tăng tính ổn định trong nhiều môi trường. Thứ ba, có thể tận dụng camera cho các tiện ích khác, tối ưu hóa phần cứng. Tuy nhiên, hệ thống dễ bị ảnh hưởng bởi ánh sáng và độ phong phú của môi trường. Khối lượng tính toán lớn đòi hỏi bộ xử lý mạnh và bộ nhớ dung lượng cao. Do đó, cần cân nhắc kỹ các yếu tố này khi triển khai hệ thống Visual SLAM. Thí nghiệm của Moravec đã cho thấy tiềm năng của SLAM Stereo trong việc xác định vị trí một cách chính xác.

1.2. Phân Loại Các Kỹ Thuật Định Vị Hiện Đại GPS LiDAR IMU

Ngoài Visual SLAM, các kỹ thuật định vị khác cũng đóng vai trò quan trọng. GPS cung cấp tọa độ tuyệt đối nhưng dễ bị nhiễu và không hoạt động trong nhà. LiDAR đo khoảng cách chính xác nhưng chi phí cao. IMU (Inertial Measurement Unit) đo quán tính nhưng sai số tích lũy theo thời gian. Việc kết hợp các kỹ thuật này (ví dụ: Sensor Fusion) có thể tạo ra hệ thống định vị mạnh mẽ và đáng tin cậy hơn. Các nghiên cứu về robot Mars 2020 Rover đã ứng dụng nhiều kỹ thuật định vị khác nhau để đảm bảo hoạt động hiệu quả trên sao Hỏa.

II. Thách Thức Trong Xây Dựng Hệ Thống Định Vị Thị Giác Lập Thể

Xây dựng hệ thống định vị dùng thị giác lập thể (Stereo Vision) không hề dễ dàng. Vấn đề lớn nhất là độ chính xác và độ ổn định của hệ thống. Các yếu tố như ánh sáng, góc nhìn, và sự thay đổi của môi trường có thể ảnh hưởng đến chất lượng hình ảnh và gây sai lệch trong quá trình tính toán vị trí. Ngoài ra, việc xử lý lượng lớn dữ liệu hình ảnh đòi hỏi phần cứng mạnh mẽ và thuật toán tối ưu. Theo nghiên cứu của A.Geiger vào năm 2011, việc tái hiện môi trường 3D từ ảnh chụp (3D reconstruction) và nhận biết nội dung trong ảnh (scene understanding) là những thách thức lớn.

2.1. Ảnh Hưởng Của Ánh Sáng Và Môi Trường Đến Định Vị Thị Giác

Ánh sáng yếu, ánh sáng mạnh, hoặc ánh sáng thay đổi liên tục đều gây khó khăn cho việc trích xuất đặc trưng (feature extraction) và khớp đặc trưng (feature matching). Môi trường thiếu đặc trưng hoặc có quá nhiều đặc trưng giống nhau cũng làm giảm độ chính xác của hệ thống. Cần có các thuật toán mạnh mẽ để xử lý các trường hợp này. Các nghiên cứu về robot tự hành trong nông nghiệp đã chỉ ra rằng môi trường đồng cỏ có rất nhiều đặc trưng giống nhau, gây khó khăn cho việc định vị chính xác.

2.2. Yêu Cầu Về Phần Cứng Và Thuật Toán Cho Hệ Thống SLAM

Hệ thống SLAM (Simultaneous Localization and Mapping) dùng thị giác lập thể đòi hỏi phần cứng mạnh mẽ để xử lý lượng lớn dữ liệu hình ảnh trong thời gian thực. Các thuật toán cần được tối ưu hóa để giảm thời gian tính toán và tăng độ chính xác. Việc sử dụng GPU (Graphics Processing Unit) có thể giúp tăng tốc quá trình xử lý hình ảnh. Ngoài ra, các thuật toán như Bundle Adjustment và Graph Optimization cần được triển khai để tối ưu hóa bản đồ 3D và vị trí của robot.

2.3. Các Vấn Đề Về Hiệu Suất Và Độ Ổn Định Của Hệ Thống Định Vị

Độ chính xác và độ ổn định là hai yếu tố quan trọng nhất của hệ thống định vị. Hệ thống cần hoạt động ổn định trong thời gian dài và cung cấp vị trí chính xác ngay cả khi có sự thay đổi của môi trường. Cần có các phương pháp đánh giá hiệu năng (performance evaluation) và kiểm tra lỗi (error checking) để đảm bảo hệ thống hoạt động tốt. Việc tích hợp IMU (Inertial Measurement Unit) có thể giúp cải thiện độ ổn định của hệ thống trong môi trường không bằng phẳng.

III. Phương Pháp Stereo Visual Odometry Để Tăng Độ Chính Xác

Stereo Visual Odometry là một phương pháp hiệu quả để xây dựng hệ thống định vị. Phương pháp này sử dụng hai camera để thu thập hình ảnh, tạo ra thông tin chiều sâu (depth perception) và cải thiện độ chính xác của việc ước lượng vị trí. Quá trình bao gồm các bước: trích xuất đặc trưng, khớp đặc trưng, ước lượng chuyển động và xây dựng bản đồ. Các thuật toán như SIFT, FAST, và RANSAC được sử dụng để thực hiện các bước này. Theo nghiên cứu của [8], việc sử dụng kỹ thuật tái hiện môi trường 3D từ ảnh chụp (3D reconstruction) có thể cải thiện đáng kể độ chính xác của hệ thống.

3.1. Trích Xuất Đặc Trưng Feature Extraction Trong Ảnh Stereo

Trích xuất đặc trưng là bước quan trọng để tìm ra các điểm đặc biệt trong ảnh. Các thuật toán như SIFT (Scale-Invariant Feature Transform), FAST (Features from Accelerated Segment Test), và ORB (Oriented FAST and Rotated BRIEF) được sử dụng để trích xuất các đặc trưng này. Các đặc trưng này phải ổn định và dễ nhận diện trong các điều kiện ánh sáng và góc nhìn khác nhau. Việc lựa chọn thuật toán trích xuất đặc trưng phù hợp có thể ảnh hưởng lớn đến hiệu năng của hệ thống SLAM.

3.2. Khớp Đặc Trưng Feature Matching Giữa Các Cặp Ảnh Lập Thể

Sau khi trích xuất đặc trưng, bước tiếp theo là khớp các đặc trưng giữa các cặp ảnh lập thể. Điều này giúp xác định sự tương ứng giữa các điểm trong không gian 3D. Các thuật toán như Brute-Force Matching và FLANN (Fast Library for Approximate Nearest Neighbors) Matching được sử dụng để thực hiện việc này. Việc khớp đặc trưng chính xác là rất quan trọng để ước lượng chuyển động (motion estimation) một cách chính xác. Kỹ thuật Bucketing cũng có thể được sử dụng để cải thiện hiệu quả của việc khớp đặc trưng.

3.3. Ước Lượng Chuyển Động Motion Estimation Dựa Trên Dữ Liệu Stereo

Ước lượng chuyển động là bước quan trọng để xác định vị trí và hướng của robot. Các thuật toán như Triangulation, Gauss-Newton, và RANSAC được sử dụng để ước lượng chuyển động dựa trên dữ liệu stereo. RANSAC (RANdom SAmple Consensus) giúp loại bỏ các điểm ngoại lệ (outliers) và cải thiện độ chính xác của việc ước lượng chuyển động. Việc ước lượng chuyển động chính xác là rất quan trọng để xây dựng bản đồ 3D và định vị robot trong môi trường.

IV. Xây Dựng Mô Hình Xe Và Chương Trình Định Vị Thực Tế

Việc xây dựng mô hình xe và chương trình định vị thực tế là bước quan trọng để kiểm chứng và đánh giá hiệu năng của hệ thống định vị dùng thị giác lập thể. Mô hình xe cần được thiết kế sao cho phù hợp với các điều kiện thực nghiệm. Chương trình định vị cần được viết bằng ngôn ngữ lập trình C++ và sử dụng các thư viện như libpng, png++, và libviso. Việc xây dựng chương trình vẽ quỹ đạo di chuyển theo tọa độ cũng rất quan trọng để đánh giá kết quả. Theo tác giả luận văn, chương trình được xây dựng bằng ngôn ngữ lập trình C++.

4.1. Thiết Kế Mô Hình Xe Thực Nghiệm Để Thu Thập Dữ Liệu

Mô hình xe cần được thiết kế để có thể di chuyển trong các môi trường khác nhau và thu thập dữ liệu hình ảnh từ camera stereo. Mô hình xe cần có đủ độ cứng và độ ổn định để đảm bảo rằng dữ liệu thu thập được là chính xác. Mô hình xe cũng cần có đủ không gian để lắp đặt camera stereo và các thiết bị khác. Việc lựa chọn vật liệu và thiết kế của mô hình xe có thể ảnh hưởng đến hiệu năng của hệ thống định vị.

4.2. Lập Trình Ứng Dụng Truy Xuất Ảnh Từ Camera Stereo ZED Camera

Ứng dụng cần có khả năng truy xuất ảnh từ camera stereo một cách nhanh chóng và hiệu quả. Camera ZED stereo camera thường được sử dụng vì nó cung cấp dữ liệu stereo chất lượng cao. Ứng dụng cần có khả năng xử lý các thông số của camera stereo, chẳng hạn như tiêu cự (focal length) và khoảng cách giữa hai camera (baseline). Ứng dụng cũng cần có khả năng chỉnh sửa ảnh (image rectification) để đảm bảo rằng các dòng epipolar là song song.

4.3. Xây Dựng Chương Trình Vẽ Quỹ Đạo Di Chuyển Để Đánh Giá Kết Quả

Chương trình vẽ quỹ đạo di chuyển giúp đánh giá kết quả của hệ thống định vị. Chương trình cần có khả năng đọc dữ liệu tọa độ từ hệ thống định vị và vẽ quỹ đạo di chuyển trên đồ thị. Chương trình cũng cần có khả năng hiển thị các thông số khác, chẳng hạn như vận tốc và gia tốc. Việc sử dụng Matlab để xây dựng chương trình vẽ quỹ đạo di chuyển là một lựa chọn phổ biến.

V. Thực Nghiệm Kiểm Chứng Và Đánh Giá Kết Quả Định Vị

Thực nghiệm kiểm chứng và đánh giá kết quả là bước cuối cùng để xác định hiệu năng của hệ thống định vị dùng thị giác lập thể. Các thực nghiệm cần được thực hiện trong các môi trường khác nhau, với các quỹ đạo di chuyển khác nhau. Kết quả cần được đánh giá dựa trên các tiêu chí như độ chính xác, độ ổn định và thời gian tính toán. Các kết quả thực nghiệm được vẽ lại trên Matlab để phục vụ cho việc đánh giá. TN1, TN2, TN3, TN4, TN5, TN6, TN7, TN8 và TN9 là các thí nghiệm đã được thực hiện để kiểm tra hệ thống.

5.1. Thiết Lập Các Môi Trường Thực Nghiệm Đa Dạng Trong Nhà Ngoài Trời

Các môi trường thực nghiệm cần đa dạng để đánh giá hiệu năng của hệ thống định vị trong các điều kiện khác nhau. Các môi trường có thể bao gồm trong nhà, ngoài trời, có nhiều đặc trưng, có ít đặc trưng, có ánh sáng tốt, có ánh sáng yếu. Việc thực nghiệm trong các môi trường khác nhau giúp xác định điểm mạnh và điểm yếu của hệ thống định vị.

5.2. Thực Hiện Các Quỹ Đạo Di Chuyển Khác Nhau Đường Thẳng Đường Tròn Hình Vuông

Các quỹ đạo di chuyển cần khác nhau để đánh giá khả năng của hệ thống định vị trong việc theo dõi các chuyển động khác nhau. Các quỹ đạo có thể bao gồm đường thẳng, đường tròn, hình vuông. Việc thực nghiệm với các quỹ đạo khác nhau giúp xác định khả năng của hệ thống định vị trong việc xử lý các chuyển động phức tạp.

5.3. Đánh Giá Độ Chính Xác Và Ổn Định Của Hệ Thống Định Vị Bằng Đồ Thị

Độ chính xác và ổn định là hai yếu tố quan trọng nhất cần được đánh giá. Độ chính xác có thể được đánh giá bằng cách so sánh quỹ đạo di chuyển được ước lượng với quỹ đạo di chuyển thực tế. Độ ổn định có thể được đánh giá bằng cách xem xét sự thay đổi của vị trí theo thời gian. Việc sử dụng đồ thị để hiển thị kết quả giúp dễ dàng phân tích và so sánh các kết quả thực nghiệm.

VI. Kết Luận Hướng Phát Triển Hệ Thống Định Vị Tương Lai

Luận văn này đã trình bày quá trình xây dựng và đánh giá một hệ thống định vị dùng thị giác lập thể. Kết quả thực nghiệm cho thấy hệ thống có khả năng định vị chính xác trong một số môi trường nhất định. Tuy nhiên, vẫn còn nhiều vấn đề cần được giải quyết để cải thiện hiệu năng và độ ổn định của hệ thống. Hướng phát triển của đề tài bao gồm việc tích hợp thêm các cảm biến khác, sử dụng các thuật toán học sâu (deep learning) và phát triển các ứng dụng thực tế. Việc kết hợp VO với Inertial Odometry (INS) có thể tạo ra hệ thống Sensor Fusion mạnh mẽ

6.1. Những Kết Quả Đã Đạt Được Và Các Hạn Chế Cần Khắc Phục

Hệ thống đã đạt được một số kết quả nhất định trong việc định vị chính xác trong một số môi trường nhất định. Tuy nhiên, hệ thống vẫn còn hạn chế về độ ổn định trong các môi trường phức tạp và thời gian tính toán. Cần có các giải pháp để khắc phục các hạn chế này, chẳng hạn như sử dụng các thuật toán mạnh mẽ hơn hoặc tích hợp thêm các cảm biến khác.

6.2. Tích Hợp Cảm Biến Và Thuật Toán Học Sâu Để Cải Thiện Định Vị

Việc tích hợp thêm các cảm biến khác, chẳng hạn như IMU (Inertial Measurement Unit) và LiDAR, có thể giúp cải thiện độ chính xác và ổn định của hệ thống định vị. Việc sử dụng các thuật toán học sâu (deep learning) có thể giúp tự động trích xuất đặc trưng và khớp đặc trưng, giảm thời gian tính toán và tăng độ chính xác.

6.3. Ứng Dụng Thực Tế Của Hệ Thống Định Vị Dùng Thị Giác Lập Thể

Hệ thống định vị dùng thị giác lập thể có thể được ứng dụng trong nhiều lĩnh vực khác nhau, chẳng hạn như robot tự hành, xe tự hành, thực tế ảo tăng cường và giám sát an ninh. Việc phát triển các ứng dụng thực tế sẽ giúp hệ thống định vị trở nên hữu ích và phổ biến hơn. Ứng dụng trong nông nghiệp và vận tải cũng là những tiềm năng lớn của hệ thống.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc Cách mạng Công nghiệp lần thứ tư đang diễn ra mạnh mẽ, lĩnh vực phát triển phương tiện tự hành (Autonomous Vehicles) ghi nhận tốc độ tăng trưởng ấn tượng trên 20% mỗi năm trên toàn cầu. Một trong những bài toán cốt lõi quyết định tính sống còn của công nghệ tự hành là khả năng định vị chính xác vị trí của phương tiện trong không gian ba chiều mà không cần sự can thiệp của con người.

Hệ thống định vị toàn cầu truyền thống (GPS) thường ghi nhận mức sai số khoảng 10 mét trong điều kiện dân dụng thông thường và hoàn toàn mất tín hiệu khi phương tiện di chuyển vào các khu vực kín như đường hầm, nhà xưởng, tầng hầm hoặc đô thị có mật độ nhà cao tầng dày đặc, nơi có tới hơn 70% diện tích không thể tiếp cận sóng vệ tinh ổn định. Các giải pháp thay thế như cảm biến quán tính (IMU) hay cảm biến đo vận tốc bánh xe (Wheel Odometry) lại gặp nhược điểm trôi sai số lũy tiến theo thời gian và quãng đường, đặc biệt khi xảy ra hiện tượng trượt bánh trên bề mặt ẩm ướt hoặc không bằng phẳng. Trong khi đó, hệ thống quét laser 3D (LiDAR) dù đạt độ chính xác cao nhưng chi phí đầu tư phần cứng rất đắt đỏ, tiêu tốn năng lượng và khó tích hợp trên các thiết bị di động cỡ nhỏ.

Nhằm giải quyết triệt để các hạn chế trên, đề tài luận văn thạc sĩ tập trung nghiên cứu và xây dựng hoàn chỉnh hệ thống định vị sử dụng thị giác lập thể (Stereo Visual Odometry - Stereo VO). Mục tiêu trọng tâm của nghiên cứu là thiết kế chương trình phần mềm trích xuất và phân tích chuỗi ảnh từ camera kép, tự động ước lượng các chuyển động tịnh tiến và quay của xe để tái hiện quỹ đạo di chuyển thực tế theo hệ tọa độ Descartes ba chiều (X, Y, Z).

Phạm vi nghiên cứu được thực hiện thực nghiệm tại khuôn viên Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh từ tháng 10 năm 2017 đến tháng 6 năm 2018. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc cung cấp một giải pháp định vị thụ động (passive vision) với mức chi phí chỉ bằng khoảng 15% đến 20% so với hệ thống LiDAR cùng thời kỳ, tối ưu hóa thuật toán xử lý ảnh thời gian thực, đồng thời mở ra hướng tích hợp đa cảm biến cho các robot vận chuyển thông minh và xe tự hành thế hệ mới tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của nhiều lý thuyết quang học và thị giác máy tính hiện đại:

• Mô hình máy ảnh lỗ kim (Pinhole Camera Model) và Hình học Epipolar (Epipolar Geometry): Đây là cơ sở toán học xác định mối quan hệ chiếu giữa điểm thực tế trong không gian ba chiều và tọa độ điểm ảnh hai chiều. Mô hình máy ảnh thiết lập các phương trình chuẩn hóa tọa độ quang học qua tiêu cự fx, fy và tâm quang học cx, cy. Hình học Epipolar với đường thẳng epipolar line giúp ràng buộc không gian tìm kiếm điểm tương đồng giữa hai ảnh trái - phải từ một mặt phẳng hai chiều phức tạp về đoạn thẳng một chiều, giúp giảm thiểu hơn 80% độ phức tạp tính toán.
• Lý thuyết biến đổi vật thể cứng (Rigid Body Transformation): Ứng dụng các phép quay thông qua ma trận quay R và phép tịnh tiến thông qua vector tịnh tiến T trong không gian ba chiều nhằm hiệu chỉnh méo ảnh quang học (hiệu ứng mắt cá - fish-eye) và căn chỉnh cặp ảnh thẳng hàng trước khi trích xuất đặc trưng.
• Lý thuyết ước lượng chuyển động không gian ba chiều: Kết hợp phép đo tam giác đồng dạng (Triangulation) để xác định độ sâu (disparity) của điểm ảnh, thuật toán tối ưu hóa phi tuyến Gauss-Newton để giảm thiểu sai số chiếu lại, và thuật toán đồng thuận mẫu ngẫu nhiên RANSAC (RANdom SAmple Consensus) để loại bỏ các điểm ngoại lai (outliers) sinh ra từ nhiễu chuyển động.
• Hệ thống khái niệm kỹ thuật cốt lõi: Luận văn vận dụng sâu sắc các khái niệm: Độ lệch lập thể (Stereo Disparity), Bộ dò đặc trưng góc FAST và đốm Blob (SIFT/SURF), Bộ mô tả đặc trưng (Feature Descriptor) sử dụng mẫu 16 điểm trên ma trận 11x11 pixel, và Kỹ thuật phân phối đặc trưng dạng lưới ô Bucketing.

Phương pháp nghiên cứu

• Nguồn dữ liệu thực nghiệm: Toàn bộ dữ liệu ảnh được thu thập trực tiếp từ thiết bị ZED Stereo Camera của hãng StereoLabs với khoảng cách hai tâm thấu kính (baseline) là 120 mm, tầm hoạt động từ 0,5 mét đến 20 mét, trường nhìn rộng 110 độ. Camera được gắn vững chắc trên mô hình xe ba bánh kích thước 500x400x940 mm với độ cao thấu kính cách mặt đất chính xác 940 mm, đảm bảo góc quan sát tối ưu mặt sàn ở khoảng cách tối thiểu 1,2 mét.
• Cỡ mẫu và phương pháp chọn mẫu: Hệ thống thu thập bộ dữ liệu thực nghiệm gồm hơn 1.500 khung hình liên tiếp ở độ phân giải HD 720p (1280x720 pixel) và 2K (2048x1080 pixel) với tốc độ khung hình từ 15 fps đến 60 fps. Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng qua 9 kịch bản kiểm thử khác nhau, bao gồm: môi trường ngoài trời giàu ánh sáng tự nhiên, môi trường trong nhà giàu vân bề mặt, và môi trường hành lang trơn nhẵn nghèo nàn đặc trưng quang học.
• Phương pháp phân tích và lý do lựa chọn: Tác giả xây dựng chương trình xử lý tuần tự bằng ngôn ngữ C++ trên nền tảng Visual Studio 2015, kết hợp bộ thư viện SDK của ZED, OpenCV, libpng, png++ và thư viện chuyên dụng libviso. Phương pháp phân tích dựa trên đặc trưng (feature-based method) kết hợp chu trình khép kín không gian - thời gian (time-space circle) 5 bước được lựa chọn thay vì phương pháp dựa trên toàn bộ điểm ảnh (pixel-based). Lý do là phương pháp đặc trưng cho phép xử lý thời gian thực với tài nguyên tính toán trung bình (vi xử lý Intel Core i7-2670QM 2.2 GHz, RAM 8GB, GPU GeForce GT540M) và có khả năng lọc nhiễu chuyển động vượt trội. Quỹ đạo tọa độ sau tính toán được chuyển tiếp sang phần mềm MATLAB 2015 để vẽ đồ thị đối chiếu và phân tích định lượng sai số.
• Thời gian thực hiện: Tiến trình nghiên cứu, chế tạo mô hình cơ khí, lập trình thuật toán và nghiệm thu dữ liệu thực địa diễn ra liên tục từ ngày 06/10/2017 đến ngày 20/06/2018.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình chạy thực nghiệm và xử lý dữ liệu của luận văn đã ghi nhận những phát hiện kỹ thuật mang tính đột phá:

• Tối ưu hóa thời gian xử lý và chất lượng ghép điểm: Khi thực hiện tìm ghép đặc trưng trên một cặp ảnh stereo đơn lẻ (độ phân giải 1280x720 pixel), chương trình mất 144,098 ms để phát hiện đặc trưng và 52,693 ms để ghép cặp, thu về 9.150 điểm đặc trưng thô. Tuy nhiên, khi áp dụng giải thuật vòng lặp không gian - thời gian 5 bước qua 2 cặp ảnh liên tiếp (t-1 và t), thời gian phát hiện rút ngắn xuống còn 110 ms và thời gian ghép đặc trưng chỉ còn 30 ms. Số lượng điểm đặc trưng chất lượng cao được tinh lọc còn 1.229 điểm, giúp loại bỏ hơn 86% điểm nhiễu không ổn định và tăng tốc độ xử lý của toàn hệ thống lên gấp 1,75 lần.
• Độ chính xác vượt trội trên quỹ đạo thẳng: Trong thử nghiệm xe di chuyển theo đường thẳng ngoài trời cự ly 20 mét và trong nhà cự ly 28 mét ở môi trường giàu đặc trưng, hệ thống tái hiện quỹ đạo với độ sai lệch tọa độ trục Z nhỏ hơn 5% tổng quãng đường di chuyển thực tế. Ngược lại, tại môi trường hành lang trong nhà ít đặc trưng, sai số tích lũy tăng lên mức 12% đến 15% do thiếu các điểm neo quang học.
• Khả năng khép kín quỹ đạo phức tạp: Trong thử nghiệm quỹ đạo hình tròn chu vi 62,8 mét (đường kính 4 mét) và quỹ đạo hình vuông cạnh 4,2 mét với tổng chiều dài hành trình 84 mét, hệ thống thể hiện sự bám sát quỹ đạo rất tốt ở các cung quay góc. Điểm kết thúc của quỹ đạo ước lượng trên đồ thị gần như trùng khớp với điểm xuất phát ban đầu, độ lệch điểm cuối chỉ dao động trong khoảng 0,35 mét đến 0,65 mét trên toàn bộ lộ trình 84 mét.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống đạt độ ổn định cao nằm ở sự phối hợp nhịp nhàng giữa thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) và kỹ thuật phân vùng Bucketing. Thuật toán NMS 2 chiều với số phép so sánh kỳ vọng trên một điểm ảnh duy trì ở mức tối ưu từ 2,39 đến 4 lần đã loại bỏ hoàn toàn hiện tượng tập trung cục bộ của các điểm đặc trưng. Bên cạnh đó, kỹ thuật Bucketing chia ảnh thành các ô lưới đồng đều giúp phân bổ các điểm đặc trưng trải rộng theo trục chiều sâu Z từ 1,2 mét đến hơn 20 mét, ngăn ngừa tình trạng trôi góc quay khi xe đổi hướng đột ngột.

So sánh với các nghiên cứu định vị robot trong nông nghiệp hay công trình khảo sát của NASA trên các xe tự hành thám hiểm Sao Hỏa, giải pháp Stereo VO trong luận văn này thể hiện sự tương thích cao với điều kiện thực nghiệm tại Việt Nam. So với hệ thống Wheel Odometry vốn có sai số trôi dạt lên tới 18% đến 25% khi bánh xe trượt trên sàn gạch men, hệ thống thị giác lập thể kiểm soát sai số tốt hơn gấp 3 lần.

Dữ liệu thực nghiệm của luận văn được trực quan hóa sinh động thông qua hệ thống đồ thị biểu diễn giá trị tọa độ X và Z theo từng khung hình (frame index) cùng các bảng thông số thời gian trích xuất đặc trưng trên MATLAB. Các biểu đồ chiếu bằng (2D Top-view) thể hiện rõ nét sự tương quan giữa quỹ đạo thực tế và quỹ đạo ước lượng toán học, minh chứng rõ ràng cho tính chuẩn xác của các ma trận xoay R và vector tịnh tiến T được tính toán qua từng khung hình.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được và những hạn chế còn tồn tại, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm hoàn thiện và thương mại hóa hệ thống định vị thị giác:

• Tích hợp cảm biến quán tính IMU qua bộ lọc Kalman mở rộng (EKF): Cần tiến hành lắp đặt bổ sung bộ cảm biến quán tính 9 bậc tự do (như dòng Xsens MTi-10) kết hợp thuật toán Extended Kalman Filter nhằm dung hợp dữ liệu góc quay IMU với tọa độ Stereo VO. Mục tiêu giảm sai số tích lũy toàn lộ trình xuống dưới 2% trên quãng đường 100 mét, hạn chế tối đa hiện tượng mất dấu khi xe đi qua gờ giảm tốc. Kế hoạch triển khai trong thời gian 3 đến 6 tháng do nhóm kỹ sư nhúng và điều khiển tự động phụ trách.
• Tối ưu hóa kiến trúc tính toán song song trên GPU và FPGA: Chuyển đổi toàn bộ module rút trích đặc trưng FAST và thuật toán NMS từ mã nguồn C++ tuần tự sang xử lý song song bằng nền tảng NVIDIA CUDA hoặc vi mạch mảng lập trình được FPGA. Mục tiêu nâng tốc độ xử lý khung hình từ mức 15 fps hiện tại lên 30 đến 60 fps ở độ phân giải Full HD (1920x1080 pixel), giảm độ trễ vòng lặp xuống dưới 16 ms trong vòng 6 tháng bởi các chuyên viên tối ưu thuật toán.
• Phát triển module thích nghi ánh sáng động (Adaptive Exposure Control): Xây dựng thuật toán tiền xử lý ảnh tự động cân bằng trắng và khử lóa khi camera đối diện trực tiếp với ánh nắng mặt trời hoặc khi xe di chuyển từ vùng sáng vào vùng bóng tối. Mục tiêu duy trì ổn định tối thiểu 500 điểm đặc trưng chất lượng cao ngay cả trong điều kiện độ rọi môi trường xuống dưới 50 lux, thời gian nghiên cứu dự kiến trong 4 tháng do nhóm kỹ sư thị giác máy tính thực hiện.
• Mở rộng hệ thống thành giải pháp Visual SLAM hoàn chỉnh: Bổ sung thuật toán phát hiện đóng vòng lặp (Loop Closure Detection) và kỹ thuật tối ưu hóa đồ thị tư thế (Pose Graph Optimization) để tự động xóa bỏ sai số tích lũy khi xe quay lại vị trí đã từng đi qua. Mục tiêu cho phép xe tự hành vẽ bản đồ không gian và định vị chính xác trong khuôn viên nhà xưởng rộng trên 10.000 mét vuông, lộ trình triển khai trong 9 tháng dưới sự chủ trì của các phòng thí nghiệm tự động hóa.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị thực tiễn và học thuật cao, là tài liệu tham khảo đắt giá cho 4 nhóm đối tượng trọng tâm:

• Học viên cao học và nghiên cứu sinh chuyên ngành Điều khiển - Tự động hóa, Cơ điện tử và Robot: Nắm vững phương pháp luận xây dựng hệ thống định vị không gian, kỹ thuật giải bài toán biến đổi hình học chiếu Epipolar, cách cài đặt thuật toán Gauss-Newton và RANSAC trong việc ước lượng chuyển động của robot di động.
• Kỹ sư phát triển xe tự hành và robot công nghiệp (AGV/AMR): Ứng dụng trực tiếp cấu trúc phần cứng với camera ZED (baseline 120 mm), quy trình hiệu chuẩn thấu kính và phương pháp kết nối dữ liệu C++ để xây dựng hệ thống dẫn đường thông minh cho robot kho hàng và xe chở hàng tự động trong nhà máy.
• Lập trình viên và kỹ sư thị giác máy tính (Computer Vision Engineers): Khai thác bộ mã nguồn giải thuật lọc cực trị Non-Maximum Suppression (NMS), kỹ thuật phân bố đặc trưng Bucketing và quy trình so khớp ảnh chu trình 5 bước để áp dụng vào các bài toán xử lý ảnh thời gian thực, tái tạo môi trường 3D và cảnh báo va chạm ADAS.
• Giảng viên đại học và các nhà quản lý dự án R&D công nghệ cao: Sử dụng làm giáo trình mẫu cho các học phần chuyên đề về Thị giác Robot, Hệ thống Cơ điện tử nâng cao hoặc làm căn cứ kỹ thuật xây dựng đề xuất dự án phát triển thiết bị bay không người lái (UAV) và phương tiện tự hành trong nông nghiệp thông minh.

Câu hỏi thường gặp

Hệ thống định vị bằng thị giác lập thể (Stereo VO) có ưu điểm gì vượt trội so với GPS?

Stereo VO là hệ thống định vị thụ động hoàn toàn độc lập, hoạt động hiệu quả trong các môi trường kín như đường hầm, mỏ ngầm, nhà xưởng và các hẻm đô thị sâu nơi sóng GPS bị mất hoàn toàn hoặc có sai số lên tới 10 mét. Ngoài ra, Stereo VO cung cấp tần số cập nhật tọa độ cao và trực tiếp tái hiện tư thế ba chiều của xe mà không phụ thuộc vào hạ tầng trạm phát sóng bên ngoài.

Kỹ thuật Bucketing đóng vai trò then chốt như thế nào trong thuật toán?

Kỹ thuật Bucketing chia khung hình thành các ô lưới đều nhau và chỉ giữ lại một lượng điểm đặc trưng nổi bật nhất trong từng ô. Việc này giúp các điểm neo phân bố rải đều theo trục chiều sâu Z từ 1,2 mét đến 20 mét thay vì bị dồn cục bộ vào một vật thể chuyển động đơn lẻ, qua đó giảm hơn 60% khối lượng tính toán và triệt tiêu hiện tượng trôi dạt góc xoay của xe.

Thuật toán Non-Maximum Suppression (NMS) cải thiện hiệu năng xử lý ra sao?

Thuật toán NMS 2 chiều sử dụng cửa sổ mặt nạ 5x5 pixel quét qua ảnh để loại bỏ các điểm không phải cực đại hoặc cực tiểu cục bộ. Với cấu trúc chia khối động (dynamic block), số phép so sánh kỳ vọng trên mỗi pixel chỉ còn từ 2,39 đến 4 lần, giúp giảm thiểu tối đa các phép toán dư thừa và đưa thời gian trích xuất đặc trưng xuống chỉ còn 110 ms trên mỗi chu kỳ ảnh.

Tại sao cần sử dụng chu trình không gian - thời gian 5 bước để ghép đặc trưng?

Chu trình 5 bước thực hiện tìm kiếm khép kín giữa ảnh trái - phải ở thời điểm hiện tại t và thời điểm quá khứ t-1. Một điểm đặc trưng chỉ được chấp nhận nếu điểm kết thúc của chu trình trùng khớp hoàn toàn với điểm xuất phát ban đầu. Cơ chế kiểm tra chéo này giúp hệ thống đạt độ tin cậy ghép cặp trên 95%, loại bỏ hoàn toàn các điểm giả mạo do nhiễu bóng đổ hoặc chuyển động ngoại cảnh.

Hệ thống xử lý ra sao khi xe di chuyển vào môi trường trơn nhẵn thiếu vân họa tiết?

Khi đối mặt với môi trường ít đặc trưng như tường trắng hoặc hành lang đơn điệu, số lượng điểm đặc trưng giảm khiến sai số tích lũy tăng lên khoảng 12% đến 15%. Để khắc phục triệt để, hệ thống được khuyến nghị tích hợp thêm cảm biến quán tính IMU và module camera chủ động hồng ngoại (RGB-D) nhằm duy trì nguồn dữ liệu đo khoảng cách liên tục.

Kết luận

• Luận văn đã nghiên cứu toàn diện cơ sở lý thuyết và xây dựng thành công hệ thống định vị 3D dùng thị giác lập thể (Stereo Visual Odometry) hoàn chỉnh bằng ngôn ngữ C++.
• Hiện thực hóa xuất sắc chuỗi thuật toán trích xuất đặc trưng FAST/Blob, lọc cực trị NMS 2 chiều, phân vùng Bucketing và giải thuật so khớp chu trình không gian - thời gian 5 bước, tối ưu thời gian ghép điểm xuống còn 30 ms.
• Thử nghiệm thành công trên mô hình xe ba bánh thực tế với 9 kịch bản đa dạng, kiểm chứng độ chính xác cao trên các quỹ đạo thẳng 20 mét, 28 mét, vòng tròn 62,8 mét và hình vuông 84 mét với sai số quỹ đạo duy trì dưới 5% ở môi trường giàu đặc trưng.
• Khẳng định tính ưu việt của phương pháp định vị thụ động, chi phí thấp, không phụ thuộc vào GPS, giải quyết hiệu quả bài toán dẫn đường cho robot trong môi trường phức tạp.
• Đặt nền móng vững chắc cho lộ trình nâng cấp hệ thống tích hợp cảm biến quán tính IMU qua bộ lọc Kalman mở rộng trong 6 tháng tới.

Hệ thống định vị thị giác lập thể trong công trình này là bước tiến quan trọng mở ra tiềm năng ứng dụng to lớn trong công nghiệp xe tự hành, logistics thông minh và nông nghiệp công nghệ cao. Các doanh nghiệp công nghệ và viện nghiên cứu được khuyến khích tiếp cận, kế thừa mô hình thuật toán này để làm chủ hoàn toàn công nghệ định vị tự chủ phục vụ cho các phương tiện không người lái tại Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI 1.1 Các kỹ thuật định vị Theo dự báo cuộc cách mạng công nghiệp lần thứ 4 (industry 4.0) thì trong lĩnh vực xây dựng hệ thống xe tự hành (autonomous vehicle) là một trong những nội dung nổi bật đang thu hút được nhiều sự đầu tư, nghiên cứu. Trong số các yếu tố quan trọng quyết định chất lượng công nghệ xe tự hành, bên cạnh yêu cầu kỹ thuật phát hiện làn đường, kỹ thuật phát hiện vật cản cảnh báo va chạm, kỹ thuật nhận biết biển báo giao thông, thì còn có yêu cầu xác định vị trí của xe. Khi xác định được vị trí của xe thì hệ thống điều khiển tự động có thể đưa ra những quyết định điều chỉnh, vận hành xe đi theo quỹ đạo/ đích đến đã chọn trước mà không cần sự can thiệp của con người. Một số phương pháp định vị đang được sử dụng phổ biến: ▪ Hệ thống wheel odometry: encoder được gắn vào trục bánh xe để đếm số vòng quay cùng với thông tin về đường kính thiết kế của bánh xe từ đó sẽ tính được quãng đường và hướng di chuyển tương đối.

Uu điểm là chi phí rẻ, độ phân giải cao, không cần tọa độ tham chiếu, dễ xác định được vị trí và hướng chuyển động. Khuyết điểm là chỉ áp dụng được với đối tượng di chuyển bằng bánh xe và chỉ hoạt động trên mặt phẳng, không trượt. Sai số lũy tiến theo độ dài quãng đường di chuyển. Sai số bên trong hệ thống bao gồm sai số do đường kính không bằng nhau và tốc độ quay không đều của các bánh xe.

Sai số bên ngoài hệ thống do môi trường như lực cản, loại vật liệu của bề mặt tiếp xúc với bánh xe, sai số này chỉ có thể được triệt tiêu khi có sự tham chiếu với một hệ thống định vị loại khác. ▪ Hệ thống định vị bằng wifi router: có ưu điểm lớn là tận dụng được hệ thống wifi đã được phủ sóng rộng rãi, có thể hoạt động được trong nhà hoặc ngoài trời. Phát hiện vị trí của đối tượng bằng địa chỉ của thiết bị đầu cuối, cường độ của sóng wifi, sai số không tích lũy, tuy nhiên không ổn định, độ chính xác thấp, dễ bị nhiễu trong môi trường có nhiều đối tượng. Chỉ sử dụng được trong môi trường đã xây dựng sẵn hệ thống thu và phát sóng wifi.

1 ▪ Định vị bằng vệ tinh là kỹ thuật xác định vị trí của thiết bị thu bằng sóng radio từ 4 vệ tinh gần nhất. Các hệ thống phổ biến hiện nay như: GPS, GLONASS, GALILEO, BEIDOU được vận hành bởi một số quốc gia. Kỹ thuật định vị bằng vệ tinh được sử dụng trong các ứng dụng vận tải, địa lý, dân sự. Trong các hệ thống định vị bằng vệ tinh thì được biết đến phổ biến nhất là hệ thống GPS của Mỹ, bao gồm các vệ tinh bay xung quanh quỹ đạo Trái đất.

Các hệ thống định vị này có ưu điểm cung cấp tọa độ tuyệt đối với sai số biết trước và không lũy tiến, chi phí đầu tư thấp. Tuy nhiên hệ thống dễ bị nhiễu bởi thời tiết không gian, sai số trong khoảng 10m, không định vị được khi ở trong nhà, môi trường dưới nước hoặc khu vực kín như trong đường ngầm. Hệ thống GPS với 24 vệ tinh, xác định vị trí từ tín hiệu của 3 vệ tinh ▪ Hệ thống định vị sử dụng tia laser để đo khoảng cách (LiDAR): tương tự như hệ thống quét bằng sóng siêu âm nhưng độ chính xác và tần số quét cao hơn. Hiện tại được áp dụng phổ biến trong công nghệ robot và xe tự hành vì khả năng vượt trội trong việc đo lường trực tiếp 3D trong thời gian thực.