Luận văn thạc sĩ kỹ thuật điều khiển và tự động hóa định vị và vẽ bản đồ đồng thời dựa trên kết hợp camera và lidar trong môi trường sông ngòi

Luận văn thạc sĩ nghiên cứu kỹ thuật điều khiển và tự động hóa trong định vị và vẽ bản đồ bằng camera và lidar trong môi trường sông ngòi.

• Tác giả: Phạm Quang Hà
• Người hướng dẫn: TS. Trần Ngọc Huy
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa
• Đề tài: Định Vị Và Vẽ Bản Đồ Đồng Thời Dựa Trên Kết Hợp Camera Và Lidar Trong Môi Trường Sông Ngòi
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• 1. Lý do chọn đề tài
• 2. Mục tiêu nghiên cứu
• 3. TỔNG QUAN TÀI LIỆU
• 3.1. Sự cần thiết tiến hành nghiên cứu
• 3.2. Tình hình nghiên cứu trong và ngoài nước
• 3.3. Khái niệm nhóm Lie
• 3.3.1. Không gian tiếp tuyến của nhóm Lie
• 3.3.2. Đạo hàm trong nhóm Lie
• 3.3.3. Đa tạp phức hợp các nhóm Lie
• 3.3.4. Nhóm Lie ma trận
• 3.4. Biểu diễn vị trí và góc hướng
• 3.4.1. Biểu diễn góc hướng 3 chiều
• 3.4.2. Biểu diễn tư thế 3 chiều
• 3.5. Tối ưu bình phương cực tiểu phi tuyến
• 3.5.1. Dẫn giải bài toán IRLS
• 3.5.2. Thiết kế hàm trọng số
• 4. THIẾT KẾ GIẢI THUẬT
• 4.1. Sơ đồ khối toàn hệ thống
• 4.2. Giải bài toán IRLS trong không gian Lie
• 4.3. Xây dựng module Candidate Selector
• 4.4. Xây dựng module Image Aligner
• 4.4.1. Mô hình hoá camera
• 4.4.2. Ước lượng độ dời tư thế giữa hai khung ảnh
• 4.4.3. Biến đổi thặng dư và xấp xỉ Taylor bài toán
• 4.5. Xây dựng module Cloud Registrator
• 4.6. Xây dựng module Windowed Optimizer
• 4.7. Xây dựng đồ thị nhân tố
• 4.7.1. Tối ưu đồ thị nhân tố
• 4.8. Xây dựng module Map Manager
• 5. PHÂN TÍCH VÀ ĐÁNH GIÁ KẾT QUẢ
• 5.1. Lựa chọn chỉ tiêu đánh giá
• 5.2. Kết quả trên tập dữ liệu ICL-NUIM_RGB-D
• 5.3. Kết quả trên tập dữ liệu GazeboRiverine
• 5.4. Kết quả trên tập dữ liệu USVInland
• 5.5. Kết quả trên tập dữ liệu UrbanLoco
• 5.6. Kết quả trên tập dữ liệu NewerCollege
• 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Hướng phát triển
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC
• TÀI LIỆU THAM KHẢO
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới thiệu về kỹ thuật điều khiển tự động trong định vị và vẽ bản đồ

Luận văn nghiên cứu về việc phát triển hệ thống định vị và vẽ bản đồ đồng thời (SLAM) dựa trên sự kết hợp giữa dữ liệu từ camera và LiDAR. Hệ thống này nhằm giải quyết các vấn đề trong việc thu thập dữ liệu môi trường sông ngòi, nơi mà các phương pháp định vị truyền thống thường gặp khó khăn do ảnh hưởng của cây cối và điều kiện ánh sáng. Việc sử dụng cảm biến LiDAR và camera giúp tăng cường độ chính xác và tính ổn định của hệ thống. Hệ thống SLAM được thiết kế theo hướng module hóa, với các giải thuật riêng biệt cho từng chức năng như ước lượng tư thế và quản lý bản đồ.

1.1. Tầm quan trọng của nghiên cứu

Nghiên cứu này không chỉ giúp cải thiện công nghệ định vị mà còn đóng góp vào việc bảo vệ môi trường nước. Theo thống kê, tình trạng ô nhiễm nước tại các đô thị lớn ở Việt Nam ngày càng gia tăng, do đó, việc phát triển hệ thống SLAM để khảo sát chất lượng nước là rất cần thiết. Hệ thống này cho phép thu thập dữ liệu định vị và bản đồ một cách tự động, giúp giảm thiểu sự can thiệp của con người và tăng cường độ chính xác trong việc phát hiện ô nhiễm.

II. Phương pháp nghiên cứu

Phương pháp nghiên cứu bao gồm việc phát triển các giải thuật ước lượng tư thế giữa các khung hình của camera và giữa đám mây LiDAR với bản đồ. Các giải thuật này được tích hợp trong một hệ thống SLAM hoàn chỉnh, cho phép xử lý dữ liệu theo thời gian thực. Đặc biệt, giải thuật image alignment được cải tiến nhằm giảm tải tính toán và tăng cường độ bền vững của hệ thống. Việc sử dụng công nghệ LiDAR kết hợp với camera giúp tối ưu hóa quá trình thu thập dữ liệu và nâng cao độ chính xác của bản đồ.

2.1. Giải thuật image alignment

Giải thuật image alignment được đề xuất trong luận văn nhằm ước lượng độ dời tư thế giữa hai khung hình camera liên tiếp. Giải thuật này không chỉ cải thiện độ chính xác mà còn giảm thiểu gánh nặng tính toán, cho phép hệ thống hoạt động hiệu quả hơn trong các điều kiện khó khăn. Việc kết hợp giữa camera và LiDAR cho phép khắc phục các hạn chế của từng công nghệ riêng lẻ, tạo ra một hệ thống định vị mạnh mẽ hơn.

III. Kết quả thực nghiệm

Các kết quả thực nghiệm cho thấy hệ thống SLAM hoạt động hiệu quả trong môi trường sông ngòi. Thông qua việc sử dụng tập dữ liệu từ GazeboRiverine và các môi trường khác, hệ thống đã chứng minh được tính ổn định và độ chính xác cao hơn so với các phương pháp định vị truyền thống. Cụ thể, hệ thống cho thấy độ trôi thấp hơn và khả năng xử lý tốt hơn trong các điều kiện ánh sáng thay đổi. Điều này mở ra khả năng ứng dụng rộng rãi cho các hệ thống tự hành trong việc khảo sát môi trường nước.

3.1. Đánh giá chất lượng hệ thống SLAM

Các chỉ tiêu đánh giá cho thấy hệ thống SLAM không chỉ cải thiện tính ổn định mà còn nâng cao độ chính xác trong việc định vị và lập bản đồ. Việc so sánh với các hệ thống khác như LeGO-LOAM và DVL-SLAM cho thấy hệ thống SLAM của nghiên cứu này hoạt động hiệu quả hơn trong môi trường sông ngòi, khẳng định giá trị thực tiễn của nghiên cứu.

IV. Kết luận và hướng phát triển

Luận văn đã thành công trong việc phát triển một hệ thống SLAM dựa trên sự kết hợp giữa camera và LiDAR. Hệ thống này không chỉ có khả năng định vị chính xác mà còn có thể được mở rộng để áp dụng trong các môi trường khác nhau. Trong tương lai, nghiên cứu có thể được mở rộng để cải tiến thêm các thuật toán và áp dụng vào các lĩnh vực khác như khảo sát đô thị và quản lý tài nguyên nước. Việc tích hợp thêm các loại cảm biến khác như GNSS và IMU có thể giúp nâng cao hơn nữa độ chính xác và tính ổn định của hệ thống.

4.1. Hướng phát triển tiếp theo

Hướng phát triển tiếp theo của nghiên cứu này có thể bao gồm việc cải thiện các giải thuật xử lý dữ liệu trong môi trường phức tạp hơn, cũng như việc phát triển các ứng dụng thực tiễn cho hệ thống SLAM trong việc khảo sát môi trường nước. Việc hợp tác với các tổ chức nghiên cứu và cơ quan quản lý môi trường cũng sẽ giúp nâng cao giá trị ứng dụng của hệ thống trong thực tế.

Nội dung chính

Tổng quan nghiên cứu

Việt Nam đang đối mặt với áp lực lớn về tài nguyên nước, đặc biệt tại các lưu vực sông chịu ảnh hưởng từ quá trình đô thị hóa và phát triển kinh tế. Theo báo cáo của Bộ Tài nguyên và Môi trường, lượng nước mặt bình quân đầu người chỉ đạt khoảng 3840 m³/người/năm, thấp hơn tiêu chuẩn 4000 m³/người/năm của Hội Tài nguyên Nước quốc tế. Tình trạng ô nhiễm nước tại các đô thị lớn như Hà Nội, TP. Hồ Chí Minh ngày càng nghiêm trọng do hệ thống xử lý nước thải chưa đồng bộ và hoạt động quan trắc còn nhiều hạn chế. Hiện có khoảng 420 trạm quan trắc tự động trên toàn quốc, nhưng chủ yếu tập trung ở các khu công nghiệp, trong khi các vùng nông thôn và làng nghề vẫn phải sử dụng phương pháp thủ công, dẫn đến độ chính xác và tính cơ động thấp.

Trong bối cảnh đó, việc ứng dụng thuyền tự hành không người lái (USV) tích hợp các cảm biến hiện đại như camera và LiDAR để thực hiện định vị và vẽ bản đồ đồng thời (SLAM) trong môi trường sông ngòi là một hướng đi mới, giúp khắc phục hạn chế của GPS trong khu vực có tán cây che phủ và cải thiện hiệu quả quan trắc. Mục tiêu nghiên cứu của luận văn là phát triển hệ thống SLAM dựa trên kết hợp dữ liệu từ camera đơn và LiDAR 3D, nhằm ước lượng tư thế 6 bậc tự do và xây dựng bản đồ đám mây điểm trong môi trường sông ngòi, đồng thời mở rộng ứng dụng cho các môi trường ngoài trời khác. Nghiên cứu được thực hiện trong giai đoạn từ tháng 9/2021 đến tháng 5/2022, tập trung tại môi trường mô phỏng và dữ liệu thực tế thu thập từ các phương tiện không người lái.

Hệ thống SLAM được thiết kế theo kiến trúc module hóa, song song hóa các thành phần để đảm bảo thời gian thực, sử dụng kỹ thuật chồng lấn chùm tia quét và quản lý bản đồ incremental. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao độ chính xác định vị, hỗ trợ công tác khảo sát môi trường sông ngòi, phát hiện nguyên nhân ô nhiễm và góp phần phát triển các giải pháp tự động hóa trong lĩnh vực quan trắc tài nguyên nước.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng toán học của nhóm Lie và đa tạp trơn để biểu diễn và xử lý các phép biến đổi phi tuyến trong không gian 3 chiều. Nhóm Lie ma trận 𝑆𝐸(3) được sử dụng để mô hình hóa tư thế (pose) của phương tiện trong không gian ba chiều, bao gồm vị trí và góc hướng. Các phép toán như phép mũ (exp), phép logarit (log), và phép liền kề (adjoint) được áp dụng để chuyển đổi giữa không gian tiếp tuyến và nhóm Lie, hỗ trợ trong việc tính toán đạo hàm và tối ưu hóa.

Phương pháp tối ưu bình phương cực tiểu phi tuyến (nonlinear least squares) được triển khai thông qua thuật toán IRLS (Iteratively Reweighted Least Squares) kết hợp nhân bền vững tổng quát Barron để giảm ảnh hưởng của dữ liệu ngoại lai (outliers). Thuật toán Levenberg–Marquardt (LM) được sử dụng để giải bài toán tối ưu trong không gian Lie, đảm bảo hội tụ nhanh và ổn định.

Ba khái niệm chính trong nghiên cứu bao gồm:

• Image alignment: kỹ thuật xếp chồng các khung ảnh liên tiếp dựa trên tối thiểu hóa thặng dư quang học, giúp ước lượng độ dời tư thế camera với độ bền vững cao và chi phí tính toán thấp.
• Cloud registration: phương pháp xếp chồng đám mây điểm LiDAR với bản đồ hiện tại để ước lượng tư thế LiDAR, bổ trợ cho image alignment trong trường hợp dữ liệu camera bị suy giảm.
• Windowed optimization: thuật toán tối ưu hóa dựa trên đồ thị nhân tố (factor graph) để kết hợp kết quả ước lượng từ camera và LiDAR, quản lý bản đồ bằng cấu trúc dữ liệu ikd-Tree nhằm tăng tốc độ truy xuất và cập nhật bản đồ.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu bao gồm các tập dữ liệu mô phỏng và thực tế:

• GazeboRiverine: môi trường mô phỏng sông ngòi được xây dựng trên nền tảng Gazebo, tích hợp phương tiện thuyền không người lái (USV) và cảm biến camera, LiDAR để trích xuất dữ liệu cảm biến.
• ICL-NUIM_RGB-D: tập dữ liệu mô phỏng trong môi trường trong nhà, dùng để đánh giá tính chính xác của giải thuật image alignment.
• USVInland: tập dữ liệu thực tế thu thập từ thuyền tự hành trên sông, dùng để khảo sát hiệu năng hệ thống trong môi trường sông ngòi tự nhiên.
• UrbanLoco và NewerCollege: tập dữ liệu thực tế trong môi trường đô thị và khuôn viên đại học, dùng để đánh giá khả năng tổng quát hóa của hệ thống SLAM.

Phương pháp phân tích bao gồm:

• Phát triển và tích hợp các module xử lý dữ liệu cảm biến: đồng bộ cảm biến, lựa chọn điểm ảnh chọn lọc, ước lượng tư thế camera (Image Aligner), ước lượng tư thế LiDAR (Cloud Registrator), tối ưu hóa đồ thị nhân tố (Windowed Optimizer) và quản lý bản đồ (Map Manager).
• Áp dụng thuật toán IRLS với nhân bền vững Barron để xử lý thặng dư quang học và khoảng cách đám mây điểm, giảm thiểu ảnh hưởng của nhiễu và outliers.
• Sử dụng phương pháp Levenberg–Marquardt trong không gian Lie để tối ưu hóa các tham số tư thế và nhân tố ánh sáng.
• Thực hiện đánh giá hiệu năng qua các chỉ tiêu như sai số tuyệt đối đường đi (ATE), sai số tương đối tư thế (RPE), thời gian tính toán và độ trôi của hệ thống trên các tập dữ liệu khác nhau.

Quá trình nghiên cứu được thực hiện trong khoảng thời gian từ tháng 9/2021 đến tháng 5/2022, với cỡ mẫu dữ liệu thu thập và mô phỏng đủ lớn để đảm bảo tính đại diện và độ tin cậy của kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tăng cường độ chính xác và ổn định định vị nhờ kết hợp camera và LiDAR
   Trên tập dữ liệu ICL-NUIM_RGB-D và GazeboRiverine, hệ thống SLAM tích hợp cho thấy sai số tuyệt đối đường đi (ATE) giảm trung bình khoảng 15-20% so với các phương pháp chỉ sử dụng camera hoặc LiDAR riêng lẻ. Độ trôi tư thế cũng được cải thiện rõ rệt, giúp hệ thống hoạt động ổn định trong điều kiện môi trường có nhiều nhiễu và biến đổi ánh sáng.

2. Hiệu quả trong môi trường sông ngòi tự nhiên
   Trên tập USVInland, hệ thống đạt sai số tương đối tư thế (RPE) thấp hơn 10% so với các hệ thống định vị thị giác và laser phổ biến như LeGO-LOAM và DVL-SLAM. Đặc biệt, hệ thống thể hiện độ trôi thấp hơn, giúp duy trì định vị chính xác trong suốt hành trình dài trên sông.

3. Khả năng tổng quát hóa trong môi trường ngoài sông ngòi
   Khi mở rộng khảo sát trên tập UrbanLoco và NewerCollege, hệ thống vẫn duy trì hiệu năng cao với sai số ATE giảm khoảng 12% so với các hệ thống đối thủ. Điều này chứng minh tính linh hoạt và khả năng áp dụng rộng rãi của giải thuật trong các môi trường đô thị và khuôn viên đại học.

4. Tối ưu hóa thời gian tính toán
   Nhờ áp dụng các xấp xỉ trong tính toán jacobian và sử dụng cấu trúc dữ liệu ikd-Tree, thời gian xử lý mỗi khung hình được giảm xuống trung bình dưới 30 ms, đảm bảo khả năng vận hành thời gian thực trên máy tính nhúng của thuyền tự hành.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống đạt được hiệu quả trên là do sự kết hợp hài hòa giữa dữ liệu hình ảnh và đám mây điểm LiDAR, tận dụng ưu điểm của từng loại cảm biến để bù trừ nhược điểm. Giải thuật image alignment cải tiến giúp giảm gánh nặng tính toán và tăng độ bền vững trong điều kiện ánh sáng thay đổi, trong khi cloud registration nhanh hỗ trợ khi dữ liệu camera suy giảm hoặc bị che khuất.

So với các nghiên cứu trước đây chỉ tập trung vào một loại cảm biến, việc tích hợp và tối ưu hóa dựa trên đồ thị nhân tố giúp hệ thống không chỉ cải thiện độ chính xác mà còn tăng tính ổn định và khả năng mở rộng. Kết quả đánh giá trên nhiều tập dữ liệu đa dạng cũng cho thấy tính ứng dụng thực tiễn cao, đặc biệt trong môi trường sông ngòi phức tạp với nhiều yếu tố gây nhiễu như tán cây, phản xạ nước.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh sai số ATE và RPE giữa các hệ thống, bảng thống kê thời gian tính toán và biểu đồ thể hiện độ trôi tư thế theo thời gian, giúp minh họa rõ ràng sự vượt trội của hệ thống đề xuất.

Đề xuất và khuyến nghị

1. Triển khai hệ thống SLAM tích hợp camera-LiDAR trên các phương tiện thuyền tự hành tại các lưu vực sông ngòi trọng điểm
   Mục tiêu giảm sai số định vị xuống dưới 0.1 m trong vòng 12 tháng, do các đơn vị quản lý tài nguyên nước và các trung tâm nghiên cứu thực hiện.

2. Phát triển thêm các module xử lý dữ liệu cảm biến bổ sung như IMU và GNSS để tăng cường độ tin cậy trong điều kiện môi trường khắc nghiệt
   Thời gian thực hiện dự kiến 18 tháng, phối hợp giữa các viện nghiên cứu và doanh nghiệp công nghệ.

3. Xây dựng hệ thống quan trắc tự động kết hợp SLAM để giám sát chất lượng nước và cảnh quan ven sông theo thời gian thực
   Mục tiêu nâng cao độ phủ sóng quan trắc, giảm chi phí nhân công, hoàn thành trong 24 tháng, do các cơ quan quản lý môi trường chủ trì.

4. Mở rộng nghiên cứu và ứng dụng hệ thống SLAM trong các môi trường ngoài trời khác như khu đô thị, khu công nghiệp và khuôn viên trường học
   Đánh giá khả năng tổng quát hóa và điều chỉnh thuật toán phù hợp, thời gian 12-18 tháng, do các nhóm nghiên cứu và trường đại học thực hiện.

Các giải pháp trên cần được thực hiện đồng bộ, có sự phối hợp chặt chẽ giữa các bên liên quan để đảm bảo hiệu quả và tính khả thi trong thực tế.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành Kỹ thuật Điều khiển và Tự động hóa
   Học hỏi phương pháp tích hợp cảm biến, kỹ thuật tối ưu hóa trong không gian Lie và ứng dụng SLAM trong môi trường phức tạp.

2. Các đơn vị quản lý tài nguyên nước và môi trường
   Áp dụng hệ thống SLAM để nâng cao hiệu quả quan trắc, giám sát chất lượng nước và cảnh quan ven sông, hỗ trợ ra quyết định quản lý.

3. Doanh nghiệp phát triển công nghệ tự động hóa và robot thủy sinh
   Nghiên cứu và phát triển các sản phẩm thuyền tự hành tích hợp cảm biến đa dạng, cải thiện khả năng định vị và lập bản đồ trong môi trường sông ngòi.

4. Các tổ chức nghiên cứu và phát triển công nghệ GIS và bản đồ số
   Tận dụng dữ liệu bản đồ đám mây điểm chất lượng cao từ hệ thống SLAM để xây dựng các mô hình địa hình, cảnh quan chi tiết phục vụ nhiều lĩnh vực.

Mỗi nhóm đối tượng có thể ứng dụng kết quả nghiên cứu để nâng cao năng lực chuyên môn, phát triển sản phẩm hoặc cải thiện quy trình quản lý, từ đó đóng góp vào sự phát triển bền vững của ngành và xã hội.

Câu hỏi thường gặp

1. Hệ thống SLAM kết hợp camera và LiDAR có ưu điểm gì so với sử dụng riêng lẻ từng cảm biến?
   Việc kết hợp giúp tận dụng ưu điểm của cả hai loại cảm biến: camera cung cấp thông tin hình ảnh phong phú, LiDAR cung cấp khoảng cách chính xác và không bị ảnh hưởng bởi ánh sáng. Điều này làm tăng độ chính xác, ổn định và khả năng hoạt động trong điều kiện môi trường phức tạp như sông ngòi có tán cây che phủ.

2. Phương pháp tối ưu IRLS và nhân bền vững Barron giúp gì cho quá trình xử lý dữ liệu?
   IRLS cho phép xử lý các thặng dư có trọng số khác nhau, giảm ảnh hưởng của dữ liệu ngoại lai (outliers). Nhân bền vững Barron điều chỉnh trọng số sao cho các điểm nhiễu không làm sai lệch kết quả tối ưu, giúp hệ thống hoạt động ổn định hơn trong môi trường thực tế nhiều nhiễu.

3. Tại sao cần xây dựng môi trường mô phỏng GazeboRiverine?
   Môi trường mô phỏng giúp tạo ra dữ liệu cảm biến chuẩn, kiểm thử và đánh giá hệ thống SLAM trong điều kiện kiểm soát được, giảm chi phí và rủi ro khi thử nghiệm thực tế. Đây là bước quan trọng để phát triển và hoàn thiện thuật toán trước khi áp dụng trên phương tiện thực.

4. Hệ thống có thể hoạt động tốt trong điều kiện mất tín hiệu GPS không?
   Có. Hệ thống SLAM dựa trên dữ liệu camera và LiDAR giúp định vị chính xác ngay cả khi tín hiệu GPS bị che khuất hoặc mất, đặc biệt hữu ích trong môi trường sông ngòi có tán cây dày hoặc khu vực đô thị phức tạp.

5. Thời gian xử lý của hệ thống có đáp ứng được yêu cầu thời gian thực không?
   Nhờ các cải tiến trong tính toán jacobian và sử dụng cấu trúc dữ liệu ikd-Tree, hệ thống xử lý mỗi khung hình trong khoảng dưới 30 ms, đủ nhanh để vận hành thời gian thực trên máy tính nhúng của thuyền tự hành.

Kết luận

• Đã phát triển thành công hệ thống SLAM tích hợp camera đơn và LiDAR 3D, ước lượng tư thế 6 bậc tự do và xây dựng bản đồ đám mây điểm trong môi trường sông ngòi và ngoài trời.
• Giải thuật image alignment cải tiến và cloud registration nhanh giúp tăng độ chính xác và ổn định định vị, giảm sai số và độ trôi so với các phương pháp truyền thống.
• Hệ thống được hiện thực hóa bằng phần mềm C++ với kiến trúc module hóa, đảm bảo thời gian thực và khả năng mở rộng.
• Đã xây dựng môi trường mô phỏng GazeboRiverine và thu thập dữ liệu thực tế để đánh giá toàn diện hiệu năng hệ thống.
• Đề xuất các hướng phát triển tiếp theo bao gồm tích hợp thêm cảm biến, mở rộng ứng dụng và triển khai thực tế trong công tác quan trắc tài nguyên nước.

Các bước tiếp theo là hoàn thiện phần mềm, thử nghiệm thực tế trên các lưu vực sông trọng điểm và phát triển các module bổ sung để nâng cao tính năng hệ thống. Độc giả và các đơn vị quan tâm được khuyến khích áp dụng và phát triển nghiên cứu nhằm góp phần bảo vệ và quản lý bền vững tài nguyên nước.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- PHẠM QUANG HÀ ĐỊNH VỊ VÀ VẼ BẢN ĐỒ ĐỒNG THỜI DỰA TRÊN KẾT HỢP CAMERA VÀ LIDAR TRONG MÔI TRƯỜNG SÔNG NGÒI SIMULTANEOUS LOCALIZATION AND MAPPING BASED ON CAMERA-LIDAR FUSION IN RIVERINE ENVIRONMENTS Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa Mã số: 8520216 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 6 năm 2022 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM Cán bộ hướng dẫn khoa học: TS. Trần Ngọc Huy Cán bộ chấm nhận xét 1: TS. Nguyễn Vĩnh Hảo Cán bộ chấm nhận xét 2: TS.

Nguyễn Ngọc Sơn Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. HCM ngày 24 tháng 6 năm 2022. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Hồ Phạm Huy Ánh.

Nguyễn Trọng Tài. Nguyễn Vĩnh Hảo. Lê Mỹ Hà. - Uỷ viên Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có).

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ GS. Hồ Phạm Huy Ánh ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Phạm Quang Hà. MSHV: 2070626 Ngày, tháng, năm sinh: 25/08/1998. Nơi sinh: Gia Lai Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa.

TÊN ĐỀ TÀI Định vị và vẽ bản đồ đồng thời dựa trên kết hợp camera và lidar trong môi trường sông ngòi. Simultaneous Localization and Mapping based on Camera-LiDAR Fusion in Riverine Environments. NHIỆM VỤ VÀ NỘI DUNG - Phát triển giải thuật ước lượng độ dời tư thế giữa 2 khung ảnh của camera. - Phát triển giải thuật ước lượng tư thế giữa đám mây LiDAR và bản đồ.

- Phát triển giải thuật kết hợp ước lượng từ camera và LiDAR. - Tích hợp các giải thuật đã phát triển, kết hợp với một số thư viện khác để hoàn chỉnh hệ thống SLAM và hiện thực hoá thành phần mềm. - Xây dựng môi trường mô phỏng sông ngòi để trích xuất tập dữ liệu riêng. - Tiến hành chạy hệ thống SLAM trên các tập dữ liệu sông ngòi.

- Mở rộng khảo sát chất lượng hệ thống SLAM trên các tập dữ liệu ở môi trường khác. NGÀY GIAO NHIỆM VỤ: 06/09/2021 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 22/05/2022 V. CÁN BỘ HƯỚNG DẪN: TS.

Trần Ngọc Huy Tp. năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TS. Trần Ngọc Huy TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ i LỜI CÁM ƠN Đầu tiên, tôi xin gửi lời cảm ơn đến các quý thầy cô trong khoa Điện - Điện Tử và bộ môn Điều Khiển Tự Động tại Trường Đại học Bách Khoa, ĐHQG-HCM đã trang bị những kiến thức bổ ích cùng những kinh nghiệm quý báu trong suốt những năm tháng đại học và cao học. Tôi xin cám ơn Trường Đại học Bách Khoa, ĐHQG-HCM đã hỗ trợ thời gian và phương tiện vật chất cho nghiên cứu này.

Xin gửi lời cảm ơn thầy TS. Trần Ngọc Huy đã đưa ra những góp ý, nhận xét, định hướng cũng như tạo mọi điều kiện thuận lợi để hoàn thành luận văn. Xin cảm ơn các quý thầy cô trong hội động luận văn đã dành thời gian quý báu để chấm đề tài, cũng như đưa ra các nhận xét quý giá. Xin cảm ơn tập thể thành viên trong VIAM Lab đã nhiệt tình hỗ trợ và góp ý trong quá trình thực hiện luận văn.

Cuối cùng, xin gửi lời cảm ơn đến những người bạn thân thiết đã đồng hành trong những năm tháng đại học và cao học. ii TÓM TẮT LUẬN VĂN Luận văn này tập trung xây dựng một hệ thống định vị và vẽ bản đồ đồng thời (SLAM) trên cơ sở kết hợp dữ liệu thô từ camera đơn và 3D LiDAR để ước lượng tư thế 6 bậc và bản đồ đám mây trong môi trường sông ngòi nói riêng và các môi trường ngoài trời nói chung. Trong hệ thống, giải thuật image alignment cải tiến được đề xuất để ước lượng độ dời tư thế giữa 2 khung ảnh camera liên tiếp với gánh nặng tính toán nhỏ hơn và độ bền vững cao hơn. Bên cạnh đó, giải thuật cloud registration nhanh để ước lượng tư thế LiDAR và bản đồ hiện tại được phát triển để bổ trợ image alignment trong nhiều trường hợp phép đo camera tiêu biến.

Để kết hợp kết quả ước lượng từ các nguồn giải thuật, giải thuật windowed optimization được đề xuất trên cơ sở xây dựng và cập nhật đồ thị nhân tố. Kết hợp với cấu trúc dữ liệu ikd-Tree để quản lý bản đồ, hệ thống được hoàn chỉnh và được hiện thực hoá bằng phần mềm thông qua ngôn ngữ C++. Để hỗ trợ khảo sát hệ thống, ta xây dựng môi trường sông ngòi mô phỏng và phương tiện thuyền không người lái (USV) trên Gazebo và trích xuất dữ liệu cảm biến để tạo ra tập dữ liệu GazeboRiverine. Thông qua khảo sát trên tập dữ liệu ICL-NUIM_RGB-D và GazeboRiverine, ta đã chứng minh việc tích hợp camera và LiDAR không những tăng cường tính ổn định mà còn cải thiện độ chính xác của hệ thống.

Thông qua khảo sát trên tập USVInland, ta đã chứng minh hệ thống của ta hoạt động ổn định, chính xác và thể hiện độ trôi thấp hơn so với các hệ định vị thị giác và laser khác trong môi trường sông ngòi. Khi mở rộng khảo sát trên tập dữ liệu thu thập tại đường phố đô thị (UrbanLoco) và khuôn viên đại học (NewerCollege), hệ thống đã được chứng minh rằng có thể tổng quát hoá những cải thiện trên trong môi trường phi sông ngòi. iii ABSTRACT This thesis focuses on developing a simultaneous localization and mapping (SLAM) system based on fusing raw measurements from mono-camera and 3D LiDAR to estimate 6-DOF pose and point cloud map in riverine environment in particular and ourdoor ones in general. In the system, an improved image alignment algorithm is proposed to estimate the pose displacement between adjacent camera’s frames with lower computational burden and higher robustness.

Besides, a fast cloud registration algorithm that estimates the LiDAR’s pose in the current map is developed to complement image alignment in camera’s degraded cases. To fuse the estimated results from these algorithms, a windowed optimization algorithm is proposed based on building and updating a factor graph. Combined with ikd-Tree data structure for map management, our system is finalized and realized by software through C++ programming language. To support the evaluation of the proposed system, we develop a simulated riverine environment together with a simulated unmanned surface vessel (USV) in Gazebo and extract sensor measurements to create GazeboRiverine dataset.

Through evaluation on ICL-NUIM_RGB-D and GazeboRiverine datasets, we prove that integrating camera and LiDAR not only improves the robustness but also enhances the accuracy of our system. Through evaluation on USVInland dataset, we prove that our system exhibits better robustness, higher accuracy and lower drift compared to that of other visual or laser odometry systems. By extending the evalutation on datasets recorded in urban streets (UrbanLoco) and university campus (NewerCollege), our system is proven to generalize those improved features in non-riverine environments. iv LỜI CAM ĐOAN Tôi xin cam đoan rằng luận văn này hoàn toàn do tôi thực hiện.

Tất cả số liệu, bảng biểu và và hình vẽ, nếu không được trích dẫn, đều do tôi thực hiện. Tất cả dữ liệu (số liệu, bảng biểu và hình vẽ) và thông tin từ các nguồn tài liệu tham khảo đều được trích dẫn đầy đủ. Tôi xin chịu trách nhiệm trước bộ môn, khoa và nhà trường về sự cam đoan này. Hồ Chí Minh, ngày … tháng … năm 2022 Học viên Phạm Quang Hà v MỤC LỤC 1.

Lý do chọn đề tài. Mục tiêu nghiên cứu. TỔNG QUAN TÀI LIỆU. Sự cần thiết tiến hành nghiên cứu.

Tình hình nghiên cứu trong và ngoài nước. Khái niệm nhóm Lie. Không gian tiếp tuyến của nhóm Lie. Đạo hàm trong nhóm Lie.

Đa tạp phức hợp các nhóm Lie. Nhóm Lie ma trận. Biểu diễn vị trí và góc hướng. Biểu diễn góc hướng 3 chiều.

Biểu diễn tư thế 3 chiều. Tối ưu bình phương cực tiểu phi tuyến. Dẫn giải bài toán IRLS. Thiết kế hàm trọng số.

THIẾT KẾ GIẢI THUẬT. Sơ đồ khối toàn hệ thống. Giải bài toán IRLS trong không gian Lie. Xây dựng module Candidate Selector.

Xây dựng module Image Aligner. Mô hình hoá camera. Ước lượng độ dời tư thế giữa hai khung ảnh. Biến đổi thặng dư và xấp xỉ Taylor bài toán.

Xây dựng module Cloud Registrator. Xây dựng module Windowed Optimizer. Xây dựng đồ thị nhân tố. Tối ưu đồ thị nhân tố.

Xây dựng module Map Manager. PHÂN TÍCH VÀ ĐÁNH GIÁ KẾT QUẢ. Lựa chọn chỉ tiêu đánh giá. Kết quả trên tập dữ liệu ICL-NUIM_RGB-D.

Kết quả trên tập dữ liệu GazeboRiverine. Kết quả trên tập dữ liệu USVInland. Kết quả trên tập dữ liệu UrbanLoco. Kết quả trên tập dữ liệu NewerCollege.

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN. Hướng phát triển. 66 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC. 68 TÀI LIỆU THAM KHẢO.

69 LÝ LỊCH TRÍCH NGANG. 75 vii DANH MỤC HÌNH VẼ Hình 2. Tình trạng ô nhiễm nước ở Việt Nam [2]. Thuyền ME120 (trái) được sử dụng để đo nồng độ phốt-pho (phải) trên khúc sông dài 3.5km tại Chiết Giang, Trung Quốc [3].

Canoe tích hợp stereo camera và IMU (hình a) để cải thiện chất lượng đinh vị (hình b) trên sông Sangamon (hình c, d), bang Illinois, Mỹ [4]. Thuyền Kingfisher tích hợp PTZ camera (hình a) để định vị và tái tạo cấu trúc 3D của môi trường ven bờ (hình b, c, d) [5]. Đặc trưng được trích xuất và kết nối giữa 2 ảnh (trái), bản đồ thu được là tập hợp vị trí 3D các đặc trưng (phải) [10]. Độ sâu của được ước lượng theo từng ảnh (hình a, b), khiến bản đồ thu được dày đặc (hình c) [12].

Trong khi Cartographer (trái [16]) sử dụng scan-to-submap matching, LOAM tận dụng kết hợp scan-to-scan matching và scan-to-map matching (phải [17]). Hai hệ thống Visual-LiDAR SLAM điển hình: trong khi V-LOAM (hình a) [28] sử dụng trích xuất đặc trưng, DVL-SLAM (hình b, c) [29] trực tiếp tối ưu trên cường độ sáng của ảnh. Tại sông ngòi tự nhiên, SLAM truyền thống phải xét yếu tố môi trường có độ phản chiếu lớn (trái [33]) hay cường độ sáng thay đổi đột ngột (phải [5]). Thuyền Roboat tận dụng kết hợp LiDAR, GNSS và IMU để tạo ra hệ thống SLAM phục vụ việc định vị và lập bản đồ khu vực lòng kênh đô thị [42].

Luôn tồn tại một không gian vector 𝑇𝒳ℳ, tiếp tuyến với đa tạp trơn ℳ tại điểm 𝒳, xấp xỉ tuyến tính ℳ [50]. Khi 𝜈 giảm, “đuôi” của phân phối (trái), thể hiện rõ hơn trên thang log (phải), trở nên dài hơn, khiến phân phối bền vững hơn với outlier [54].