Luận Văn Tốt Nghiệp Về Ứng Dụng Học Tăng Cường Trong Điều Hướng Robot Tự Động

Chuyên đề nghiên cứu Học Tăng Cường Trong Điều Hướng Robot Tự Động Ở Môi Trường Chưa Biết, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên

• Tác giả: Bui Quang Duc
• Người hướng dẫn: Tran Van Hoai, Assoc.D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Engineering
• Đề tài: Học Tăng Cường Trong Điều Hướng Robot Tự Động Ở Môi Trường Chưa Biết
• Loại tài liệu: Thesis
• Năm xuất bản: 2022
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan
• 1.2. Bối cảnh nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 2. CHƯƠNG 2: KIẾN THỨC TỔNG QUAN
• 2.1. Quy hoạch đường đi
• 2.1.1. Quy hoạch đường đi toàn cục
• 2.1.2. Quy hoạch đường đi cục bộ
• 2.2. Các thuật toán dựa trên RRT
• 2.2.1. Thuật toán RRT
• 2.2.2. Thuật toán RRT*
• 2.3. Học tăng cường
• 2.3.1. Giới thiệu
• 2.3.2. Các thuật ngữ cơ bản
• 2.3.3. Cấu trúc hệ thống học tăng cường: Quá trình quyết định Markov
• 2.3.4. Mục tiêu và phần thưởng
• 2.3.5. Phần thưởng tích lũy và tập
• 2.3.6. Thiết kế hàm phần thưởng
• 2.3.7. Chính sách tối ưu và hàm giá trị tối ưu
• 2.3.8. Khám phá hay khai thác với ϵ-Greedy
• 3. CHƯƠNG 3: HỆ THỐNG HỌC TĂNG CƯỜNG ĐỀ XUẤT
• 3.1. Mô hình hóa bài toán vào hệ thống học tăng cường
• 3.2. Nguyên lý hoạt động chung của tác tử
• 4. CHƯƠNG 4: ĐỘ ĐO VÀ KẾT QUẢ MÔ PHỎNG SO SÁNH VỚI CÁC PHƯƠNG PHÁP KHÁC
• 4.1. Mô phỏng và so sánh trong môi trường Python
• 4.2. So sánh với thuật toán RRTX

Tóm tắt

I. Giới thiệu

Trong những năm gần đây, robot tự động đã trở thành một phần quan trọng trong nhiều lĩnh vực, đặc biệt là trong ngành công nghiệp. Nghiên cứu về các phương pháp tìm đường cho robot là rất cần thiết để giúp chúng hoạt động hiệu quả trong môi trường không xác định. Học tăng cường (Reinforcement Learning - RL) được xem là một trong những giải pháp tiềm năng để giải quyết những thách thức này. Mục tiêu của nghiên cứu là phát triển một hệ thống robot có khả năng di chuyển trong môi trường không xác định mà không cần sự điều khiển từ con người. Việc áp dụng học máy vào việc tìm đường cho robot sẽ giúp chúng tự động hóa quá trình di chuyển và giảm thiểu sự phụ thuộc vào bản đồ tĩnh.

1.1 Tầm quan trọng của việc tìm đường cho robot

Việc tìm đường cho robot trong môi trường không xác định là một thách thức lớn. Các phương pháp truyền thống thường dựa vào bản đồ tĩnh và không thể xử lý các yếu tố động. Học tăng cường cho phép robot học hỏi từ kinh nghiệm và cải thiện khả năng di chuyển của mình. Điều này không chỉ giúp robot hoạt động hiệu quả hơn mà còn mở ra cơ hội cho các ứng dụng trong các lĩnh vực như giao thông, logistics và dịch vụ.

II. Cơ sở lý thuyết

Nghiên cứu này dựa trên các lý thuyết về học máy và học tăng cường. Học tăng cường là một lĩnh vực của machine learning mà trong đó một tác nhân (agent) học cách tối ưu hóa phần thưởng bằng cách tương tác với môi trường. Robot được coi là tác nhân trong bối cảnh này, và nhiệm vụ của nó là tìm kiếm các hành động tối ưu để đạt được mục tiêu. Các thuật toán như RRT (Rapidly Exploring Random Tree) và RRT* được áp dụng để giúp robot tìm đường hiệu quả trong không gian hai chiều. Sự kết hợp giữa học tăng cường và các thuật toán tìm đường này giúp robot có thể thích ứng với các tình huống không xác định và di chuyển một cách linh hoạt.

2.1 Các thuật toán tìm đường

Có hai loại phương pháp tìm đường chính: tìm đường toàn cục và tìm đường cục bộ. Phương pháp tìm đường toàn cục yêu cầu thông tin về toàn bộ bản đồ, trong khi phương pháp cục bộ dựa vào thông tin xung quanh gần nhất. Các thuật toán như RRT và RRT* cho phép robot mở rộng không gian tìm kiếm một cách hiệu quả và nhanh chóng, giúp robot tìm ra lộ trình tối ưu trong môi trường phức tạp.

III. Phương pháp nghiên cứu

Nghiên cứu này tập trung vào việc áp dụng học tăng cường cho robot với thuật toán RRT* để tìm đường trong môi trường tĩnh không xác định. Các tiêu chí nghiên cứu bao gồm việc xác định các chướng ngại vật là đa giác lồi và đảm bảo rằng robot có thể học hỏi từ các trải nghiệm trước đó để cải thiện khả năng di chuyển. Việc sử dụng mô hình robot thực tế như TurtleBot 3 cho phép kiểm tra tính khả thi và hiệu quả của phương pháp đề xuất trong môi trường thực tế.

3.1 Thiết lập môi trường mô phỏng

Môi trường mô phỏng được thiết lập để kiểm tra khả năng của robot trong việc tìm đường. Các bản đồ tĩnh với các chướng ngại vật đa dạng được sử dụng để đánh giá hiệu suất của robot. Kết quả từ các thử nghiệm cho thấy rằng robot có thể tìm ra lộ trình tối ưu, bất chấp sự xuất hiện của các chướng ngại vật mới trong môi trường.

IV. Kết quả và thảo luận

Kết quả từ các mô phỏng cho thấy rằng phương pháp học tăng cường kết hợp với RRT* có thể giúp robot tìm ra đường đi hiệu quả trong các môi trường không xác định. Robot có khả năng điều chỉnh hành vi của mình dựa trên phản hồi từ môi trường và học hỏi từ các sai lầm trước đó. Điều này chứng tỏ rằng việc áp dụng học máy vào điều hướng robot không chỉ mang lại hiệu quả cao mà còn mở ra nhiều cơ hội trong việc phát triển các ứng dụng robot thông minh hơn trong tương lai.

4.1 So sánh với các phương pháp khác

Phương pháp đề xuất cho thấy sự vượt trội so với các phương pháp truyền thống trong việc xử lý các tình huống không xác định. Các thử nghiệm cho thấy rằng robot có thể di chuyển một cách linh hoạt hơn và đạt được mục tiêu nhanh chóng hơn so với các phương pháp không sử dụng học tăng cường.

V. Kết luận

Nghiên cứu này đã chứng minh rằng việc áp dụng học tăng cường cho điều hướng robot trong môi trường không xác định là khả thi và hiệu quả. Các kết quả đạt được mở ra nhiều hướng nghiên cứu mới trong tương lai, bao gồm việc cải thiện khả năng của robot trong các môi trường động và phức tạp hơn. Việc phát triển thêm các tính năng cho robot thông minh sẽ giúp chúng hoạt động hiệu quả hơn trong thực tiễn, từ đó mang lại lợi ích cho nhiều lĩnh vực khác nhau.

5.1 Triển vọng nghiên cứu

Nghiên cứu tiếp theo có thể tập trung vào việc áp dụng các kỹ thuật học sâu kết hợp với học tăng cường để cải thiện khả năng nhận diện và phản ứng của robot trong các môi trường không xác định. Sự phát triển này không chỉ giúp cải thiện hiệu suất của robot mà còn mở rộng khả năng ứng dụng của chúng trong các lĩnh vực như y tế, giao thông và dịch vụ khách hàng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh công nghiệp 4.0 và tự động hóa phát triển vượt bậc, thị trường robot di động tự hành (AMR) phục vụ trong nhà máy logistics và thiết bị gia dụng thông minh đang tăng trưởng với tốc độ ấn tượng trên 70% mỗi năm. Vấn đề cốt lõi trong việc vận hành các robot này là khả năng quy hoạch đường đi (Path Planning) hiệu quả từ điểm xuất phát đến đích mà vẫn đảm bảo tránh vật cản an toàn. Mặc dù các thuật toán hình học và tìm kiếm heuristic truyền thống đã giải quyết tốt bài toán trong môi trường tĩnh biết trước 100% dữ liệu, việc điều hướng trong không gian tĩnh chưa xác định (unknown static environments) hoặc môi trường biến đổi liên tục vẫn là một thách thức kỹ thuật lớn.

Nghiên cứu tập trung giải quyết bài toán định tuyến cho robot tự hành (như nền tảng TurtleBot 3) có tầm nhìn cảm biến giới hạn di chuyển trong không gian 2 chiều chứa các vật cản đa giác lồi chưa được vẽ bản đồ trước. Mục tiêu cụ thể là xây dựng và triển khai một cơ chế kết hợp thông minh giữa thuật toán quy hoạch đường đi dựa trên lấy mẫu cây ngẫu nhiên mở rộng tối ưu (RRT*) và giải thuật Học tăng cường (Reinforcement Learning - RL) dạng Q-learning.

Phạm vi thực nghiệm được thực hiện trên không gian lưới mô phỏng kích thước $40 \times 40$ và $70 \times 70$ đơn vị, với điểm xuất phát tại tọa độ $(8, 9)$ và tọa độ đích đến cố định tại $(65, 65)$. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc nâng cao hiệu suất đường đi thêm 15% đến 25% so với các phương pháp phản xạ thông thường, đạt tỷ lệ tránh va chạm 100% đối với vật cản đa giác lồi, đồng thời duy trì tính ổn định hội tụ chỉ sau 650 chu kỳ huấn luyện (episodes).

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng tích hợp giữa hai trụ cột lý thuyết lớn: quy hoạch chuyển động dựa trên lấy mẫu hình học và lý thuyết quyết định tối ưu trong trí tuệ nhân tạo.

Khung lý thuyết đầu tiên là Quá trình Quyết định Markov hữu hạn (Finite Markov Decision Process - FMDP), được mô hình hóa toán học qua bộ 5 thành phần $(S, A, T, R, \gamma)$. Trong đó:

• Không gian trạng thái ($S$): Biểu diễn toàn bộ vùng không gian tự do $Z_{free} = Z \setminus O$, nơi robot có thể hiện diện mà không va chạm với tập hợp vật cản $O$.
• Không gian hành động ($A$): Tập hợp các vector di chuyển 2D được tạo ra tự động dựa trên bán kính tầm nhìn của robot. Khi thiết lập tầm nhìn bằng 3 đơn vị, hệ thống tạo ra 28 hành động khả thi; khi nâng tầm nhìn lên 5 đơn vị, số lượng hành động mở rộng lên tới 80 hướng di chuyển đến các nút lân cận.
• Hàm phần thưởng ($R$): Thiết lập cơ chế thưởng phạt đa điều kiện. Hệ thống áp dụng mức phạt nặng -500 điểm nếu robot đi lặp lại các bước trên đường đi đã qua, đồng thời cộng thưởng dựa trên mức độ thu hẹp khoảng cách tới đích và khoảng cách an toàn duy trì men theo biên vật cản.
• Hệ số chiết khấu ($\gamma$): Được cấu hình cố định ở mức 0.9 nhằm cân bằng giữa lợi ích trước mắt và giá trị tích lũy dài hạn.

Khung lý thuyết thứ hai là thuật toán RRT* (Rapidly Exploring Random Tree Star). Khác với RRT cổ điển vốn cho ra đường đi gấp khúc và dưới mức tối ưu, RRT* sở hữu tính chất tiệm cận tối ưu nhờ cơ chế liên tục nối lại dây (rewiring) các nút nhánh trong bán kính lân cận, giúp tối thiểu hóa chiều dài tổng thể của quỹ đạo chuyển động.

Khung lý thuyết thứ ba là giải thuật Q-learning kết hợp phương trình Bellman và chiến lược cân bằng khám phá - khai thác $\epsilon$-greedy (với $\epsilon$ khởi tạo ở mức 0.9 và giảm dần theo từng chu kỳ).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm mô phỏng định lượng trên nền tảng ngôn ngữ Python.

• Cỡ mẫu và phương pháp chọn mẫu: Cỡ mẫu thực nghiệm bao gồm 650 chu kỳ huấn luyện độc lập cho mỗi cấu hình bản đồ. Phương pháp chọn mẫu trạng thái trong RRT* áp dụng kỹ thuật lấy mẫu ngẫu nhiên đồng nhất Monte Carlo trên không gian 2D, trong khi việc chọn hành động của tác tử RL áp dụng lấy mẫu ngẫu nhiên có kiểm soát theo phân phối đều để phục vụ bước khám phá không gian $\epsilon$-greedy.
• Lý do lựa chọn phương pháp phân tích: Bảng tra cứu Q-table kết hợp với cây RRT* được lựa chọn thay vì mạng nơ-ron sâu vì tính tất định, khả năng giải thích toán học rõ ràng và tốc độ hội tụ nhanh với chi phí tính toán phần cứng tối thiểu trên không gian trạng thái rời rạc hóa. Tác tử chỉ kích hoạt cơ chế học tăng cường khi phát hiện đoạn đường RRT* phía trước cắt qua vật cản, giúp tiết kiệm hơn 50% tài nguyên xử lý so với việc áp dụng RL toàn phần.
• Thời gian nghiên cứu: Toàn bộ quá trình nghiên cứu, mô hình hóa toán học, lập trình hệ thống và thực nghiệm đánh giá diễn ra trong thời gian 12 tháng, hoàn thành nghiệm thu vào tháng 12 năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và kiểm thử mô hình trên nhiều cấu hình môi trường khác nhau đã ghi nhận 4 phát hiện quan trọng:

1. Sự hội tụ bền vững của hàm phần thưởng: Dữ liệu thực nghiệm qua 650 chu kỳ cho thấy tổng phần thưởng (Total Rewards) của tác tử chuyển dịch nhanh chóng từ miền giá trị âm sang giá trị dương ổn định sau khoảng 350 chu kỳ đầu tiên. Độ dài quãng đường di chuyển của robot sau mỗi 100 chu kỳ giảm rõ rệt và đạt mức tối ưu tiệm cận ở chu kỳ thứ 600, giảm hơn 60% phương sai dao động so với giai đoạn khám phá ban đầu.
2. Khả năng thích ứng hoàn hảo với vật cản đa giác lồi: Khi kiểm thử trên 3 bản đồ chứa các khối đa giác lồi độc lập từ 3, 4 đến 5 vật cản, robot đạt tỷ lệ thành công 100% trong việc tìm đường đến đích $(65, 65)$ từ điểm xuất phát $(8, 9)$. Robot hình thành phản xạ bám sát viền ngoài của vật cản một cách mượt mà thay vì đi đâm xuyên qua hoặc quay đầu lúng túng.
3. Độ linh hoạt cao trước sự biến động môi trường: Khi bổ sung thêm 1 đến 2 vật cản mới hoặc tịnh tiến vị trí vật cản đã biết trên bản đồ $70 \times 70$, robot đã qua huấn luyện vẫn duy trì tỷ lệ về đích thành công từ 85% đến 90% mà không cần phải trải qua quá trình huấn luyện lại từ đầu.
4. Hạn chế rõ rệt tại địa hình ngõ cụt (Dead ends): Khi kiểm nghiệm trên 3 bản đồ mô phỏng địa hình ngõ cụt dạng chữ U, robot chỉ hoàn thành mục tiêu trên 1 trong 3 bản đồ (tỷ lệ thành công chỉ đạt 33.3%). Tại bản đồ thành công duy nhất, số bước di chuyển của robot tăng vọt hơn 180% do rơi vào vòng lặp tìm kiếm để thoát khỏi bẫy cực trị địa phương.

Thảo luận kết quả

Kết quả trên chứng minh rằng sự kết hợp giữa RRT* và Q-learning đã bù đắp hoàn hảo cho điểm yếu của từng phương pháp riêng lẻ. Cây RRT* đảm nhận vai trò định hướng khung xương toàn cục (global skeleton), trong khi Q-learning đóng vai trò hoa tiêu cục bộ linh hoạt khi gặp tình huống bất ngờ.

Về mặt trực quan hóa dữ liệu:

• Diễn biến huấn luyện được thể hiện rõ ràng qua biểu đồ đường biểu diễn sự biến thiên của tổng phần thưởng tích lũy theo từng chu kỳ huấn luyện (Episodes vs. Cumulative Reward), thể hiện độ dốc đi lên mạnh mẽ trong khoảng từ chu kỳ 50 đến 300 trước khi đi ngang ổn định.
• Sự tương quan giữa số lượng nút dừng (waypoints) và chiều dài quãng đường thực tế khi mật độ vật cản tăng từ 3 lên 5 khối được minh họa qua biểu đồ cột so sánh, cho thấy mức tăng quãng đường chỉ khoảng 8% đến 12%, khẳng định tính kinh tế của quỹ đạo di chuyển.

So với các nghiên cứu định tuyến hình học thuần túy hoặc thuật toán RRTX trong môi trường biến động, giải pháp đề xuất giúp rút ngắn thời gian tính toán tái lập đường đi tới 40%, đồng thời cắt giảm 18% độ dài đường đi dư thừa nhờ hàm phần thưởng khuyến khích bám sát biên dạng vật cản.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm và phân tích hạn chế kỹ thuật, bốn khuyến nghị hành động cụ thể được đề xuất nhằm nâng cấp hệ thống:

1. Nâng cấp kiến trúc lên mạng Deep Q-Network (DQN): Chuyển đổi từ bảng tra cứu Q-table truyền thống sang mô hình học tăng cường sâu với mạng nơ-ron tích chập (CNN) nhằm xử lý không gian trạng thái liên tục, giải quyết triệt để bài toán ngõ cụt phức tạp, nâng tỷ lệ thành công trong môi trường mê cung từ 33.3% lên trên 90%. Timeline thực hiện: 6 tháng, do nhóm nghiên cứu thuật toán AI đảm nhiệm.
2. Triển khai thử nghiệm trên phần cứng thực tế Robot TurtleBot 3: Tích hợp gói phần mềm điều khiển ROS (Robot Operating System) và cảm biến quét laser LiDAR 360 độ trên phần cứng TurtleBot 3 thực địa, kiểm chứng trong không gian nhà xưởng diện tích $100 \text{ m}^2$, duy trì sai số bám quỹ đạo dưới 5 cm và độ trễ phản hồi thời gian thực dưới 50 ms. Timeline thực hiện: 3 tháng, do nhóm kỹ thuật nhúng và điều khiển tự động phụ trách.
3. Mở rộng thuật toán cho môi trường có vật cản động: Bổ sung thuật toán lọc Kalman mở rộng hoặc mô hình mạng LSTM để dự báo quỹ đạo di chuyển của các vật cản chuyển động với vận tốc 0.2 đến 0.5 m/s, giảm thiểu xác suất va chạm động xuống dưới 2%. Timeline thực hiện: 9 tháng, do các nghiên cứu viên phòng lab Robotics triển khai.
4. Tối ưu hóa hàm phần thưởng đa tiêu chí: Tích hợp thêm các ràng buộc động học thực tế vào hàm thưởng, bao gồm giới hạn góc bẻ lái và mức độ tiêu hao năng lượng pin, giúp tiết kiệm thêm 15% năng lượng tiêu thụ trên mỗi hải trình di chuyển. Timeline thực hiện: 4 tháng, do kỹ sư phát triển phần mềm phụ trách.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn và học thuật cao cho 4 nhóm đối tượng chính:

1. Kỹ sư phát triển Robot tự hành (AMR / AGV): Tiếp cận giải pháp kết hợp thuật toán RRT* và Q-learning để ứng dụng vào hệ thống điều hướng thông minh cho robot vận chuyển hàng hóa trong các trung tâm kho vận thông minh diện tích từ $500 \text{ m}^2$ đến $5000 \text{ m}^2$, giảm thiểu tắc nghẽn giao thông nội bộ.
2. Học viên cao học và nhà nghiên cứu AI / Robotics: Khảo cứu cấu trúc toán học của Quá trình Quyết định Markov, kỹ thuật phân rã không gian hành động rời rạc (lên tới 80 hướng) và phương pháp thiết kế hàm thưởng có trọng số để phát triển các đề tài nghiên cứu chuyên sâu về học tăng cường.
3. Doanh nghiệp sản xuất thiết bị làm sạch thông minh: Ứng dụng nguyên lý quy hoạch đường đi thích ứng với tầm nhìn hạn chế (bán kính 3 đến 5 đơn vị) cho robot hút bụi tự động, giúp tối ưu hóa 20% thời gian bao phủ diện tích sàn nhà và hạn chế va đập gây hỏng hóc đồ nội thất.
4. Giảng viên và sinh viên ngành Kỹ thuật Máy tính / Tự động hóa: Sử dụng luận văn như một tài liệu tham khảo chuẩn mực phục vụ giảng dạy các môn học Robot học nâng cao, Trí tuệ nhân tạo ứng dụng và Xử lý tín hiệu không gian.

Câu hỏi thường gặp

Tại sao luận văn lại kết hợp thuật toán RRT với Học tăng cường thay vì sử dụng một phương pháp độc lập?* Thuật toán RRT* rất mạnh trong việc tạo khung đường đi toàn cục nhưng bắt buộc phải biết trước toàn bộ bản đồ. Khi xuất hiện vật cản bất ngờ, việc tạo lại toàn bộ cây RRT* gây lãng phí lớn về thời gian xử lý. Việc tích hợp Q-learning giúp robot linh hoạt chọn nút cây thay thế trong tầm nhìn 5 đơn vị ngay tại thời gian thực, giảm 40% chi phí tái tính toán.

Hàm phần thưởng trong nghiên cứu được thiết kế thế nào để robot không đâm vào vật cản? Hàm thưởng áp dụng mức phạt nghiêm khắc -500 điểm khi robot quay lại các bước đã đi trên đường RRT*, loại bỏ nguy cơ kẹt vòng lặp. Đồng thời, hệ thống cộng điểm thưởng tỷ lệ thuận với mức độ rút ngắn khoảng cách tới đích $(65, 65)$ và thưởng khi robot di chuyển an toàn men theo đường bao vật cản, giúp tối ưu hóa quỹ đạo mà không xảy ra va chạm.

Thuật toán có hoạt động hiệu quả trong môi trường có bẫy ngõ cụt (Dead ends) không? Trong các thử nghiệm thực tế với 3 bản đồ địa hình ngõ cụt, mô hình chỉ đạt tỷ lệ thành công 33.3% (1 trên 3 bản đồ). Do sử dụng bảng Q-table với không gian trạng thái rời rạc hóa, tác tử dễ bị rơi vào điểm cực trị cục bộ và cần số bước di chuyển tăng hơn 180% để tìm được đường thoát ra ngoài.

Không gian hành động của robot được xác định dựa trên những thông số cụ thể nào? Không gian hành động được mô hình hóa dưới dạng lưới điểm nguyên 2D nằm trọn trong vòng tròn bán kính tầm nhìn. Với tầm nhìn 3 đơn vị, robot có 28 hành động khả thi. Khi mở rộng tầm nhìn lên 5 đơn vị trên bản đồ $70 \times 70$, số lượng hành động tăng lên tối đa 80 hướng di chuyển, cho phép robot kết nối linh hoạt tới các nút cây RRT* lân cận.

Số lượng 650 chu kỳ huấn luyện có đủ để thuật toán đạt trạng thái hội tụ tối ưu hay không? Số lượng 650 chu kỳ là hoàn toàn đầy đủ và tối ưu. Do cơ chế học tăng cường chỉ được kích hoạt cục bộ khi robot gặp vật cản trên đường đi của cây RRT* thay vì phải học toàn bộ bản đồ từ đầu, dữ liệu thực nghiệm chứng minh tổng phần thưởng và chiều dài đường đi đã bắt đầu hội tụ ổn định ngay từ chu kỳ thứ 350 đến 400.

Kết luận

• Xây dựng thành công cơ chế điều hướng lai ghép giữa giải thuật lấy mẫu cây RRT* và giải thuật Học tăng cường Q-learning cho robot tự hành trong không gian 2D chưa biết trước bản đồ.
• Đạt tỷ lệ tiếp cận đích thành công tuyệt đối 100% trong môi trường chứa các vật cản đa giác lồi ngẫu nhiên với quy mô từ 3 đến 5 khối cản trở.
• Chứng minh khả năng tự thích ứng và tái lập quỹ đạo tức thời khi môi trường phát sinh thêm vật cản mới hoặc có sự dịch chuyển vật cản mà không cần huấn luyện lại hệ thống.
• Làm sáng tỏ giới hạn của phương pháp bảng tra cứu rời rạc tại địa hình ngõ cụt (tỷ lệ thành công 33.3%), mở ra định hướng ứng dụng học tăng cường sâu (Deep RL) cho các nghiên cứu tiếp theo.
• Chuẩn hóa toàn bộ bộ thông số thực nghiệm với không gian lưới $70 \times 70$, không gian 80 hành động rời rạc và chu kỳ hội tụ chuẩn xác tại 650 episodes.

Đóng góp lớn nhất của công trình là thiết lập thành công mô hình điều hướng cục bộ thông minh dựa trên dữ liệu, giảm thiểu chi phí tính toán tái lập bản đồ toàn cục. Lộ trình phát triển trong 12 tháng tới sẽ tập trung vào việc đưa thuật toán lên hệ điều hành robot ROS và triển khai thực nghiệm trên phần cứng xe tự hành TurtleBot 3. Hãy tải và tham khảo ngay toàn văn công trình nghiên cứu để ứng dụng giải pháp điều hướng tiên tiến này vào các dự án tự động hóa của bạn!