NGHIÊN CỨU NÂNG CAO CHẤT LƯỢNG TRUYỀN THÔNG VÀ ỨNG DỤNG THUẬT TOÁN HỌC SÂU TĂNG CƯỜNG TRONG ĐIỀU HƯỚNG TỐI ƯU CHO ROBOT DI ĐỘNG

• Tác giả: Nguyễn Thị Thanh Vân
• Người hướng dẫn: TS. Ngô Mạnh Tiến
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Kỹ thuật điều khiển và tự động hóa
• Đề tài: Nghiên cứu nâng cao chất lượng truyền thông và ứng dụng thuật toán học sâu tăng cường trong điều hướng tối ưu cho robot di động
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ VIỆC LẬP QUỸ ĐẠO CHO ROBOT DI ĐỘNG TRONG NHÀ MÁY
• 1.1. Bài toán lập quỹ đạo cho robot di động
• 1.2. Robot di động và truyền thông không dây
• 1.3. Tình hình nghiên cứu trong và ngoài nước
• 1.3.1. Tình hình nghiên cứu trong nước
• 1.3.2. Tình hình nghiên cứu ngoài nước
• 1.4. Định hướng nghiên cứu của luận án
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: NÂNG CAO CHẤT LƯỢNG TRUYỀN THÔNG TRONG NHÀ MÁY PHỤC VỤ HOẠT ĐỘNG CỦA ROBOT DI ĐỘNG
• 2.1. Vấn đề tối ưu hiệu suất truyền thông không dây tại các nhà máy
• 2.2. Mô hình hệ thống
• 2.2.1. Tín hiệu nhận tại các robot di động
• 2.2.2. Tín hiệu nhận tại các thiết bị IoT thu hoạch năng lượng
• 2.2.3. Tín hiệu nhận tại bộ thu D2D
• 2.2.4. Bài toán tối ưu
• 2.3. Thuật toán tối ưu
• 2.3.1. Bài toán 1 với kịch bản N-OTA
• 2.3.2. Bài toán 2 với kịch bản N-OTA
• 2.3.3. Tìm điểm khả thi và lựa chọn hệ số phạt η
• 2.3.4. Kịch bản phân chia thời gian
• 2.3.4.1. Bài toán 1 với kịch bản OTA
• 2.3.4.2. Bài toán 2 với kịch bản OTA
• 2.5. Đánh giá hiệu quả mô hình và thuật toán
• 2.6. Kết luận chương 2
• 3. CHƯƠNG 3: THUẬT TOÁN TỐI ƯU QUỸ ĐẠO CHO ROBOT DI ĐỘNG TRONG MÔI TRƯỜNG TRUYỀN THÔNG LÝ TƯỞNG
• 3.1. Bài toán tối ưu
• 3.2. Bài toán tối ưu lồi
• 3.3. Thuật toán tối ưu lồi
• 3.4. Giới thiệu CVX
• 3.5. Phát triển thuật toán tối ưu quỹ đạo cho robot di động
• 3.5.1. Mục tiêu và các ràng buộc của bài toán
• 3.5.2. Thuật toán tối ưu quỹ đạo
• 3.5.3. Đánh giá kết quả
• 3.6. Phát triển thuật toán tối thiểu năng lượng tiêu thụ
• 3.6.1. Mô hình hóa năng lượng tiêu thụ của robot di động
• 3.6.2. Các ràng buộc tránh va chạm
• 3.6.3. Thuật toán tối ưu năng lượng tiêu thụ cho robot
• 3.6.4. Bài toán tối ưu trong kịch bản môi trường có vật cản động
• 3.6.5. Đánh giá kết quả
• 3.7. Kết luận chương 3
• 4. CHƯƠNG 4: THUẬT TOÁN TỐI ƯU QUỸ ĐẠO CHO ROBOT DI ĐỘNG TRONG MÔI TRƯỜNG TRUYỀN THÔNG CÓ STAR-IRS HỖ TRỢ
• 4.1. Mô hình hệ thống điều hướng cho robot di động có STAR-IRS hỗ trợ
• 4.2. Mô hình hệ thống đề xuất
• 4.3. Mô hình tín hiệu
• 4.4. Bài toán điều hướng tối ưu cho robot di động
• 4.5. Kỹ thuật học sâu tăng cường DRL (Deep Reinforcement Learning)
• 4.5.1. DRL áp dụng cho bài toán lập quỹ đạo cho robot di động
• 4.5.1.1. Mô hình quy trình quyết định MDP (Markov Decision Process)
• 4.6. Thuật toán PPO (Proximal Policy Optimization) tối thiểu năng lượng tiêu thụ cho hệ thống
• 4.7. Đánh giá hiệu quả mô hình và thuật toán điều hướng cho robot di động
• 4.8. Kết luận chương 4
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Tổng Quan Nghiên Cứu Điều Hướng Robot Di Động Mới Nhất 55

Trong bối cảnh công nghiệp 4.0, robot di động ngày càng đóng vai trò quan trọng trong các nhà máy thông minh. Sự phát triển vượt bậc của công nghệ đã mang đến những tiến bộ đáng kể trong lĩnh vực điều hướng robot. Robot di động góp phần đảm bảo an toàn, nâng cao hiệu quả sản xuất. Tuy nhiên, việc tích hợp và tối ưu hóa truyền thông cho robot di động vẫn còn nhiều thách thức. Bài toán điều hướng hiệu quả, tiết kiệm năng lượng trong môi trường truyền thông phức tạp là một vấn đề cấp thiết. Luận án này tập trung vào nghiên cứu và phát triển các giải pháp tối ưu truyền thông robot và ứng dụng học sâu để tăng cường khả năng điều hướng cho robot di động.

1.1. Bài Toán Lập Quỹ Đạo Tối Ưu Cho Robot Di Động

Bài toán lập quỹ đạo cho robot di động là một lĩnh vực nghiên cứu lâu đời nhưng vẫn còn nhiều thách thức, đặc biệt khi xét đến các yếu tố như môi trường làm việc động, sự không chắc chắn và yêu cầu về hiệu suất. Các thuật toán truyền thống như Dijkstra, A*, và D* dựa trên bản đồ môi trường đã biết trước. Tuy nhiên, trong thực tế, robot thường hoạt động trong môi trường chưa biết hoặc chỉ biết một phần. Các thuật toán dựa trên học sâu đang nổi lên như một giải pháp tiềm năng, đặc biệt là các thuật toán học sâu tăng cường (DRL).

1.2. Truyền Thông Không Dây Yếu Tố Quan Trọng Cho Robot Di Động

Truyền thông không dây là một yếu tố quan trọng trong việc triển khai robot di động trong nhà máy. Nó cho phép robot trao đổi thông tin với hệ thống điều khiển trung tâm, chia sẻ dữ liệu với các robot khác, và cập nhật bản đồ môi trường theo thời gian thực. Tuy nhiên, môi trường nhà máy thường có nhiều nhiễu và vật cản, gây khó khăn cho việc duy trì kết nối truyền thông ổn định. Theo dự án KoI năm 2016, độ tin cậy và độ trễ là những yêu cầu quan trọng đối với truyền thông không dây trong nhà máy.

II. Thách Thức Tối Ưu Truyền Thông Cho Robot Di Động 59

Môi trường nhà máy hiện đại đặt ra nhiều thách thức đối với truyền thông cho robot di động. Số lượng robot di động và thiết bị IoT ngày càng tăng, dẫn đến tình trạng tắc nghẽn mạng và giảm hiệu suất truyền thông. Vấn đề chia sẻ không gian làm việc giữa các robot, giữa robot với các thiết bị khác và giữa robot với con người cũng đòi hỏi các giải pháp tối ưu truyền thông robot hiệu quả. Đặc biệt, năng lượng là một yếu tố hạn chế, đòi hỏi các thuật toán điều hướng tiết kiệm năng lượng. Giải pháp tích hợp truyền thông không dây giúp giảm tải tính toán và giải quyết vấn đề truyền thông trong nhà máy.

2.1. Vấn Đề Hiệu Suất Truyền Thông Trong Môi Trường Nhà Máy

Môi trường nhà máy với nhiều máy móc, thiết bị và vật cản gây ra nhiều khó khăn cho việc truyền thông không dây. Nhiễu điện từ, suy hao tín hiệu và vùng chết tín hiệu là những vấn đề thường gặp. Các giải pháp truyền thống như tăng công suất phát có thể không hiệu quả và gây lãng phí năng lượng. Theo [Tài liệu gốc], NCS tập trung vào nâng cao chất lượng truyền thông để phục vụ hoạt động của robot di động, phát triển thuật toán lập quỹ đạo cho robot trong môi trường truyền thông lý tưởng.

2.2. Giảm Thiểu Năng Lượng Tiêu Thụ Cho Truyền Thông Robot

Năng lượng là một nguồn tài nguyên quý giá, đặc biệt đối với robot di động hoạt động bằng pin. Việc tối ưu hóa năng lượng tiêu thụ cho truyền thông là một yêu cầu quan trọng. Các giải pháp có thể bao gồm việc sử dụng các giao thức truyền thông tiết kiệm năng lượng, giảm thiểu số lượng gói tin được truyền tải, và tối ưu hóa quỹ đạo di chuyển của robot để giảm khoảng cách truyền thông. Theo [Tài liệu gốc], việc phát triển mô hình hệ thống và thuật toán điều hướng cho robot di động trong môi trường truyền thông chưa đảm bảo với mục tiêu tối ưu năng lượng tiêu thụ là cần thiết.

III. Cách Tối Ưu Quỹ Đạo Robot Với Truyền Thông Lý Tưởng 58

Khi truyền thông được đảm bảo, việc tối ưu quỹ đạo của robot di động trở nên quan trọng để đạt được hiệu suất cao nhất. Mục tiêu là giảm thiểu năng lượng tiêu thụ, rút ngắn thời gian di chuyển và tránh va chạm với các vật cản. Các thuật toán lập kế hoạch đường đi như A*, D*, và các thuật toán dựa trên học sâu có thể được sử dụng để giải quyết bài toán này. Nghiên cứu này xem xét các thuật toán khác nhau và đánh giá hiệu quả của chúng trong môi trường truyền thông lý tưởng. Theo [Tài liệu gốc], các thuật toán Dijikstra, A*, D*. đã được đưa ra dựa trên một bản đồ về môi trường làm việc đã biết trước.

3.1. Các Thuật Toán Tối Ưu Quỹ Đạo Cơ Bản Cho Robot

Các thuật toán như A* và D* là những lựa chọn phổ biến để lập kế hoạch đường đi cho robot. A* sử dụng hàm heuristic để ước tính chi phí đến mục tiêu, giúp tìm kiếm đường đi tối ưu một cách hiệu quả. D* là một phiên bản động của A*, cho phép cập nhật đường đi khi môi trường thay đổi. [Tài liệu gốc] đã đề xuất một số thuật toán dựa trên học sâu tăng cường DRL (Deep Reinforcement Learning) đã thể hiện được hiệu quả trong những năm gần đây.

3.2. Tối Thiểu Năng Lượng Tiêu Thụ Mục Tiêu Của Quỹ Đạo

Việc tối thiểu năng lượng tiêu thụ là một mục tiêu quan trọng trong bài toán tối ưu quỹ đạo. Các yếu tố ảnh hưởng đến năng lượng tiêu thụ bao gồm khoảng cách di chuyển, vận tốc, gia tốc, và lực cản. Các thuật toán tối ưu cần xem xét các yếu tố này để tìm ra quỹ đạo có mức tiêu thụ năng lượng thấp nhất. [Tài liệu gốc] cho rằng, để đảm bảo các yêu cầu công việc phức tạp hiện nay, robot được kỳ vọng là sẽ tiêu tốn ít điện năng hơn và cho thời gian sử dụng lâu hơn.

IV. Học Sâu Tăng Cường Tối Ưu Truyền Thông Robot Di Động 57

Học sâu tăng cường (DRL) là một phương pháp mạnh mẽ để giải quyết các bài toán tối ưu phức tạp trong môi trường động. Trong lĩnh vực điều hướng robot, DRL có thể được sử dụng để huấn luyện robot tự động lập kế hoạch đường đi, tránh va chạm, và tối ưu hóa hiệu suất truyền thông trong môi trường nhà máy. Phương pháp này cho phép robot học hỏi từ kinh nghiệm và thích nghi với các thay đổi trong môi trường. [Tài liệu gốc] đã đề xuất một số thuật toán dựa trên học sâu tăng cường DRL (Deep Reinforcement Learning) đã thể hiện được hiệu quả trong những năm gần đây.

4.1. DRL Deep Reinforcement Learning Cho Bài Toán Lập Quỹ Đạo

DRL kết hợp sức mạnh của học sâu và học tăng cường để giải quyết các bài toán điều khiển và tối ưu phức tạp. Trong bài toán lập quỹ đạo, DRL có thể được sử dụng để huấn luyện một mạng nơ-ron điều khiển robot dựa trên các tín hiệu cảm biến và mục tiêu nhiệm vụ. Mạng nơ-ron sẽ học cách tối ưu hóa quỹ đạo để đạt được hiệu suất cao nhất. Các thuật toán như DQN, DDPG, và PPO là những lựa chọn phổ biến. [Tài liệu gốc] có đề cập đến việc một số thuật toán dựa trên học sâu tăng cường DRL (Deep Reinforcement Learning) đã được đề xuất trong những năm gần đây đã thể hiện được hiệu quả.

4.2. Tối Ưu Hóa Năng Lượng Tiêu Thụ Bằng Học Sâu

DRL cũng có thể được sử dụng để tối ưu hóa năng lượng tiêu thụ trong điều hướng robot. Bằng cách kết hợp thông tin về năng lượng tiêu thụ vào hàm phần thưởng, robot có thể được huấn luyện để tìm ra quỹ đạo có mức tiêu thụ năng lượng thấp nhất. Các thuật toán như PPO và A2C có thể được sử dụng để huấn luyện robot trong môi trường mô phỏng. [Tài liệu gốc] cho rằng robot được kỳ vọng là sẽ tiêu tốn ít điện năng hơn và cho thời gian sử dụng lâu hơn.

V. Ứng Dụng Thực Tiễn Và Kết Quả Nghiên Cứu Điều Hướng 60

Các kết quả nghiên cứu về điều hướng robot và tối ưu truyền thông có nhiều ứng dụng thực tiễn trong các nhà máy thông minh. Robot di động có thể được sử dụng để vận chuyển hàng hóa, kiểm tra chất lượng sản phẩm, và thực hiện các nhiệm vụ nguy hiểm hoặc lặp đi lặp lại. Việc tối ưu hóa truyền thông và năng lượng tiêu thụ giúp cải thiện hiệu suất và độ tin cậy của robot, đồng thời giảm chi phí vận hành. Thực hiện các mô phỏng để kiểm chứng tính hiệu quả của các mô hình hệ thống và thuật toán đề xuất.

5.1. Điều Hướng Robot Trong Môi Trường Sản Xuất Linh Hoạt

Robot di động có thể thích ứng với các thay đổi trong môi trường sản xuất bằng cách sử dụng các thuật toán lập kế hoạch đường đi động. Điều này cho phép robot di chuyển một cách hiệu quả trong môi trường có nhiều vật cản và thay đổi thường xuyên. Theo [Tài liệu gốc], NCS cần phải nghiên cứu, phát triển các hệ thống điều hướng cho robot di động kết hợp tối ưu quỹ đạo với truyền thông không dây và tối thiểu năng lượng tiêu thụ của hệ thống.

5.2. Kiểm Tra Chất Lượng Sản Phẩm Với Thị Giác Máy Tính

Robot di động có thể được trang bị camera và các thuật toán thị giác máy tính để kiểm tra chất lượng sản phẩm. Robot có thể di chuyển đến các vị trí khác nhau trong nhà máy và chụp ảnh sản phẩm, sau đó sử dụng các thuật toán xử lý ảnh để phát hiện các lỗi hoặc khuyết tật. Điều này giúp cải thiện chất lượng sản phẩm và giảm chi phí kiểm tra. [Tài liệu gốc] có đề cập việc tích hợp truyền thông không dây cho robot di động là một giải pháp, từ đó, robot di động đóng vai trò là một thành phần trong hệ thống IoT vừa giúp giảm bớt tiêu hao năng lượng tính toán cho robot vừa giải quyết vấn đề truyền thông trong nhà máy.

VI. Tương Lai Của Điều Hướng Robot Kết Luận Và Kiến Nghị 55

Lĩnh vực điều hướng robot đang phát triển với tốc độ nhanh chóng, hứa hẹn mang lại nhiều đột phá trong tương lai. Các xu hướng nghiên cứu chính bao gồm việc sử dụng học sâu để giải quyết các bài toán phức tạp, tích hợp các cảm biến tiên tiến, và phát triển các hệ thống điều khiển phân tán. Cần có những nghiên cứu sâu hơn về các phương pháp tối ưu truyền thông trong môi trường công nghiệp để đảm bảo hiệu suất và độ tin cậy của robot di động. Nghiên cứu này cung cấp một nền tảng vững chắc cho các nghiên cứu tiếp theo trong lĩnh vực này.

6.1. Các Xu Hướng Nghiên Cứu Điều Hướng Robot Mới Nhất

Xu hướng sử dụng học sâu ngày càng trở nên phổ biến trong lĩnh vực điều hướng robot. Các thuật toán học sâu có khả năng học hỏi các đặc trưng phức tạp từ dữ liệu cảm biến và đưa ra các quyết định điều khiển chính xác. Ngoài ra, việc tích hợp các cảm biến tiên tiến như LiDAR và camera 3D giúp robot có thể nhận thức môi trường một cách chi tiết hơn. [Tài liệu gốc] có đề cập việc kết hợp hai vấn đề, lập quỹ đạo và truyền thông vào một bài toán tối ưu.

6.2. Đề Xuất Hướng Nghiên Cứu Tối Ưu Điều Hướng Robot

Các nghiên cứu tiếp theo nên tập trung vào việc phát triển các phương pháp tối ưu truyền thông trong môi trường công nghiệp, đặc biệt là trong các môi trường có nhiều nhiễu và vật cản. Việc tích hợp các kỹ thuật học máy để dự đoán và giảm thiểu ảnh hưởng của nhiễu cũng là một hướng đi tiềm năng. Cần phát triển các hệ thống điều khiển phân tán để đảm bảo tính linh hoạt và khả năng mở rộng của hệ thống robot di động. [Tài liệu gốc] nhấn mạnh cần thiết thực hiện các mô phỏng để kiểm chứng.