Chương 1. TỔNG QUAN 7 độ nhạy của bộ tham sé, vẫn có thể bị ảnh hưởng bởi các thay đổi phi tuyến tính với hành động khó để kiểm soát. ¢ Về đóng góp thứ hai, lấy cảm hứng từ cơ chế đột biến của Tiến hóa Vi phân (Differential Evolution, viết tắt là DE) [45], chúng tôi đề xuất phép Đột biến vi phân kiểu hình (Phenotypic Differential Mutation, viết tat là PhDM) có khả năng xem xét các thông tin về phân phối kiểu hình (hay phân phối hành động) giữa các chiến lược trong quân thể để tạo ra vector đột biến theo hành động. PhDM cho thấy phép biến đổi này ít chịu ảnh hưởng bởi các điều chỉnh về siêu tham số và có khả năng tự điều chỉnh độ lớn đột biến dựa trên quá trình tiến hóa của quần thể.
* Chúng tôi tái cấu trúc lại PDERL để kết hợp phép đột biến được dé xuất PhDM và sử dụng cơ chế policy gradient dựa trên hai actors và cơ chế ước lượng giá trị hành động thông qua hai critics của DARC một cách hợp lý tạo thành thuật toán Phenotypic Evolutionary DARC (viết tắt là PhEDARC, tạm dịch là DARC kết hợp Tính toán tiến hóa trên Kiểu hình). Thuật toán được dé xuất này cho thay tính ổn định và hiệu quả lay mẫu trong việc huấn luyện. Các tác tử được trả về của PhEDARC chỉ sử dụng một mạng neural duy nhất có thể vượt trội về hiệu năng so với các tác tử DARC gồm bốn mạng neural. Kết quả so sánh thực nghiệm cho thấy rằng thuật toán được đề xuất có hiệu năng tốt hơn các phương pháp tiền nhiệm cũng như làm rõ được các đóng góp tích cực của từng thành phần được sử dụng.
Các đóng góp và khảo sát đã được công bồ tại hội nghị quốc té|[CT1]}|[CT2] 1.5 Câu trúc khóa luận Khóa luận của chúng tôi bao gồm 5 chương chính: ° Chuong|1} Tổng quan. Chương này trình bày tổng quan về bài toán tìm kiếm chiến lược, phương pháp Học tăng cường kết hợp Tính toán tiến hóa, phạm vi, mục tiêu, nội dung thực hiện và đóng góp của khóa luận. TỔNG QUAN 8 ° Chương} Các công trình liên quan và kiến thức nền tảng. Chương này cung cấp các công trình nghiên cứu liên quan về RL, ERL và các kiến thức nền tảng về Hoc tăng cường cùng các kỹ thuật chính được sử dụng hoặc được so sánh trong khóa luận.
° Chương |} Các phương pháp dé xuất. Trong chương này, chúng tôi nêu vấn dé gặp phải của đột biến Gaussian, dé xuất phép Đột biến vi phân kiểu hình để khắc phục các nhược điểm này, từ đó phát triển thuật toán trước đó thành thuật toán PhEDARC. ° Chương|4| Thực nghiệm. Chương này thực hiện so sánh hiệu năng của phương pháp đề xuất với các baselines, cũng như tìm hiểu đóng góp của từng thành phần được thay đổi.
° Chương|B} Kết luận và hướng phát triển. O chương này, chúng tôi tổng kết lại các đóng góp của khóa luận, nêu ra một vài mặt hạn chế cùa phương pháp đề xuất và đưa ra hướng phát triển cần thiết. Chương 2 CÁC CÔNG TRÌNH LIÊN QUAN VÀ KIÊN THỨC NEN TANG Trong chương này, chúng tôi thực hiện tóm tắt các công trình nghiên cứu liên quan tới phương pháp giải quyết các bài toán tìm kiếm chiến lược trên tác vụ điều khiển liên tục và các kiến thức nền tảng được áp dụng trên khóa luận.1| chúng tôi trình bày các phương pháp học tăng cường được sử dụng cho bài toán tìm kiếm chiến lược, sơ lược về van dé trong việc khám phá của tác tử trong DRL và các hướng giải quyết hiện tại. Từ đó chúng tôi sẽ giới thiệu một số công trình về ERL như một cách tiếp cận để gia tăng khả năng khám phá của tác tử.
Bên cạnh đó, các khái niệm cơ bản của bài toán tìm kiếm chiến lược và tổng quan về cơ chế hoạt động của RL (với thuật toán chủ đạo là DARC) và ERL (với thuật toán chủ đạo là PDERL) sẽ được dé cập trong phân|2.1 Các công trinh liên quan 2.1 Học tăng cường sâu cho bài toán điều khiển liên tục Trước đây, học tăng cường thường gặp khó khăn khi giải các bài toán có số chiều không gian trạng thái lớn và liên tục. Tuy nhiên, sự kết hợp giữa RL và học sâu (deep learning) đã mở ra những cơ hội mới để giải quyết các tác vụ phức tạp thông qua việc sử dụng mạng neural. Deep RL mã hóa chiến lược bằng một mạng neural cho phép các chiến lược này nhận vào các trạng thái có giá trị liên tục với số chiều không gian lớn [28]. Nhờ đó, DRL da đạt được những bước đột phá khởi đầu trong Chương 2.
CÁC CÔNG TRÌNH LIEN QUAN VÀ KIÊN THÚC NEN TANG 10 Kỹ thuật tìm kiếm chiên lược HINH 2.1: Sơ đồ phân loại các hướng tiếp cận trong bài toán tìm kiếm chiến lược được đề cập trong khóa luận. các bài toán phức tạp hơn có hành động rời rạc (discrete actions) cùng với những nghiên cứu ứng dụng trong nhiều lĩnh vực đời sống và khoa học [9| 11] Bên cạnh các bài toán điều khiển các hành động rời rac, DRL cũng được áp dụng trên các tác vụ có hành động liên tục (continuous actions). Các bài toán này có các hành động là một vector các số thực a € RNA trong đó Na là số chiều của không gian hành động. Các tác vụ thường thấy trong bài toán điều khiển liên tục có thể là điều khiển các robot để hoàn thành một tác vụ, hay tối ưu một mục tiêu nào đó [18].
Dinh ly Policy Gradient [46] và Dinh lý Policy Gradient Don định (Deterministic Policy Gradient) dé xuất cách để có thé tinh được gradient của giá trị hành Chương 2. CAC CÔNG TRINH LIÊN QUAN VÀ KIÊN THUC NEN TANG 11 động (hoặc tổng điểm thưởng) lần lượt trên tham số mạng chiến lược. Điều này mở ra cơ hội để ta có thể tận dụng các phương pháp tối ưu dựa trên gradient thực hiện cập nhật tham số mạng neural của tác tử nhằm tối ưu mục tiêu của bài toán. Trong số các thuật toán DRL để giải các bài toán điều khiển liên tục, ta có thể phân loại chúng thành hai hướng chính: on-policy (theo chiến lược) và off-policy (không theo chiến lược).
Hướng tiếp cận on-policy đòi hỏi kinh nghiệm được sử dụng để cập nhật tham số dựa trên Định lý Policy Gradient phải đến từ chiến lược hiện tại đang được cập nhật tham số. Nổi bật trong số các phương pháp này là TRPO [39] va PPO [38]. Tuy nhiên, on-policy lai tỏ ra thiếu hiệu quả trong việc lay mẫu khi phải tương tác với môi trường nhiều lần hơn để giảm phương sai (variance) khi tinh gradient của tổng điểm thưởng. Ngoài ra phương pháp này cũng không thé tận dụng lại các kinh nghiệm cũ để cập nhật tham số cũng như kinh nghiệm từ các chiến lược khác để tăng khả năng khám phá [1|.
Điều này mở ra tiền dé cho một hướng tiếp cận khác có hiệu năng tốt hơn là off-policy. Trong off-policy, một trong những phương pháp được sử dụng rộng rãi hiện nay là nhóm các thuật toán actor-critic trong đó actor là chiến lược của tác tử đang được tối ưu và critic là một hàm được sử dụng để đánh giá giá trị của hành động được đưa vào dựa trên trạng thái tương ứng. Một số phương pháp điển hình chẳng hạn như Deep Deterministic Policy Gradient (viết tat là DDPG) [26], hay Twin-Delayed DDPG (viết tat là TD3) đều hiệu quả hơn các thuật toán on-policy về khả năng khai thác mẫu. Điểm chung hau hết của các thuật toán nay là chúng thường duy trì một bộ nhớ ở bên ngoài thực hiện lưu trữ các kinh nghiệm và truy hồi lại kinh nghiệm này để cập nhật tham số của actor và critic.
Như vậy, các kinh nghiệm dùng để huấn luyện không còn phụ thuộc chặt chẽ vào chiến lược cần được tối ưu 7 (target policy, tạm dịch là chiến lược đích), tức là kinh nghiệm không đến từ chiến lược này khi tương tác với môi trường. Chúng thường sẽ dựa vào một chiến lược khác có nhiệm vụ tìm kiếm các hành động khác nhau, có thể giúp gia tăng khả năng khám phá gọi là chiến lược hành vi (behavior policy) b # 7. Một cách làm thường thấy để tạo ra behavior policy cho bài toán điều khiển liên tục là cộng một giá trị nhiễu vào hành động tạo ra bởi target policy khi tương tác b(s) = 7r(s) + e, thường là nhiễu được lấy từ phân phối Gaussian e ~ .2|cho thấy cái nhìn tổng quát về mô hình vận hành của hướng tiếp cận actor-critic. CAC CÔNG TRINH LIÊN QUAN VÀ KIÊN THUC NEN TANG 12 Kinh nghiém @| | << + ` | (sS,a,S”r) | Luu lai | Cập nhật Láy mẫu thêm số <Ầ———|__ _„ Tương tác Bộ nhớ HINH 2.2: Sơ đồ minh họa quá trình thực hiện của một thuật toán actor- critc điển hình.
Ngoài các hướng tiếp cận thường thay được sử dụng để tối ưu hóa điểm thưởng, một nhóm các thuật toán khác cũng được sử dụng có nhiều điểm tương đồng với học có giám sát (supervised learning) là học bắt chước (imitation learning) (32), được dùng để tối ưu chiến lược dựa trên dữ liệu các lượt chạy (trajectory) hoặc chiến lược có sẵn. Kỹ thuật này cho phép tác tử học cách hành động giống với một chiến lược nào đó dựa trên các dữ liệu đã được thu thập từ trước. Ở các phần sau, kỹ thuật huấn luyện này sẽ được nhắc đến như là một cách để biến đổi chiến lược hiện tại theo một chiến lược khác nhằm tạo ra các tác tử mới để tương tác với môi trường một cách có chủ đích thay vì hoàn toàn ngẫu nhiên.2 Cải thiện khả năng khám phá dựa trên kết hop hoc tăng cường và tính toán tiền hóa Khám pha (Exploration) là một chủ dé luôn được quan tâm trong các van dé của RL nói riêng và bài toán tìm kiếm chiến lược nói chung. Phần thưởng mà môi trường Chương 2.
CÁC CÔNG TRÌNH LIÊN QUAN VÀ KIÊN THÚC NEN TANG 13 trả về cho tác tử thường có thể thưa thớt, dàn trải rộng hoặc tệ hơn là có thể cung cấp sai hướng cập nhật tham số chiến lược cho tác tử dẫn đến các chiến lược thường rơi vào các cực trị địa phương trong không gian tìm kiếm và không thể thoát ra được. Vấn dé này còn có thể được xem xét dưới góc độ khác, khi tác tử không có thông tin về các trạng thái và hành động mới, dẫn đến việc tác tử bị kẹt lại ở các hành động cũ có giá trị thực tế thấp và không thể tiếp tục cải thiện chiến lược của mình. Vì vậy, một số phương pháp đã được đề xuất để gia tăng khả năng khám phá của tác tử.