Thiết Kế và Ứng Dụng Phương Pháp Học Tăng Cường Tiến Hóa cho Điều Khiển Liên Tục

Khóa luận trình bày thiết kế và ứng dụng phương pháp học tăng cường tiến hóa cho bài toán điều khiển liên tục trong khoa học máy tính.

• Tác giả: Nguyễn Trung Hiếu
• Người hướng dẫn: TS. Lương Ngọc Hoàng
• Trường học: Đại Học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phương Pháp Học Tăng Cường Tiến Hóa cho Điều Khiển Liên Tục
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Introduction
• 1.2. Continuous control problem
• 1.3. Applications
• 1.4. Challenges and open problems
• 1.5. Our contributions
• 1.6. Structure of thesis
• 2. CHƯƠNG 2: BACKGROUND
• 2.1. Policy Search
• 2.2. Stochastic policy and deterministic policy
• 2.3. Deterministic Policy Gradient (DPG) Theorem
• 2.4. Actor-Critic architecture
• 2.5. On policy algorithm vs off policy algorithm
• 2.6. Twin Delayed Deep Deterministic Policy Gradient (TD3)
• 2.7. Soft Actor-Critic
• 2.8. Cross Entropy Method (CEM)
• 3. CHƯƠNG 3: PROPOSING METHODS
• 3.1. Mujoco Continuous Control Benchmark
• 3.2. Comparison with previous works
• BIBLIOGRAPHY

Tóm tắt

I. Tổng quan về Phương Pháp Học Tăng Cường Tiến Hóa

Phương pháp học tăng cường tiến hóa (ERL) đang trở thành một trong những xu hướng nổi bật trong lĩnh vực trí tuệ nhân tạo, đặc biệt là trong bài toán điều khiển liên tục. ERL kết hợp giữa học tăng cường và tính toán tiến hóa, giúp cải thiện hiệu suất của các tác tử AI trong môi trường phức tạp. Bài viết này sẽ khám phá các khái niệm cơ bản và tầm quan trọng của ERL trong việc giải quyết các bài toán điều khiển.

1.1. Khái niệm cơ bản về Học Tăng Cường

Học tăng cường là một phương pháp học máy cho phép các tác tử AI học hỏi từ môi trường thông qua việc tối đa hóa một hàm phần thưởng. Điều này giúp tác tử phát triển khả năng ra quyết định trong các tình huống không chắc chắn.

1.2. Tính toán Tiến Hóa trong Học Tăng Cường

Tính toán tiến hóa là một phương pháp tối ưu hóa dựa trên nguyên lý chọn lọc tự nhiên. Khi kết hợp với học tăng cường, nó giúp cải thiện khả năng khám phá và khai thác của các tác tử AI, từ đó nâng cao hiệu suất trong các bài toán điều khiển.

II. Thách thức trong Điều Khiển Liên Tục và Học Tăng Cường

Điều khiển liên tục là một trong những thách thức lớn trong lĩnh vực học máy. Các tác tử AI thường gặp khó khăn trong việc tối ưu hóa hành động của mình trong môi trường có nhiều biến động và nhiễu. Việc thiết lập các siêu tham số cũng ảnh hưởng lớn đến hiệu suất của các thuật toán học tăng cường.

2.1. Vấn đề Nhiễu trong Môi Trường

Môi trường có nhiều nhiễu có thể làm giảm hiệu suất của các thuật toán học tăng cường. Điều này đòi hỏi các phương pháp mới để cải thiện khả năng chống chịu của các tác tử AI.

2.2. Khó Khăn trong Việc Thiết Lập Siêu Tham Số

Việc thiết lập siêu tham số là một thách thức lớn trong học tăng cường. Các tham số không phù hợp có thể dẫn đến hiệu suất kém, do đó cần có các phương pháp tự động hóa trong việc tối ưu hóa chúng.

III. Phương Pháp Học Tăng Cường Tiến Hóa cho Điều Khiển Liên Tục

Phương pháp học tăng cường tiến hóa (ERL) đã được chứng minh là một giải pháp hiệu quả cho các bài toán điều khiển liên tục. Bằng cách kết hợp các thuật toán học tăng cường với các phương pháp tính toán tiến hóa, ERL giúp cải thiện khả năng học hỏi của các tác tử AI.

3.1. Cách Thức Hoạt Động của ERL

ERL hoạt động bằng cách sử dụng các thuật toán tiến hóa để tối ưu hóa chính sách của tác tử AI. Điều này cho phép tác tử khám phá các hành động mới mà không cần phải dựa vào dữ liệu huấn luyện trước.

3.2. Lợi Ích của Việc Kết Hợp ERL với Học Tăng Cường

Kết hợp ERL với học tăng cường mang lại nhiều lợi ích, bao gồm khả năng khám phá tốt hơn và hiệu suất ổn định hơn trong các bài toán điều khiển phức tạp.

IV. Ứng Dụng Thực Tiễn của Phương Pháp ERL

Phương pháp học tăng cường tiến hóa đã được áp dụng trong nhiều lĩnh vực khác nhau, từ robot tự hành đến các trò chơi điện tử. Những ứng dụng này cho thấy tiềm năng to lớn của ERL trong việc giải quyết các bài toán thực tế.

4.1. Robot Tự Hành

ERL có thể được sử dụng để huấn luyện robot tự hành, giúp chúng học hỏi từ môi trường và cải thiện khả năng thực hiện các nhiệm vụ phức tạp.

4.2. Trò Chơi Điện Tử

Trong ngành công nghiệp game, ERL được áp dụng để phát triển các nhân vật không người chơi (NPC) có khả năng phản ứng và thích ứng với hành vi của người chơi.

V. Kết Luận và Tương Lai của Phương Pháp Học Tăng Cường Tiến Hóa

Phương pháp học tăng cường tiến hóa đang mở ra nhiều cơ hội mới trong lĩnh vực trí tuệ nhân tạo. Với những cải tiến liên tục, ERL hứa hẹn sẽ trở thành một công cụ mạnh mẽ trong việc giải quyết các bài toán điều khiển phức tạp trong tương lai.

5.1. Tương Lai của ERL

Tương lai của ERL rất hứa hẹn với nhiều nghiên cứu đang diễn ra nhằm cải thiện hiệu suất và khả năng ứng dụng của phương pháp này trong các lĩnh vực khác nhau.

5.2. Những Thách Thức Cần Giải Quyết

Mặc dù ERL có nhiều tiềm năng, nhưng vẫn còn nhiều thách thức cần phải giải quyết, bao gồm việc tối ưu hóa siêu tham số và cải thiện khả năng chống nhiễu trong môi trường.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Thiết kế và ứng dụng các phương pháp học tăng cường tiến hóa cho bài toán điều khiển liên tục" (tên tiếng Anh: Design and Application of Evolutionary Reinforcement Learning Methods for Continuous Control) được thực hiện bởi sinh viên Nguyễn Trung Hiếu và Trần Đình Khang dưới sự hướng dẫn của TS. Lương Ngọc Hoàng tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh (giai đoạn từ ngày 01/08/2021 đến ngày 30/12/2021).

Trong lĩnh vực trí tuệ nhân tạo và điều khiển tối ưu, bài toán điều khiển liên tục (continuous control) đặt ra yêu cầu thiết kế bộ điều khiển (controller) để tác tử (agent) đưa ra các tín hiệu hành động dưới dạng giá trị liên tục dựa trên các trạng thái quan sát được từ môi trường nhằm tối đa hóa hàm phần thưởng tích lũy. Bài toán này thường được mô hình hóa dưới dạng Quá trình Quyết định Markov (Markov Decision Process - MDP). Không giống như học có giám sát, tác tử không có sẵn tập dữ liệu gán nhãn mà phải tự tương tác thử - sai với môi trường. Phương pháp tiếp cận phổ biến hiện nay là xấp xỉ chính sách điều khiển bằng mạng nơ-ron sâu (Deep Neural Networks - DNN) và huấn luyện thông qua các thuật toán học tăng cường sâu (Deep Reinforcement Learning - DRL) dựa trên đạo hàm chính sách (policy gradient).

Mặc dù DRL đã đạt được nhiều thành tựu trong các tác vụ phức tạp, các thuật toán policy gradient không mô hình (model-free) vẫn đối mặt với ba rào cản kỹ thuật cơ bản:

• Vấn đề phân bổ tín dụng (credit assignment) khi tín hiệu phần thưởng bị thưa thớt hoặc có độ trễ lớn (sparse/delayed rewards).
• Hiện tượng hội tụ sớm về các cực trị địa phương (premature convergence) do suy giảm khả năng duy trì tính đa dạng trong quá trình khám phá không gian trạng thái - hành động (exploration).
• Độ nhạy cảm cao đối với việc thiết lập các siêu tham số (hyperparameters), khiến quá trình huấn luyện dễ mất ổn định giữa các môi trường khác nhau.

Ngược lại, các phương pháp tính toán tiến hóa (Evolutionary Computation - EC), điển hình là chiến lược tiến hóa (Evolution Strategies - ES) và phương pháp Cross Entropy (Cross Entropy Method - CEM), tiếp cận việc tối ưu hóa mạng chính sách như một bài toán tối ưu hóa hộp đen ngẫu nhiên bậc không (zeroth-order stochastic black-box optimization). Nhóm phương pháp này sở hữu ưu điểm vượt trội về khả năng duy trì tính đa dạng, dễ song song hóa trên phần cứng tính toán và không phụ thuộc vào đạo hàm. Tuy nhiên, EC thuần túy lại gặp nhược điểm lớn về tốc độ hội tụ chậm và hiệu quả sử dụng mẫu kém (sample inefficiency) khi số lượng tham số của mạng nơ-ron tăng cao. Trước bối cảnh đó, hướng nghiên cứu học tăng cường tiến hóa (Evolutionary Reinforcement Learning - ERL) kết hợp thế mạnh khám phá toàn cục của EC với hiệu quả lấy mẫu của DRL trở thành một giải pháp tiềm năng.

Mục tiêu nghiên cứu của đề tài được xác định gồm ba nội dung:

1. Tìm hiểu tổng quan về bài toán điều khiển tối ưu và bài toán điều khiển liên tục trong học tăng cường.
2. So sánh, đánh giá các nhóm phương pháp phổ biến hiện nay: Tính toán tiến hóa (EC), Học tăng cường (RL), và Học tăng cường tiến hóa (ERL).
3. Thiết kế và thực nghiệm các phương pháp cải tiến hiệu suất của các phương pháp ERL hiện tại trên bài toán điều khiển liên tục.

Nhiệm vụ nghiên cứu cụ thể bao gồm:

1. Khảo sát, cài đặt và chạy thí nghiệm đối chuẩn các thuật toán ERL công bố gần đây trên bộ công cụ mô phỏng vật lý MuJoCo, phân tích ưu và nhược điểm của từng phương pháp.
2. Đề xuất các phương chế lai ghép cải tiến nhằm nâng cao hiệu suất và tính ổn định của thuật toán ERL.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các phương pháp học tăng cường tiến hóa (ERL) dùng để huấn luyện mạng nơ-ron chính sách cho tác tử AI trong các bài toán điều khiển liên tục.
• Phạm vi nghiên cứu: Các tác vụ điều khiển vận động nhiều bậc tự do trong môi trường mô phỏng vật lý liên tục MuJoCo (MuJoCo Physics Simulation Benchmark), bao gồm 6 môi trường: Ant-v3, HalfCheetah-v3, Walker2d-v3, Hopper-v3, Humanoid-v3 và HumanoidStandup-v2. Phạm vi thời gian thực hiện nghiên cứu từ tháng 8/2021 đến tháng 12/2021.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết toán học của lý thuyết quyết định tuần tự và tối ưu hóa tham số mạng nơ-ron:

• Quá trình Quyết định Markov (MDP): Định nghĩa qua bộ giá trị trạng thái $s \in \mathcal{S}$, hành động $a \in \mathcal{A}$, xác suất chuyển trạng thái $P(s'|s, a)$, hàm phần thưởng $r(s, a)$ và hệ số chiết khấu $\gamma \in [0, 1)$. Mục tiêu tối ưu là tìm tham số chính sách $\theta^*$ nhằm cực đại hóa hàm mục tiêu kỳ vọng $J(\pi_\theta) = \mathbb{E}{\tau \sim \pi\theta}[G(\tau)]$.
• Định lý Đạo hàm Chính sách (Policy Gradient Theorem) và Định lý Đạo hàm Chính sách Tất định (Deterministic Policy Gradient - DPG Theorem): Cung cấp công thức giải tích để tính đạo hàm của hàm mục tiêu theo tham số mạng nơ-ron $\nabla_\theta J(\pi_\theta)$, làm cơ sở cho các thuật toán tối ưu hóa bậc một.
• Kiến trúc Actor-Critic và cơ chế học ngoài chính sách (Off-policy): Phân tách mạng thành mạng Actor (đề xuất hành động) và mạng Critic (xấp xỉ hàm giá trị trạng thái - hành động $Q(s, a)$). Quá trình cập nhật sử dụng bộ đệm trải nghiệm (replay buffer $\mathcal{D}$) để lưu trữ bộ dữ liệu chuyển trạng thái $(s, a, r, s', d)$ nhằm tái sử dụng dữ liệu mẫu.
• Thuật toán Twin Delayed Deep Deterministic Policy Gradient (TD3): Thuật toán off-policy sử dụng chính sách tất định, tích hợp ba kỹ thuật mấu chốt để khắc phục hiện tượng ước lượng vượt mức giá trị hàm Q (overestimation bias): sử dụng cặp mạng Critic kép và lấy giá trị nhỏ nhất, làm mượt mục tiêu chính sách (target policy smoothing) bằng cách thêm nhiễu được cắt ngọn, và trì hoãn tần suất cập nhật mạng Actor so với mạng Critic.
• Thuật toán Soft Actor-Critic (SAC): Thuật toán off-policy tối ưu hóa đồng thời phần thưởng tích lũy và độ hỗn loạn thông tin (entropy) của chính sách: $J(\pi) = \sum_{t} \mathbb{E} [r(s_t, a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t))]$. SAC sử dụng chính sách ngẫu nhiên (stochastic policy) dạng phân phối Gaussian đa biến, cho phép cân bằng chủ động giữa khám phá và khai thác.
• Phương pháp Cross Entropy (CEM): Một dạng thuật toán ước lượng phân phối (Estimation-of-Distribution Algorithm - EDA). CEM duy trì một phân phối chuẩn đa biến $\mathcal{N}(\mu, \Sigma)$ trên không gian trọng số chính sách, lấy mẫu quần thể $N$ cá thể, chọn lọc tập ưu tú $N_e = N/2$ có điểm thích nghi cao nhất để cập nhật lại $\mu$ và $\Sigma$. Trong khóa luận, tác giả sử dụng biến thể ma trận hiệp phương sai đường chéo với trọng số logarit và hệ số nhiễu cộng thêm $\epsilon I$ theo nghiên cứu của Pourchot et al.
• Khung kết hợp CEM-RL: Khung tích hợp chuẩn do Pourchot et al. đề xuất, kết hợp CEM với DDPG hoặc TD3 bằng cách đưa một nửa quần thể đi cập nhật gradient RL với số bước cố định trước khi đánh giá.

Phương pháp nghiên cứu thực tế được triển khai là phương pháp nghiên cứu thực nghiệm đối chuẩn (empirical benchmarking). Nhóm tác giả thiết lập quy trình thực nghiệm đồng bộ:

• Cài đặt và thực thi các thuật toán trên môi trường mô phỏng vật lý MuJoCo.
• Tiến hành đo lường hiệu năng qua 10 lượt chạy độc lập (10 independent runs) với các hạt giống ngẫu nhiên khác nhau cho mỗi thuật toán để loại bỏ tính ngẫu nhiên.
• Sử dụng phương pháp kiểm định thống kê Student t-test để đánh giá mức độ ý nghĩa thống kê của các sai khác về điểm số trung bình giữa các thuật toán đề xuất và các thuật toán đường cơ sở (baselines).

Nguồn dữ liệu thực nghiệm hoàn toàn là dữ liệu sinh ra từ tương tác trực tiếp giữa tác tử điều khiển và các môi trường vật lý chuẩn trong bộ thư viện MuJoCo Continuous Control Benchmark.

Nội dung chính theo từng chương

Chương 1: Introduction (Mở đầu)

Chương 1 giới thiệu khái quát về học tăng cường và vai trò của học tăng cường sâu trong việc giải quyết các bài toán có không gian trạng thái và hành động liên tục, số chiều lớn như robot học tập (robot learning), xe tự hành (autonomous driving) và xây dựng nhân vật phi người chơi (NPC) trong công nghiệp trò chơi điện tử. Tác giả phân tích chi tiết các thách thức mở của phương pháp DRL không mô hình: sự thiếu hụt tri thức vật lý tiên nghiệm dẫn đến việc tác tử phải tự tìm hiểu quy luật thông qua tương tác thuần túy, nguy cơ mất an toàn mẫu khi triển khai trên robot thực tế, và sự cần thiết của việc thử nghiệm kỹ lưỡng trên môi trường mô phỏng. Chương này cũng trình bày tổng quan các đóng góp chính và cấu trúc 5 chương của khóa luận.

Chương 2: Background (Cơ sở lý thuyết)

Chương 2 trình bày có hệ thống cơ sở toán học của bài toán tìm kiếm chính sách (policy search). Các nội dung trọng tâm bao gồm:

• Phân biệt giữa chính sách tất định $\pi(s)$ và chính sách ngẫu nhiên $\pi(a|s)$.
• Chứng minh chi tiết Định lý Đạo hàm Chính sách theo Williams và Định lý DPG theo Silver et al.
• Phân tích cơ chế hoạt động và kiến trúc của phương pháp Actor-Critic, chỉ ra vai trò của mạng mục tiêu (target networks) trong việc ổn định hóa quá trình hội tụ.
• So sánh sự khác nhau về bản chất tái sử dụng mẫu giữa thuật toán on-policy và off-policy.
• Trình bày chi tiết giải thuật TD3 (sử dụng chính sách tất định, cập nhật Bellman sửa đổi với hai mạng Critic) và giải thuật SAC (sử dụng chính sách ngẫu nhiên kết hợp chính quy hóa entropy).
• Trình bày nguyên lý của giải thuật tiến hóa (EA), phương pháp Cross Entropy (CEM) với các sửa đổi cấu trúc ma trận hiệp phương sai của Pourchot et al., và lược đồ lai ghép của thuật toán CEM-RL.

Chương 3: Proposing Methods (Phương pháp đề xuất)

Chương 3 là phần đóng góp cốt lõi về mặt học thuật của khóa luận, đề xuất hai thuật toán lai ghép mới: eTD3 và CEM-SAC dựa trên một cơ chế kết hợp cải tiến:

• Thuật toán eTD3: Khắc phục nhược điểm của CEM-TD3 bằng hai điều chỉnh then chốt:
  1. Đánh giá điểm thích nghi của các cá thể được lấy mẫu từ CEM ($f^{CEM}$) trước khi thực hiện cập nhật RL để làm mốc cơ sở. Quá trình huấn luyện TD3 cho từng cá thể được thực hiện lặp (mỗi lần 5 episodes) và chỉ dừng lại khi điểm số của cá thể sau cập nhật RL vượt qua điểm số ban đầu ($f_i^{RL} > f_i^{CEM}$) hoặc khi số bước mô phỏng vượt quá ngân sách cho phép (budget per actor). Cơ chế này ngăn chặn việc cập nhật gradient quá mức (excessive updates) gây mất ổn định do sai số ước lượng tích lũy từ bộ đệm trải nghiệm.
  2. Thu thập và đưa vào bộ đệm trải nghiệm toàn bộ các bộ chuyển trạng thái sinh ra từ cả các tập đánh giá của cá thể CEM lẫn các tập huấn luyện và đánh giá của cá thể RL, giúp đa dạng hóa dữ liệu huấn luyện cho mạng Critic.
• Thuật toán CEM-SAC: Mở rộng cơ chế lai ghép thích nghi trên sang sự kết hợp giữa CEM và Soft Actor-Critic. Phân phối Gaussian của CEM $\mathcal{N}(\mu, \Sigma)$ mã hóa không gian trọng số của mạng chính sách ngẫu nhiên trong SAC. Thuật toán tích hợp cơ chế bảo tồn cá thể ưu tú (elitism) từ thế hệ trước, đồng thời điều chỉnh siêu tham số update_step (số lượt cập nhật gradient trên mỗi bước tương tác môi trường) từ 2 lên 3 khi bộ đệm trải nghiệm đạt mức lấp đầy 10%.
• Chương này cũng phân tích sự khác biệt giữa CEM-SAC với thuật toán ESAC của Suri et al.: trong khi ESAC vận hành ES và SAC tương đối độc lập và chỉ truyền tham số theo xác suất vào cuối thế hệ, CEM-SAC thiết lập sự tương tác trực tiếp và liên tục giữa CEM và SAC trên toàn bộ các cá thể của quần thể.

Chương 4: Experimental Settings and Results (Cài đặt thực nghiệm và kết quả)

Chương 4 mô tả chi tiết môi trường thử nghiệm, giao thức đánh giá và phân tích kết quả định lượng:

• Hệ thống thực nghiệm được triển khai trên 6 tác vụ vận động phức tạp của MuJoCo: Ant-v3, HalfCheetah-v3, Walker2d-v3, Hopper-v3, Humanoid-v3, HumanoidStandup-v2.
• Thực hiện so sánh hiệu năng giữa eTD3 với TD3 gốc và CEM-TD3. Kết quả cho thấy eTD3 cải thiện vượt trội về điểm thưởng tích lũy và tốc độ học tập.
• Thực hiện so sánh hiệu năng giữa CEM-SAC với SAC gốc và CEM-TD3. Đồ thị học tập qua 10 lượt chạy độc lập chỉ ra rằng CEM-SAC có tính ổn định rất cao, hầu như loại bỏ hoàn toàn hiện tượng sụt giảm hiệu năng nghiêm trọng (pitfalls) vốn thường xuyên xảy ra ở SAC gốc do tính nhạy cảm với gradient.
• Bảng kiểm định Student t-test giữa CEM-SAC, SAC và CEM-TD3 xác nhận các cải tiến đạt mức ý nghĩa thống kê định lượng rõ rệt.

Chương 5: Conclusion (Kết luận)

Chương 5 tóm tắt các kết quả đạt được của khóa luận trong việc giải quyết bài toán điều khiển liên tục thông qua hướng tiếp cận ERL cải tiến, đồng thời thảo luận về các hạn chế hiện tại và đề xuất các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận đã công bố các kết quả thực nghiệm định lượng trên tập chuẩn MuJoCo thông qua 10 lượt chạy độc lập (10 independent runs). Dưới đây là bảng tổng hợp so sánh các đặc điểm kiến trúc và cơ chế giữa các thuật toán được phân tích và đề xuất trong khóa luận:

Thuật toán	Loại chính sách (Policy)	Thành phần tối ưu hóa	Cơ chế cập nhật RL	Dữ liệu lưu vào Replay Buffer
TD3	Tất định (Deterministic)	Gradient bậc một (DPG)	Cập nhật liên tục trên từng bước tương tác	Toàn bộ tương tác của chính sách
SAC	Ngẫu nhiên (Stochastic)	Gradient bậc một + Max-Entropy	Cập nhật liên tục trên từng bước tương tác	Toàn bộ tương tác của chính sách
CEM-TD3	Tất định (Deterministic)	Lai ghép: CEM + TD3	Cố định số bước RL cho 50% quần thể, không đánh giá trước	Chỉ lưu dữ liệu từ các tập đánh giá cuối thế hệ
eTD3 (Đề xuất)	Tất định (Deterministic)	Lai ghép: CEM + TD3	Vòng lặp thích nghi: dừng khi $f^{RL} > f^{CEM}$ hoặc hết ngân sách	Lưu toàn bộ dữ liệu từ đánh giá CEM, huấn luyện RL và đánh giá RL
CEM-SAC (Đề xuất)	Ngẫu nhiên (Stochastic)	Lai ghép: CEM + SAC	Vòng lặp thích nghi: dừng khi $f^{RL} > f^{CEM}$ hoặc hết ngân sách; elitism	Lưu toàn bộ dữ liệu từ đánh giá CEM, huấn luyện RL và đánh giá RL

Các phát hiện và kết quả chính bao gồm:

• Khắc phục hiện tượng mất ổn định của SAC: Quá trình huấn luyện SAC thuần túy trên các tác vụ chiều cao như Humanoid-v3 và Walker2d-v3 thường xuyên gặp phải hiện tượng phân kỳ hoặc sụt giảm hiệu năng đột ngột giữa các đợt chạy. CEM-SAC duy trì đường cong học tập tăng trưởng đơn điệu và ổn định hơn hẳn nhờ cơ chế điều phối quần thể của CEM.
• Hiệu quả của cơ chế dừng cập nhật gradient thích nghi: Việc kiểm tra điều kiện $f_i^{RL} > f_i^{CEM}$ trước khi quyết định tiếp tục cập nhật mạng nơ-ron giúp thuật toán eTD3 và CEM-SAC không bị chi phối bởi các gradient nhiễu sinh ra từ mẫu ngoại lai trong replay buffer, giữ cho các cá thể không bị trôi dạt khỏi vùng không gian tham số tốt.
• Ý nghĩa thống kê: Kết quả kiểm định Student t-test trên 10 lần thực thi độc lập khẳng định sự khác biệt về hiệu năng cuối cùng của CEM-SAC so với SAC và CEM-TD3 là có ý nghĩa thống kê xác thực, không phải do phương sai ngẫu nhiên của môi trường.

Về mặt đóng góp khoa học, tác giả tự xác định các đóng góp chính:

1. Đưa ra khảo sát có hệ thống và phân tích sâu sắc về mặt giải thuật đối với các phương pháp DRL và ERL hiện đại dành cho bài toán điều khiển liên tục.
2. Đề xuất cơ chế kết hợp cải tiến giữa phương pháp tối ưu hóa phân phối tiến hóa (CEM) và học tăng cường gradient chính sách, bao gồm việc đánh giá đường cơ sở trước cập nhật, điều kiện dừng thích nghi và chiến lược tích lũy dữ liệu toàn diện cho replay buffer.
3. Thiết kế thành công hai thuật toán mới: eTD3 (cải tiến từ CEM-TD3) và CEM-SAC (kết hợp mới giữa CEM và Soft Actor-Critic).
4. Thực hiện hệ thống thực nghiệm đối chuẩn nghiêm ngặt trên toàn bộ các môi trường MuJoCo tiêu chuẩn, chứng minh tính ưu việt của thuật toán đề xuất qua các phép thử thống kê.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận trình bày thẳng thắn các hạn chế kỹ thuật dựa trên phạm vi nghiên cứu:

• Rào cản thử nghiệm trên phần cứng thực tế (Sim-to-Real gap): Nghiên cứu mới dừng lại ở việc đánh giá trên môi trường mô phỏng vật lý MuJoCo. Dù các thuật toán đề xuất đã cải thiện hiệu quả mẫu so với EC thuần túy, lượng tương tác cần thiết (thường từ hàng trăm nghìn đến hàng triệu bước mô phỏng) vẫn còn quá lớn để có thể triển khai thử - sai trực tiếp trên các robot vật lý thực tế mà không gây hao mòn hoặc hỏng hóc cơ học.
• Chi phí tài nguyên tính toán: Việc duy trì một quần thể các mạng nơ-ron sâu kết hợp với việc cập nhật đồng thời nhiều mạng Critic và Actor đòi hỏi năng lực tính toán đáng kể về bộ nhớ và bộ xử lý (CPU/GPU), gây khó khăn khi mở rộng kích thước quần thể lên quy mô lớn.

Các hướng nghiên cứu tiếp theo được tác giả gợi mở:

• Nghiên cứu cơ chế tự thích nghi siêu tham số (adaptive hyperparameter tuning) cho chính thuật toán tiến hóa trong quá trình huấn luyện để giảm thiểu việc thiết lập tham số thủ công.
• Tối ưu hóa thuật toán để triển khai tính toán song song phân tán trên các cụm máy tính hiệu năng cao.
• Khảo sát khả năng áp dụng thuật toán trong các môi trường có tính bất định và độ nhiễu cao hơn, tiến tới áp dụng các kỹ thuật chuyển giao từ mô phỏng sang thực tế (sim-to-real transfer) trên các hệ thống điều khiển robot thực.

Giá trị tham khảo

Khóa luận là tài liệu học thuật chuyên sâu và có giá trị tham khảo thiết thực cho các nhóm đối tượng:

• Sinh viên, học viên cao học chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Khoa học Dữ liệu: Tài liệu cung cấp cơ sở toán học đầy đủ, mạch lạc từ các định lý nền tảng (Policy Gradient Theorem, DPG Theorem) đến việc dẫn xuất các thuật toán hiện đại phức tạp như TD3 và SAC.
• Người nghiên cứu trong lĩnh vực Robotics và Điều khiển Tự động: Khóa luận làm rõ cơ chế điều khiển tác tử trong không gian liên tục nhiều bậc tự do, cung cấp giải pháp tiếp cận mới trong việc khắc phục điểm yếu mất ổn định của các bộ điều khiển học sâu.
• Các phần đáng tham khảo nhất trong văn bản:
  • Mục 2.2 và 2.3 với các phép chứng minh toán học giải tích chi tiết về đạo hàm chính sách và kiến trúc Actor-Critic.
  • Hệ thống giả mã giải thuật chi tiết từ Algorithm 1 đến Algorithm 6 (đặc biệt là Algorithm 5 cho eTD3 và Algorithm 6 cho CEM-SAC), là hướng dẫn trực quan để tái lập mã nguồn (reproduce).
  • Phương pháp luận thiết kế thực nghiệm tại Chương 4, cụ thể là quy trình đánh giá qua 10 lượt chạy độc lập kết hợp kiểm định giả thuyết Student t-test để đảm bảo tính chuẩn mực khoa học.

Câu hỏi thường gặp

1. Cơ chế kết hợp trong eTD3 và CEM-SAC khác với thuật toán CEM-TD3 của Pourchot et al. ở những điểm cụ thể nào?
Trong CEM-TD3, một nửa quần thể CEM được đưa đi cập nhật gradient TD3 với số bước cố định mà không đánh giá điểm thích nghi trước, sau đó mới đánh giá toàn bộ và chỉ đưa dữ liệu của tập đánh giá vào replay buffer. Ngược lại, eTD3 và CEM-SAC đánh giá cá thể CEM ngay khi lấy mẫu để lấy điểm cơ sở ($f^{CEM}$), áp dụng vòng lặp cập nhật RL có điều kiện dừng thích nghi ($f^{RL} > f^{CEM}$ hoặc hết ngân sách bước), đồng thời lưu toàn bộ trải nghiệm từ cả giai đoạn đánh giá lẫn huấn luyện vào replay buffer.

2. Tại sao CEM-SAC lại cần cơ chế dừng sớm trong vòng lặp cập nhật gradient RL của từng cá thể?
Trong các thuật toán off-policy, việc cập nhật gradient dựa trên các mẫu lấy từ replay buffer dễ gặp phải sai số ước lượng tích lũy (overestimation bias) hoặc gradient nhiễu. Nếu áp dụng quá nhiều bước cập nhật gradient liên tục mà không kiểm soát, hiệu năng của chính sách có thể bị suy giảm nghiêm trọng. Việc dừng cập nhật ngay khi điểm thích nghi của cá thể đã vượt qua mốc ban đầu giúp bảo toàn thành quả cải tiến và ngăn chặn hiện tượng phá hủy chính sách do cập nhật quá mức.

3. Khác biệt cơ bản giữa TD3 và SAC trong việc mô hình hóa chính sách (Actor) là gì?
TD3 sử dụng chính sách tất định (deterministic policy) $\pi_\theta(s)$, trực tiếp ánh xạ từ không gian trạng thái sang một giá trị hành động cụ thể và thêm nhiễu thăm dò độc lập từ bên ngoài. SAC sử dụng chính sách ngẫu nhiên (stochastic policy) $\pi_\theta(a|s)$, biểu diễn hành động dưới dạng một phân phối xác suất Gaussian có kỳ vọng và phương sai phụ thuộc vào trạng thái, đồng thời tích hợp thêm số hạng entropy vào hàm mục tiêu tối đa hóa.

4. Dữ liệu thực nghiệm của khóa luận được thu thập và đánh giá trên bộ công cụ nào?
Dữ liệu được thu thập từ tương tác mô phỏng trên bộ công cụ vật lý MuJoCo Continuous Control Benchmark thông qua 6 môi trường vận động tiêu chuẩn: Ant-v3, HalfCheetah-v3, Walker2d-v3, Hopper-v3, Humanoid-v3 và HumanoidStandup-v2. Toàn bộ các thuật toán được đánh giá qua 10 lượt chạy độc lập với các mốc seed ngẫu nhiên khác nhau.

5. Kết quả kiểm định thống kê Student t-test trong khóa luận phản ánh điều gì?
Kiểm định Student t-test được thực hiện trên kết quả 10 lượt chạy độc lập nhằm xác nhận rằng sự vượt trội về điểm số trung bình của CEM-SAC so với các thuật toán đường cơ sở (SAC và CEM-TD3) có ý nghĩa thống kê định lượng rõ rệt, chứng minh tính hiệu quả và ổn định thực sự của giải pháp lai ghép đề xuất chứ không phải do sự may rủi ngẫu nhiên trong quá trình khởi tạo môi trường.

Kết luận

Khóa luận tốt nghiệp của Nguyễn Trung Hiếu và Trần Đình Khang đã giải quyết thành công bài toán nâng cao tính ổn định và hiệu quả lấy mẫu cho các thuật toán điều khiển liên tục thông qua hướng tiếp cận học tăng cường tiến hóa. Bằng việc đề xuất cơ chế dừng cập nhật gradient thích nghi kết hợp với việc tận dụng tối đa dữ liệu tương tác cho bộ đệm trải nghiệm, hai thuật toán eTD3 và CEM-SAC đã khắc phục rõ rệt các hạn chế về độ nhạy siêu tham số và hiện tượng sụt giảm hiệu năng của các giải thuật DRL thuần túy. Toàn bộ kết quả thực nghiệm trên 6 tác vụ MuJoCo cùng các kiểm định thống kê nghiêm ngặt đã khẳng định tính khoa học, độ tin cậy và giá trị đóng góp học thuật của công trình.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF COMPUTER SCIENCE NGUYEN TRUNG HIEU TRAN DINH KHANG BACHELOR THESIS DESIGN AND APPLICATION OF EVOLUTIONARY REINFORCEMENT LEARNING METHODS FOR CONTINUOUS CONTROL BACHELOR OF SCIENCE IN COMPUTER SCIENCE HO CHI MINH CITY, 2021 VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF COMPUTER SCIENCE NGUYEN TRUNG HIEU - 18520750 TRAN DINH KHANG -18520072 BACHELOR THESIS DESIGN AND APPLICATION OF EVOLUTIONARY REINFORCEMENT LEARNING METHODS FOR CONTINUOUS CONTROL BACHELOR OF SCIENCE IN COMPUTER SCIENCE SUPERVISOR DR. LUONG NGOC HOANG HO CHI MINH CITY, 2021 ĐẠI HOC QUỐC GIA TP. HỒ CHÍ MINH CONG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƯỜNG ĐẠI HỌC NAM CÔNG NGHỆ THÔNG TIN Độc Lập - Tự Do - Hạnh Phúc TP. NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CÁN BỘ HƯỚNG DẪN) Tên khóa luận: DESIGN AND APPLICATION OF EVOLUTIONARY REINFORCEMENT LEARNING METHODS FOR CONTINUOUS CONTROL Nhóm SV thực hiện: Cán bộ hướng dẫn: Nguyễn Trung Hiếu - 18520750 TS.

Lương Ngọc Hoàng Trần Đình Khang - 18520072 Đánh giá Khóa luận 1. Về cuốn báo cáo: Số trang Số chương Số bảng số liêu Số hình vẽ Số tài liêu tham khảo Sản phẩm 2. Về nôi dung nghiên cứu: (KýNtgêưnờviàhậrõxọétên) ĐẠI HOC QUỐC GIA TP. HỒ CHÍ MINH CONG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƯỜNG ĐẠI HỌC NAM CÔNG NGHỆ THÔNG TIN Độc Lập - Tự Do - Hạnh Phúc TP.

NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CÁN BỘ PHẢN BIỆN) Tên khóa luận: DESIGN AND APPLICATION OF EVOLUTIONARY REINFORCEMENT LEARNING METHODS FOR CONTINUOUS CONTROL Nhóm SV thực hiện: Cán bộ phản biện: Nguyễn Trung Hiếu - 18520750 Trần Đình Khang - 18520072 Đánh giá Khóa luận 1. Về cuốn báo cáo: Số trang Số chương Số bảng số liêu Số hình vẽ Số tài liệu tham khảo Sản phẩm 2. Về nôi dung nghiên cứu: 3. Về chương trình ứng dụng: 4.Vềtháiđôlàmvécủasinhvê: (KýNtgêưnờviàhậrõxọétên) ĐẠI HỌC QUỐC GIA TP.

HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN DE CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: THIẾT KẾ VÀ ỨNG DỤNG CÁC PHƯƠNG PHÁP HỌC TĂNG CƯỜNG TIẾN HÓA CHO BÀI TOÁN ĐIỀU KHIỂN LIÊN TỤC Cán bộ hướng dẫn: TS. Lương Ngọc Hoàng Thời gian thực hiện: Từ ngày 1/08/2021 đến ngày 30/12/2021 Sinh viên thực hiện: Nguyễn Trung Hiếu - 18520750 Trần Đình Khang - 18520072 Nội dung đề tài: A. Mô tả bài toán: Bài toán điều khiển là bài toán thiết kế một bộ điều khiến (controller) để một tác tử (agent) AI thực hiện các hành động thích hợp tại các tình huống khác nhau sao cho đạt được kết quả sau cùng là tốt nhất có thể. Tác tử thường phải hoàn thành hiệu quả một tác vụ mong muốn thông qua việc tối đa hóa một hàm phần thưởng (reward function).

Khác với Học có giám sát, tác tử AI không được biết trước là nên thực hiện hành động nào ở mỗi trạng thái (không có dữ liệu huấn luyện) mà cần phải học các thông tin này thông qua việc tương tác với môi trường. Tác tử phải thử nghiệm thực hiện các hành động khác nhau, và môi trường sẽ trả về các tín hiệu cho biết trạng thái mới của tác tử sau khi thực hiện mỗi hành động. Bộ điều khiển (controller) cho các tác tử AI có thể được thiết kế bằng các mạng neural. Các mạng neural này thường được huấn luyện bằng các thuật toán Học tăng cường (reinforcement learning - RL).

Tuy nhiên, các thuật toán RL có một số nhược điểm về hiệu suất trong môi trường có nhiều nhiễu (noise) và chịu ảnh hưởng rất lớn từ việc thiết lập các siêu tham số (hyperparameters). Hiện nay, một số nghiên cứu state-of-the-art thử nghiệm kết hợp các phương pháp Tính toán tiến hóa (evolutionary computation - EC) với Học tăng cường để giúp khắc phục các nhược điểm trên. Đối tượng và phạm vi nghiên cứu: Khóa luận nghiên cứu các phương pháp Học tăng cường tiến hóa (evolutionary reinforcement learning - ERL) để huấn luyện mạng neural của các tác tử AI trong bài toán điều khiển. Khóa luận tập trung vào lớp các bài toán điều khiển có không gian hành động liên tục.

Mục tiêu: + Tim hiểu tổng quan về bài toán điều khiển và điều khiển liên tục. * So sánh đánh giá các nhóm phương pháp phổ biến hiện nay: Tính toán tiến hóa (evolutionary computation - EC), Học tăng cường (reinforcement learning - RL), và Học tăng cường tiến hóa (evolutionary reinforcement leaming - ERL). + Thiết kế và thực nghiệm một số phương pháp cải tiến hiệu suất của các phương pháp ERL hiện tại. Phương Pháp thực hiện: Nội dung 1: Khảo sát nhóm thuật toán Học tăng cường tiến hóa cho bài toán điều khiển với không gian hành động liên tục Phương pháp thực hiện: Cài đặt và chạy thí nghiệm so sánh các phương pháp Học tăng cường tiến hóa được công bố gần đây.

Sử dụng các tác vu trong bộ công cụ Mujoco để đánh giá hiệu suất. Phân tích ưu khuyết điểm của các phương pháp này. Nội dung 2: Đề xuất phương pháp cải thiện hiệu suất thuật toán Phương pháp thực hiện: Với kết quả từ nội dung 1 tiến hành đề ra các phương pháp cải thiện hiệu suất của các thuật toán Học tăng cường tiến hóa. Kết quả mong đợi: * Bao cáo phân tích, so sánh các phương pháp Hoc tăng cường tiến hóa hiện nay.

* Bao cáo và kết quả thực nghiệm của các phương pháp cải thiện hiệu suất. Kế hoạch thực hiện: * - Nội dung 1: tháng 8-9 năm 2021 * - Nội dung 2: tháng 10-11 năm 2021 * _ Tổng hợp kết quả và viết KLTN: tháng 11-12 năm 2021 Xác nhận của CBHD TP. HCM, ngày 30 tháng 12 năm 2021 (Ký tên và ghi rõ họ tên) Sinh viên (Ký tên và ghi rõ họ tên) Nguyễn Trung Hiếu Lương Ngoc Hoàng Trần Đình Khang 14 1x Acknowledgment First and foremost, we would like to give a special thank to our supervisor, Dr Luong Ngoc Hoang, who teaches, guides and works with us in our the- sis. He taught us invaluable lessons in research methodology, evolutionary algorithms and machine learning.

Also, he gives us insightful discussions whenever we need, whether it is a problem in research projects, or just our spontaneous curiosity about a lecture. Besides, he provides us considerable encouragement, advice, and most importantly, computational power when we face with overwhelming problems in our thesis. Again, our greatest grat- itude to Dr Luong Ngoc Hoang. It is our honour to work with him.

We would like to thank our talented friends, in KHTN2018, for the time we study together and motivate each other to constantly move forward. Last but not least, we would like to thank UIT for such an outstanding en- vironment for study and research. This contributes greatly to the completion of our thesis. Table of Contents 1 11 TntroducHon|.2 Continuous control problem|.4 Challenges and open problems|.

tructure of thesisl.- 6 2 Background 8 [21 Policy Searhl.1 Stochastic policy and deterministic policy].2 Deterministic Policy Gradient (DPG) Theorem [20]] .3 Actor-Critic architecturel.4 On policy algorithm vs off policy algorithm].5 Twin Delayed Deep Deterministic Policy Gradient (TD3)| 18 2.6 Soft Actor-Critcl.2 Cross Entropy Method(CEM). 2 ee 25 xi 3 Proposing Methods| 29 3.3 Comparison with previous worksÌ.1 Mujoco Continuous Control Benchmark|.ẶẶẶ SỐ VỐo 41 441 elD223vsTID23].2 CEM-SACvsS5AC]. 50 Bibliography| 52 xii List of Figures 1.1 Markov Decision Process (MDP). Agent interacts with environ- ¬ ee 3 1.2 A screenshot of the Humanoid in MuJoCo Physics Simulation.

In Humanoid, we have to teach our agent to stand up and move forward as fast as possible|.1 A parameterised policy function|.3 Atypical EA algorthml|.4 IHustraton o£CEM-RLÌ.2 Illustration of CEM-SAC algorithm|.1 MuJoCo locomotion tasks: Ant-v3, HalfCheetah-v3, Walker2d- [ v3, Hopper-v3, Humanoid-v3, HumanoidStandup-v2].2 Average performance results on MuJoCo-v3 environments of [ eTD3, CEM-TD3, and TD3 over 10 independent runs] .3 Average performance results on MuJoCo-v3 environments of CEM-SAC, CEM-TD3, and SAC over 10 independent runs| .4 10 runs of CEM-SAC and 10 runs of SAC. CEM-SAC shows more stability than SAC over the training session, with much less pitfalls). 0 eee 47 xiii List of tables 4. Final performance of eTD3, CEM-TD3 and TD3|.4 statistical Results of testsl.5 Final performance of CEM-SAC, CEM-TD3 and SAC].6 Student t-test taken across 10 executions of CEM-SAC, SAC and CEM-TD3.7 Final performance of CEM-SAC, CEM-TD3 and SAC., state-of-the-art off-policy policy gradient algorithms, by coupling it with the cross-entropy method (CEM), i., an estimation-of-distribution algorithm.

The hybrid approaches, eTD3 and CEM-SAC, exhibit both the efficiency of policy gradient algorithms and the stability of CEM in training policy neural networks of reinforcement learning agents for solving control problems. Our work here extends the evolutionary reinforcement learning (ERL) line of research on integrating the robustness of population-based stochastic black- box optimization, that typically assumes little to no problem-specific knowl- edge, into the training process of policy gradient algorithms, that exploits the sequential decision making nature for efficient gradient estimation. Exper- imental result comparisons with the baselines TD3, SAC and CEM-TD3, a recently-introduced ERL method that combines CEM and the TD3 algorithm, on a wide range of control tasks in the MuJoCo benchmarks confirm the en- hanced performance of our proposed CEM-SAC.1 Introduction Reinforcement learning (RL) is a machine learning paradigm to train artifi- cial intelligence (AI) agents to accomplish a certain task when there does not exist a dataset of training examples with corresponding ground truth labels. It is not straightforward, and might be not realizable, to effectively construct such a dataset in many control problems, such as robotics, inventory manage- ment, real-time bidding.

Designated tasks often involve the optimization of a reward/objective function. RL algorithms train the agents via an iterative exploration-exploitation mechanism [13]. At each iteration, experiences, of- ten in the form of (state, action, reward, next state), are obtained by interacting directly with the environment. These collected training signals are then em- ployed to favorably adjust the trial-and-error interactions of the agents at sub- sequent iterations.

In recent years, the couplings with deep neural networks (DNNs) and other deep learning (DL) techniques have enabled RL to achieve successful applications in a wide range of complicated problems with high- dimensional state spaces and action spaces. Policy neural networks, that rec- ommends which action agents should perform given each input state, are of- ten trained by a class of deep reinforcement learning (DRL) algorithms called policy gradient methods. Stochastic gradients of reward functions with re- spect to the policy parameters can be used to update network weights at each Chapter 1. Introduction 2 gradient ascent iteration.

Deep reinforcement learning (DRL) algorithms, however, still suffer from some essential obstacles: credit assignment with sparse/delayed reward sig- nals, premature convergence due to difficulties in maintaining a meaningful diverse exploration, sensitivity to hyperparameter settings (9}(14]. Salisman et al. proposed to treat the training of an agent’s policy network as a black- box optimization problem, which can then be solved by evolution strategies (ES), in particular natural evolution strategies [26], with competitive results compared to state-of-the-art DRL algorithms.