Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa Cho Bài Toán Điều Khiển Liên Tục

Khóa luận trình bày phương pháp tăng cường kết hợp tính toán tiến hóa cho bài toán điều khiển liên tục với các phép biến đổi kiểu hình ổn định.

• Tác giả: Nguyễn Thái Huy
• Người hướng dẫn: TS. Lương Ngọc Hoàng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa Cho Điều Khiển Liên Tục
• Loại tài liệu: khóa luận
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Bài toán tìm kiếm chiến lược trong Học tăng cường
• 1.2. Học tăng cường kết hợp tính toán tiến hóa
• 2. CÁC CÔNG TRÌNH LIÊN QUAN VÀ KIẾN THỨC NỀN TẢNG
• 2.1. Các công trình liên quan
• 2.2. Các kiến thức nền tảng
• 2.2.1. Double Actors Regularized Critics (DARC)
• 2.2.2. Proximal Distilled ERL (PDERL)
• 3. CÁC PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Vấn đề của các phép biến đổi Gaussian
• 3.2. Đột biến vi phân kiểu hình (Phenotypic Differential Mutation)
• 3.3. Đánh giá hiệu năng
• 4. KẾT QUẢ THỰC NGHIỆM
• 4.1. Kết quả thực nghiệm chính
• 4.2. Kết quả thực nghiệm bổ sung
• CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH SÁCH TỪ VIẾT TẮT

Tóm tắt

I. Tổng quan về Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa

Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa (ERL) là một lĩnh vực nghiên cứu đang phát triển mạnh mẽ trong lĩnh vực trí tuệ nhân tạo. Nó kết hợp giữa các phương pháp học máy truyền thống và các kỹ thuật tính toán tiến hóa để tối ưu hóa quá trình học tập của các tác nhân. Mục tiêu chính của ERL là cải thiện khả năng khám phá và khai thác trong các bài toán điều khiển liên tục, đặc biệt là trong các ứng dụng như robot và tự động hóa.

1.1. Khái niệm cơ bản về Học Tăng Cường

Học Tăng Cường (RL) là một phương pháp học máy cho phép các tác nhân học hỏi từ môi trường thông qua các tương tác. Tác nhân sẽ nhận phần thưởng hoặc hình phạt dựa trên hành động của mình, từ đó điều chỉnh chiến lược để tối ưu hóa phần thưởng.

1.2. Tính toán Tiến Hóa trong Học Tăng Cường

Tính toán Tiến Hóa (Evolutionary Computation) là một phương pháp tối ưu hóa dựa trên nguyên lý chọn lọc tự nhiên. Trong ERL, nó được sử dụng để cải thiện khả năng khám phá của các tác nhân thông qua các phép biến đổi như lai ghép và đột biến.

II. Vấn đề và Thách thức trong Học Tăng Cường Kết Hợp

Mặc dù ERL đã đạt được nhiều thành công, nhưng vẫn còn nhiều thách thức cần giải quyết. Một trong những vấn đề lớn nhất là tính ổn định của các phép biến đổi trong quá trình học. Các phép biến đổi hiện tại thường nhạy cảm với các tham số siêu, dẫn đến hiệu suất không ổn định.

2.1. Tính nhạy cảm của các phép biến đổi

Các phép biến đổi như đột biến và lai ghép có thể gây ra sự biến động lớn trong hiệu suất của tác nhân. Điều này làm cho việc tối ưu hóa trở nên khó khăn và không đáng tin cậy.

2.2. Khó khăn trong việc khai thác thông tin

Việc khai thác thông tin từ các mẫu đã thu thập là một thách thức lớn. Các tác nhân cần phải tìm ra cách tối ưu để sử dụng thông tin này mà không làm giảm hiệu suất học tập.

III. Phương pháp Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa

Để giải quyết các vấn đề trên, nhiều phương pháp mới đã được đề xuất. Một trong số đó là Phép Đột Biến Vi Phân Kiểu Hình (PhDM), giúp cải thiện tính ổn định và hiệu quả trong việc lấy mẫu.

3.1. Phép Đột Biến Vi Phân Kiểu Hình PhDM

PhDM là một phương pháp mới được phát triển nhằm giảm thiểu sự nhạy cảm của các phép biến đổi trong ERL. Nó cho phép duy trì tính đa dạng của quần thể mà không làm phá hủy cấu trúc của mạng neural.

3.2. Thuật toán PhEDARC

Phenotypic Evolutionary Double Actors Regularized Critics (PhEDARC) là một thuật toán mới kết hợp PhDM và cơ chế huấn luyện của DARC. Nó đã cho thấy hiệu quả vượt trội trong các bài toán điều khiển liên tục.

IV. Ứng dụng Thực Tiễn của Học Tăng Cường Kết Hợp

Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa đã được áp dụng trong nhiều lĩnh vực, từ robot đến tự động hóa công nghiệp. Các ứng dụng này cho thấy khả năng cải thiện hiệu suất và độ ổn định của các hệ thống điều khiển.

4.1. Ứng dụng trong Robot

Các thuật toán ERL đã được sử dụng để tối ưu hóa hành vi của robot trong các tác vụ phức tạp, giúp chúng hoạt động hiệu quả hơn trong môi trường thực tế.

4.2. Ứng dụng trong Tự động hóa công nghiệp

Trong lĩnh vực tự động hóa, ERL giúp cải thiện quy trình sản xuất và giảm thiểu lỗi, từ đó nâng cao năng suất và chất lượng sản phẩm.

V. Kết luận và Tương lai của Học Tăng Cường Kết Hợp

Học Tăng Cường Kết Hợp Tính Toán Tiến Hóa đang mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể trong khả năng học tập của các tác nhân.

5.1. Xu hướng nghiên cứu trong tương lai

Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện tính ổn định và hiệu quả của các thuật toán ERL, đồng thời mở rộng ứng dụng của chúng trong nhiều lĩnh vực khác nhau.

5.2. Tác động đến ngành công nghiệp

Sự phát triển của ERL có thể tạo ra những thay đổi lớn trong cách thức hoạt động của các hệ thống tự động, từ đó nâng cao hiệu quả và giảm chi phí trong sản xuất.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Học máy (Machine Learning), Học tăng cường (Reinforcement Learning - RL) và Học tăng cường sâu (Deep Reinforcement Learning - DRL) đóng vai trò then chốt trong việc giải quyết các bài toán ra quyết định tuần tự, tối ưu hóa điều khiển hệ thống phức tạp như xe tự hành, chăm sóc y tế và robot. Đối với bài toán điều khiển liên tục (continuous control), không gian hành động là vector số thực đa chiều, đặt ra thách thức lớn về khả năng khám phá (exploration) và tính hiệu quả trong việc lấy mẫu (sample efficiency). Các thuật toán DRL thuộc kiến trúc actor-critic off-policy truyền thống như Deep Deterministic Policy Gradient (DDPG) hay Twin-Delayed DDPG (TD3) thường gặp khó khăn khi xử lý không gian tìm kiếm rộng, phi tuyến tính, do cơ chế khám phá chủ yếu dựa vào việc cộng nhiễu Gaussian trực tiếp vào hành động, dễ dẫn đến việc tác tử bị mắc kẹt tại các cực trị địa phương.

Để khắc phục hạn chế này, hướng tiếp cận Học tăng cường kết hợp Tính toán tiến hóa (Evolutionary Reinforcement Learning - ERL) đã được phát triển nhằm kết hợp khả năng khai thác mẫu của gradient chính sách (policy gradient) với khả năng duy trì đa dạng và khám phá diện rộng của các thuật toán tiến hóa (Evolutionary Computation - EC) dựa trên quần thể. Thuật toán Proximal Distilled ERL (PDERL) đã có cải tiến khi đề xuất các phép biến đổi kiểu hình (phenotype) gồm lai ghép chắt lọc hành vi (distillation crossover) và đột biến gần (proximal mutation - PM) thay cho các biến đổi trên kiểu gen (genotype) của ERL ban đầu. Tuy nhiên, phép đột biến gần trong PDERL vẫn tồn tại nhược điểm: bản chất vẫn là phép cộng nhiễu Gaussian được chuẩn hóa theo độ nhạy tham số, khiến quá trình biến đổi rất nhạy cảm với việc tinh chỉnh siêu tham số độ lớn đột biến ($\sigma$), gây ra các biến đổi phi tuyến tính khó kiểm soát đối với hành vi của mạng neural và làm mất ổn định quần thể.

Đề tài khóa luận tập trung giải quyết các bài toán trên với hệ thống mục tiêu và nhiệm vụ cụ thể:

• Mục tiêu nghiên cứu:
  1. Tìm hiểu và phân tích các hạn chế về tính hiệu quả và độ ổn định của các phép biến đổi đang được sử dụng trong các thuật toán ERL hiện tại.
  2. Đề xuất một phép biến đổi mới nhằm nâng cao hiệu năng và sự ổn định trong quá trình sinh cá thể mới cho bài toán tìm kiếm chiến lược trên các tác vụ điều khiển liên tục.
  3. Đề xuất thuật toán ERL mới thông qua việc tái cấu trúc thuật toán PDERL, kết hợp phép biến đổi mới cùng thuật toán DRL có khả năng ước lượng giá trị hành động chính xác hơn.
• Nhiệm vụ nghiên cứu (Nội dung thực hiện):
  • Nội dung 1: Khảo sát các công trình nghiên cứu hiện đại về ERL (như ERL, PDERL) cho bài toán điều khiển liên tục; phân tích động lực, phương pháp, kết quả thực nghiệm và nhược điểm của các phép biến đổi hiện hành.
  • Nội dung 2: Thiết kế phép đột biến vi phân kiểu hình (Phenotypic Differential Mutation - PhDM) dựa trên nguyên lý của Tiến hóa vi phân (Differential Evolution - DE) và xây dựng thuật toán Phenotypic Evolutionary Double Actors Regularized Critics (PhEDARC) bằng cách tích hợp PhDM với cơ chế huấn luyện của thuật toán Double Actors Regularized Critics (DARC).
  • Nội dung 3: Thiết lập môi trường thực nghiệm, tiến hành đánh giá và so sánh thuật toán đề xuất (PhEDARC) với các phương pháp cơ sở (PDERL, DARC), đồng thời kiểm chứng tính ổn định của phép đột biến PhDM so với phép đột biến gần (PM).
• Đối tượng và phạm vi nghiên cứu:
  • Đối tượng nghiên cứu: Bài toán tìm kiếm chiến lược (policy search) trong điều khiển liên tục; các thuật toán ERL; các phép biến đổi (lai ghép, đột biến) trong không gian kiểu hình và kiểu gen; thuật toán actor-critic (DDPG, TD3, DARC).
  • Phạm vi nghiên cứu: Các tác vụ điều khiển mô phỏng chuyển động robot liên tục trên bộ công cụ MuJoCo thuộc thư viện OpenAI Gym (cụ thể gồm 4 môi trường chuẩn: Ant-v2, Walker2d-v2, HalfCheetah-v2, Hopper-v2). Khóa luận được thực hiện từ ngày 12/09/2023 đến ngày 31/12/2023 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp

Khóa luận được xây dựng dựa trên nền tảng lý thuyết điều khiển tối ưu và học máy, kết hợp giữa mô hình toán học của Học tăng cường và các toán tử của Tính toán tiến hóa:

• Quy trình Quyết định Markov (Markov Decision Process - MDP): Mô hình hóa bài toán điều khiển liên tục thông qua bộ 5 thành phần $(S, A, p, r, \gamma)$, trong đó $S$ là không gian trạng thái liên tục, $A \subseteq \mathbb{R}^{N_a}$ là không gian hành động liên tục với số chiều $N_a$, $p(s_{t+1}|s_t, a_t)$ là hàm xác suất chuyển trạng thái, $r(s_t, a_t)$ là hàm phần thưởng từ môi trường, và $\gamma \in [0, 1)$ là hệ số chiết khấu. Chiến lược của tác tử là một hàm đơn định $\pi_\phi: S \rightarrow A$ được tham số hóa bởi mạng neural với trọng số $\phi$. Mục tiêu là tối đa hóa hàm giá trị kỳ vọng trả về $J(\pi_\phi) = \mathbb{E}[\sum_{t} \gamma^t r(s_t, \pi_\phi(s_t))]$.
• Định lý Policy Gradient đơn định (Deterministic Policy Gradient): Cung cấp công thức tính đạo hàm của hàm mục tiêu theo tham số chiến lược: $$\nabla_\phi J(\pi_\phi) = \mathbb{E}s \left[ \nabla\phi \pi_\phi(s) \nabla_a Q_\theta(s, a)|{a=\pi\phi(s)} \right]$$ trong đó $Q_\theta(s, a)$ là hàm giá trị hành động (critic) được tham số hóa bởi $\theta$.
• Mô hình Double Actors Regularized Critics (DARC): Khắc phục hiện tượng thiên hướng đánh giá quá cao (overestimation bias) của DDPG và thiên hướng đánh giá quá thấp (underestimation bias) của TD3. DARC sử dụng 2 mạng actor ($\pi_{\phi_1}, \pi_{\phi_2}$) và 2 mạng critic ($Q_{\theta_1}, Q_{\theta_2}$). Giá trị đích mềm (soft target value) được tính theo công thức: $$T_{DARC}(s') = v \min{Q_1, Q_2} + (1 - v) \max{Q_1, Q_2}$$ với $Q_1 = \min_{j=1,2} Q_{\theta'j}(s', \pi{\phi'1}(s'))$, $Q_2 = \min{j=1,2} Q_{\theta'j}(s', \pi{\phi'2}(s'))$, và $v \in [0, 1)$ là siêu tham số điều chỉnh độ cân bằng giữa hai loại thiên hướng đánh giá. Hàm mất mát của critic bổ sung số hạng hiệu chỉnh (regularization term) để giảm độ không chắc chắn: $\lambda (Q{\theta_1}(s, a) - Q_{\theta_2}(s, a))^2$.
• Thuật toán Proximal Distilled ERL (PDERL): Duy trì quần thể các mạng actor cùng bộ nhớ di truyền (genetic memory) riêng cho từng cá thể để lưu trữ kinh nghiệm của bản thân và các thế hệ trước. PDERL áp dụng hai phép biến đổi:
  • Lai ghép chắt lọc (Distillation Crossover - DC): Huấn luyện mạng actor con sao chép hành động có giá trị $Q$ cao hơn giữa hai cá thể cha mẹ bằng phương pháp học bắt chước (imitation learning).
  • Đột biến gần (Proximal Mutation - PM): Chia tỉ lệ nhiễu Gaussian theo độ nhạy tham số $s_k$ đối với đầu ra hành động: $$s_k = \sqrt{\frac{1}{\dim(A)} \frac{1}{N_{pg}} \sum_{j=1}^{\dim(A)} \sum_{i=1}^{N_{pg}} \left( \frac{\partial \pi_\phi(s_i)_j}{\partial \phi_k} \right)^2}$$ Cập nhật tham số: $\phi \leftarrow \phi + \frac{\mathcal{N}(0, \sigma^2 I)}{s}$.
• Nguyên lý Tiến hóa vi phân (Differential Evolution - DE): Sử dụng vector đột biến $v_i = x_{r1} + F \cdot (x_{r2} - x_{r3})$ dựa trên sự sai khác giữa các cá thể trong quần thể để tự điều chỉnh phạm vi tìm kiếm theo độ hội tụ.
• Phương pháp nghiên cứu: Phương pháp thực nghiệm mô phỏng định lượng (quantitative empirical research). Thuật toán được cài đặt, huấn luyện và đánh giá trên các môi trường vật lý mô phỏng chuẩn. Quá trình lấy mẫu dữ liệu diễn ra tự động qua tương tác giữa tác tử và môi trường mô phỏng, lưu trữ trong bộ nhớ kinh nghiệm chung ($\mathcal{B}_{global}$) và bộ nhớ di truyền ($\mathcal{B}_i$).

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập bức tranh tổng thể về bài toán tìm kiếm chiến lược trong Học tăng cường sâu áp dụng cho điều khiển liên tục. Tác giả phân tích cơ chế vận hành của vòng lặp tương tác giữa tác tử và môi trường, đồng thời định nghĩa khái niệm tính hiệu quả trong lấy mẫu (sample efficiency) — yêu cầu thu thập ít mẫu mới nhưng phải khai thác tối đa thông tin từ các mẫu sẵn có. Tác giả chỉ ra hạn chế của các phương pháp DRL truyền thống khi đối mặt với không gian tìm kiếm phi tuyến, đa cực trị, và giải thích lý do kết hợp DRL với Tính toán tiến hóa (EC) để tận dụng khả năng khám phá dựa trên quần thể. Chương này xác định rõ 3 mục tiêu nghiên cứu, 5 nội dung thực hiện, và tóm tắt 3 đóng góp khoa học chính của đề tài.

Chương 2: Các công trình liên quan và kiến thức nền tảng

Chương 2 cung cấp hệ thống cơ sở lý thuyết và tổng quan các công trình tiền nhiệm. Tác giả phân loại các phương pháp DRL cho bài toán điều khiển liên tục thành hai nhóm: on-policy (như TRPO, PPO) và off-policy (như DDPG, TD3). Trong đó, các thuật toán off-policy vượt trội về hiệu quả lấy mẫu nhờ khả năng tái sử dụng dữ liệu qua bộ nhớ đệm (replay buffer).

Tác giả phân tích chi tiết hai trường phái kết hợp ERL: (1) sử dụng quần thể bên ngoài để thu thập kinh nghiệm cho một tác tử RL độc lập đưa trở lại quần thể; (2) dùng thuật toán DRL như một toán tử biến đổi trực tiếp lên cá thể. Chương này trình bày chi tiết cấu trúc toán học của DARC (cơ chế 2 actors, 2 critics, soft target value, hàm mất mát có số hạng hiệu chỉnh) và quy trình hoạt động của PDERL (cơ chế đánh giá độ thích nghi, chọn lọc giải đấu, lưu trữ bộ nhớ di truyền, toán tử lai ghép chắt lọc DC và toán tử đột biến gần PM).

Chương 3: Các phương pháp đề xuất

Chương 3 tập trung vào phân tích hạn chế của các phép biến đổi hiện có và đưa ra giải pháp mới. Tác giả chứng minh rằng đột biến Gaussian và đột biến gần (PM) dù đã chia tỉ lệ theo độ nhạy nhưng vẫn mang bản chất đẳng hướng, hoàn toàn ngẫu nhiên và không tận dụng được thông tin về vùng có phần thưởng cao. Hơn nữa, mối quan hệ giữa tham số mạng neural và hành động đầu ra là phi tuyến tính, dẫn đến việc thay đổi nhỏ ở tham số ($\sigma = 0.001$) có thể gây ra xáo trộn lớn, khó lường trong không gian trạng thái (minh họa qua phân phối mật độ hạt nhân Gaussian KDE trên môi trường HalfCheetah-v2).

Từ hạn chế đó, tác giả đề xuất phép Đột biến vi phân kiểu hình (Phenotypic Differential Mutation - PhDM). Thay vì biến đổi trên không gian trọng số, PhDM tạo vector đột biến hành vi trực tiếp trên không gian hành động $A$: $$b_m(s) = \pi_{\phi_p}(s) + F \cdot (\pi_{\phi_x}(s) - \pi_{\phi_y}(s))$$ với $s \sim \mathcal{B}p$, trong đó $\pi{\phi_p}$ là cá thể cần đột biến, $\pi_{\phi_x}$ và $\pi_{\phi_y}$ là hai cá thể ngẫu nhiên khác trong quần thể, và $F \in (0, 1)$ là hệ số tỉ lệ. Mạng neural của tác tử sau đó được tối ưu hóa bằng phương pháp học bắt chước để bám theo vector $b_m(s)$. Khi quần thể phân tán, vector hiệu lớn giúp tăng cường khám phá; khi quần thể hội tụ, vector hiệu nhỏ giúp tinh chỉnh khai thác.

Tiếp đó, tác giả xây dựng thuật toán Phenotypic Evolutionary DARC (PhEDARC) bằng cách tái cấu trúc PDERL: thay thế hoàn toàn DDPG bằng cơ chế huấn luyện của DARC, thay thế phép đột biến PM bằng PhDM, và tích hợp cơ chế cập nhật soft target value nhằm tối ưu hóa việc định hướng cho toàn bộ quần thể.

Chương 4: Thực nghiệm

Chương 4 trình bày các thiết lập thử nghiệm, đánh giá định lượng và so sánh hiệu năng của thuật toán đề xuất trên 4 môi trường MuJoCo benchmark (HalfCheetah-v2, Hopper-v2, Walker2d-v2, Ant-v2). Kết quả kiểm chứng sự ổn định của PhDM cho thấy phân phối trạng thái của cá thể tạo ra bởi PhDM duy trì được cấu trúc ổn định trên các giá trị $F$ khác nhau, trong khi PM bị phân tán mạnh khi thay đổi $\sigma$.

Về mặt hiệu năng tổng thể, PhEDARC đạt tốc độ hội tụ nhanh hơn, hiệu quả lấy mẫu cao hơn và điểm phần thưởng vượt trội so với các thuật toán cơ sở (PDERL, DARC). Phân tích thành phần (ablation study) làm rõ vai trò độc lập và bổ trợ của phép đột biến PhDM cũng như cơ chế ước lượng giá trị của DARC trong việc cải thiện hiệu năng học.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết toàn bộ các kết quả đạt được của khóa luận: chứng minh tính bất ổn định của phép đột biến trên không gian tham số, đề xuất thành công phép đột biến PhDM trên không gian kiểu hình, và hoàn thiện thuật toán PhEDARC. Tác giả cũng chỉ ra các giới hạn hiện tại của nghiên cứu và vạch ra các hướng mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận đã giải quyết các vấn đề lý luận và thực nghiệm trong việc kết hợp học tăng cường với tính toán tiến hóa, đạt được các kết quả cụ thể:

• So sánh đặc tính kỹ thuật giữa các phương pháp biến đổi và thuật toán ERL:

Đặc tính	ERL truyền thống	PDERL	PhEDARC (Đề xuất)
Thuật toán RL tích hợp	DDPG	DDPG	DARC
Không gian đột biến	Kiểu gen (Trọng số mạng)	Kiểu gen chuẩn hóa độ nhạy	Kiểu hình (Không gian hành động $A$)
Cơ chế đột biến	Nhiễu Gaussian ngẫu nhiên	Đột biến gần (PM)	Đột biến vi phân kiểu hình (PhDM)
Cơ chế lai ghép	Lai ghép đa điểm (Multi-point)	Lai ghép chắt lọc (DC)	Lai ghép chắt lọc (DC)
Sự phụ thuộc siêu tham số	Rất cao (Độ lớn đột biến $\sigma$)	Cao (Vẫn phụ thuộc vào $\sigma$)	Thấp (Tự điều chỉnh theo độ phân tán quần thể qua hệ số $F$)
Độ ổn định không gian trạng thái	Thấp (Phá hủy cấu trúc ẩn)	Trung bình (Biến đổi phi tuyến)	Cao (Bảo toàn phân phối trạng thái)
Số lượng mạng neural khi thực thi	1 actor	1 actor	1 actor (Vượt trội so với 4 mạng của DARC)

• Kết quả thực nghiệm chính:
  • Tính ổn định của phép biến đổi: Phân tích mật độ tần suất trạng thái (Gaussian Kernel Density) trên môi trường HalfCheetah-v2 (từ tác tử gốc đạt mức điểm 12577.34) chứng minh PhDM giữ được phân phối trạng thái gần với tác tử gốc khi thay đổi hệ số tỉ lệ $F$, trong khi PM tạo ra sự xáo trộn lớn và bất thường ngay cả ở mức siêu tham số nhỏ ($\sigma = 0.001$).
  • Hiệu quả học tập: Thuật toán PhEDARC thể hiện tính hiệu quả lấy mẫu vượt trội và đạt điểm số cao hơn cả hai phương pháp nền tảng là PDERL và DARC trên cả 4 tác vụ điều khiển liên tục (Ant-v2, Walker2d-v2, HalfCheetah-v2, Hopper-v2).
  • Tối ưu hóa kiến trúc: Khi triển khai kiểm thử, PhEDARC chỉ cần sử dụng một mạng neural actor duy nhất nhưng đạt hiệu năng cao hơn cấu trúc phức tạp gồm 2 actors và 2 critics của tác tử DARC gốc.
• Đóng góp khoa học của tác giả:
  1. Chỉ ra và thực nghiệm chứng minh sự bất ổn định, tính phi tuyến cùng sự nhạy cảm siêu tham số của phép đột biến gần (PM) sử dụng nhiễu Gaussian trong các thuật toán ERL hiện hành.
  2. Đề xuất phép đột biến vi phân kiểu hình (PhDM) hoạt động trực tiếp trên vector hành vi, có khả năng tự động cân bằng giữa khám phá và khai thác dựa trên mức độ đa dạng thực tế của quần thể.
  3. Đề xuất thuật toán PhEDARC thông qua việc kết hợp PhDM và DARC vào cấu trúc ERL, nâng cao hiệu quả lấy mẫu và hiệu năng tổng thể. Các kết quả nghiên cứu đã được công bố tại hai hội nghị quốc tế (được ký hiệu [CT1] và [CT2] trong báo cáo).

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế của nghiên cứu:
  • Phạm vi thực nghiệm mới dừng lại ở các môi trường mô phỏng vật lý chuẩn của OpenAI Gym MuJoCo (phiên bản v2), chưa được thử nghiệm và đánh giá trên các hệ thống robot thực tế với các ràng buộc vật lý phức tạp và độ trễ tín hiệu điều khiển.
  • Việc duy trì đồng thời một quần thể tác tử cùng bộ nhớ di truyền riêng biệt cho từng cá thể kết hợp với việc cập nhật đồng thời nhiều mạng neural (2 actors, 2 critics của DARC) làm gia tăng yêu cầu về bộ nhớ RAM và năng lực tính toán phần cứng trong giai đoạn huấn luyện.
• Hướng nghiên cứu tiếp theo:
  • Mở rộng đánh giá thuật toán PhEDARC trên các tác vụ điều khiển phức tạp hơn, bao gồm các môi trường có không gian trạng thái hình ảnh (visual continuous control) hoặc chuyển giao chính sách học được lên mô hình robot vật lý thực tế (Sim-to-Real transfer).
  • Nghiên cứu cơ chế tự thích nghi động (adaptive scaling) cho hệ số tỉ lệ $F$ trong phép đột biến PhDM trong suốt tiến trình tiến hóa.
  • Tối ưu hóa khả năng tính toán song song quá trình tương tác môi trường của quần thể để rút ngắn thời gian huấn luyện thực tế.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo giá trị đối với sinh viên, học viên cao học và các nhóm nghiên cứu thuộc các chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Tự động hóa và Robot:

• Cơ sở lý luận chuyên sâu: Mục 2.2 và 2.3 cung cấp tài liệu phân tích chi tiết về mặt toán học và thuật toán của các mô hình RL nâng cao (DDPG, TD3, DARC) và khung làm việc ERL hiện đại (PDERL), đặc biệt là phân tích rõ nét cơ chế triệt tiêu thiên hướng đánh giá (bias) trong hàm Q.
• Ý tưởng thiết kế thuật toán: Chương 3 là tài liệu tham khảo điển hình về phương pháp chuyển đổi toán tử từ không gian tham số mạng (genotype) sang không gian hành vi (phenotype), kết hợp nguyên lý tối ưu hóa metaheuristic (Tiến hóa vi phân) với học sâu (học bắt chước).
• Quy trình thực nghiệm chuẩn mực: Chương 4 cung cấp quy trình thiết lập thực nghiệm đánh giá thuật toán điều khiển liên tục trên môi trường MuJoCo, phương pháp trực quan hóa phân phối trạng thái bằng ước lượng mật độ hạt nhân (Kernel Density Estimation), và kỹ thuật thiết kế nghiên cứu phân tích thành phần (ablation study).

Câu hỏi thường gặp

1. Phép đột biến vi phân kiểu hình (PhDM) giải quyết nhược điểm cốt lõi nào của phép đột biến gần (PM)?
Phép đột biến gần (PM) thực chất vẫn là phép cộng nhiễu Gaussian ngẫu nhiên đẳng hướng vào trọng số mạng neural, do đó chịu ảnh hưởng bởi tính chất phi tuyến giữa tham số và hành vi, đồng thời rất nhạy cảm với việc tinh chỉnh độ lớn đột biến $\sigma$. PhDM chuyển việc tính toán sang không gian kiểu hình (không gian hành động) bằng cách tạo vector sai khác giữa hai cá thể ngẫu nhiên trong quần thể rồi dùng học bắt chước để cập nhật mạng actor. Nhờ đó, PhDM bảo toàn tốt cấu trúc phân phối trạng thái và tự động điều chỉnh độ lớn đột biến dựa theo độ phân tán của quần thể.

2. Thuật toán DARC hạn chế hai hiện tượng overestimation bias và underestimation bias bằng cách nào?
Thay vì chỉ lấy giá trị $Q$ lớn nhất như DDPG (gây overestimation) hoặc luôn chọn giá trị nhỏ nhất giữa 2 critics như TD3 (gây underestimation), DARC tính giá trị đích mềm (soft target value) kết hợp giữa giá trị nhỏ nhất và lớn nhất của hai hàm critic thông qua một siêu tham số điều chỉnh $v \in [0, 1)$: $T_{DARC}(s') = v \min{Q_1, Q_2} + (1 - v) \max{Q_1, Q_2}$, đồng thời bổ sung số hạng hiệu chỉnh khoảng cách giữa 2 critics vào hàm mất mát.

3. Bộ nhớ di truyền (genetic memory) trong PDERL và PhEDARC có vai trò gì đối với các phép biến đổi?
Bộ nhớ di truyền lưu trữ các chuyển tiếp trạng thái (transitions) gần nhất của riêng cá thể đó và các thế hệ tổ tiên của nó. Dữ liệu này được sử dụng làm tập mẫu để thực hiện học bắt chước trong phép lai ghép chắt lọc (DC) nhằm chọn lọc hành vi tối ưu giữa cha mẹ, đồng thời cung cấp các trạng thái mẫu để tính vector đột biến hành vi trong PhDM mà không cần tương tác thêm với môi trường.

4. Vì sao tác tử triển khai của PhEDARC có lợi thế về mặt tài nguyên hơn so với thuật toán DARC gốc?
Trong quá trình tương tác, thuật toán DARC gốc bắt buộc phải duy trì và tính toán đồng thời 2 mạng actor và 2 mạng critic để so sánh và lựa chọn hành động có giá trị kỳ vọng cao hơn. Ngược lại, PhEDARC thông qua quá trình chọn lọc tiến hóa và chắt lọc hành vi đã huấn luyện thành công các tác tử cá thể trong quần thể chỉ sử dụng một mạng actor duy nhất nhưng đạt hiệu năng vượt trội hơn cả hệ thống 4 mạng của DARC.

5. Các tác vụ điều khiển liên tục nào được sử dụng để đánh giá thực nghiệm trong khóa luận?
Nghiên cứu sử dụng 4 môi trường mô phỏng chuyển động robot chuẩn thuộc bộ công cụ MuJoCo của OpenAI Gym, bao gồm: HalfCheetah-v2, Hopper-v2, Walker2d-v2 và Ant-v2.

Kết luận

Khóa luận của tác giả Nguyễn Thái Huy đã nghiên cứu toàn diện bài toán tìm kiếm chiến lược trong điều khiển liên tục, chỉ ra các hạn chế cố hữu về tính ổn định và sự nhạy cảm siêu tham số của các phép biến đổi kiểu gen trong các thuật toán ERL hiện tại. Bằng việc đề xuất phép Đột biến vi phân kiểu hình (PhDM) hoạt động trong không gian hành động và kết hợp với thuật toán DARC, công trình đã xây dựng thành công thuật toán PhEDARC nâng cao đáng kể hiệu quả lấy mẫu và hiệu năng điều khiển trên các môi trường MuJoCo benchmark. Nghiên cứu đóng góp giải pháp học kết hợp giữa tối ưu hóa tiến hóa và học tăng cường sâu, với các kết quả khoa học đã được công bố tại hai hội nghị quốc tế chuyên ngành.

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN 7 độ nhạy của bộ tham sé, vẫn có thể bị ảnh hưởng bởi các thay đổi phi tuyến tính với hành động khó để kiểm soát. ¢ Về đóng góp thứ hai, lấy cảm hứng từ cơ chế đột biến của Tiến hóa Vi phân (Differential Evolution, viết tắt là DE) [45], chúng tôi đề xuất phép Đột biến vi phân kiểu hình (Phenotypic Differential Mutation, viết tat là PhDM) có khả năng xem xét các thông tin về phân phối kiểu hình (hay phân phối hành động) giữa các chiến lược trong quân thể để tạo ra vector đột biến theo hành động. PhDM cho thấy phép biến đổi này ít chịu ảnh hưởng bởi các điều chỉnh về siêu tham số và có khả năng tự điều chỉnh độ lớn đột biến dựa trên quá trình tiến hóa của quần thể.

* Chúng tôi tái cấu trúc lại PDERL để kết hợp phép đột biến được dé xuất PhDM và sử dụng cơ chế policy gradient dựa trên hai actors và cơ chế ước lượng giá trị hành động thông qua hai critics của DARC một cách hợp lý tạo thành thuật toán Phenotypic Evolutionary DARC (viết tắt là PhEDARC, tạm dịch là DARC kết hợp Tính toán tiến hóa trên Kiểu hình). Thuật toán được dé xuất này cho thay tính ổn định và hiệu quả lay mẫu trong việc huấn luyện. Các tác tử được trả về của PhEDARC chỉ sử dụng một mạng neural duy nhất có thể vượt trội về hiệu năng so với các tác tử DARC gồm bốn mạng neural. Kết quả so sánh thực nghiệm cho thấy rằng thuật toán được đề xuất có hiệu năng tốt hơn các phương pháp tiền nhiệm cũng như làm rõ được các đóng góp tích cực của từng thành phần được sử dụng.

Các đóng góp và khảo sát đã được công bồ tại hội nghị quốc té|[CT1]}|[CT2] 1.5 Câu trúc khóa luận Khóa luận của chúng tôi bao gồm 5 chương chính: ° Chuong|1} Tổng quan. Chương này trình bày tổng quan về bài toán tìm kiếm chiến lược, phương pháp Học tăng cường kết hợp Tính toán tiến hóa, phạm vi, mục tiêu, nội dung thực hiện và đóng góp của khóa luận. TỔNG QUAN 8 ° Chương} Các công trình liên quan và kiến thức nền tảng. Chương này cung cấp các công trình nghiên cứu liên quan về RL, ERL và các kiến thức nền tảng về Hoc tăng cường cùng các kỹ thuật chính được sử dụng hoặc được so sánh trong khóa luận.

° Chương |} Các phương pháp dé xuất. Trong chương này, chúng tôi nêu vấn dé gặp phải của đột biến Gaussian, dé xuất phép Đột biến vi phân kiểu hình để khắc phục các nhược điểm này, từ đó phát triển thuật toán trước đó thành thuật toán PhEDARC. ° Chương|4| Thực nghiệm. Chương này thực hiện so sánh hiệu năng của phương pháp đề xuất với các baselines, cũng như tìm hiểu đóng góp của từng thành phần được thay đổi.

° Chương|B} Kết luận và hướng phát triển. O chương này, chúng tôi tổng kết lại các đóng góp của khóa luận, nêu ra một vài mặt hạn chế cùa phương pháp đề xuất và đưa ra hướng phát triển cần thiết. Chương 2 CÁC CÔNG TRÌNH LIÊN QUAN VÀ KIÊN THỨC NEN TANG Trong chương này, chúng tôi thực hiện tóm tắt các công trình nghiên cứu liên quan tới phương pháp giải quyết các bài toán tìm kiếm chiến lược trên tác vụ điều khiển liên tục và các kiến thức nền tảng được áp dụng trên khóa luận.1| chúng tôi trình bày các phương pháp học tăng cường được sử dụng cho bài toán tìm kiếm chiến lược, sơ lược về van dé trong việc khám phá của tác tử trong DRL và các hướng giải quyết hiện tại. Từ đó chúng tôi sẽ giới thiệu một số công trình về ERL như một cách tiếp cận để gia tăng khả năng khám phá của tác tử.