Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Trong lý thuyết điều khiển tự động hiện đại, bài toán điều khiển tối ưu cho các hệ thống phi tuyến bị ràng buộc trực tiếp bởi nghiệm của phương trình vi phân đạo hàm riêng Hamilton-Jacobi-Bellman (HJB), trong khi bài toán điều khiển tối ưu bền vững $H_\infty$ bị ràng buộc bởi nghiệm của phương trình Hamilton-Jacobi-Isaacs (HJI). Do tính chất phi tuyến phức tạp, các phương trình HJB và HJI không thể giải bằng phương pháp giải tích chính xác.

Các phương pháp điều khiển thích nghi bền vững kinh điển thường giải quyết vấn đề bất định và nhiễu bằng cách bổ sung các thành phần bù với tham số hằng số. Cách tiếp cận này dẫn đến sự thỏa hiệp: nếu chọn tham số lớn để đảm bảo tính ổn định bền vững thì chất lượng điều khiển bị suy giảm hoặc xuất hiện hiện tượng dao động tần số cao ở ngõ vào điều khiển (chattering); ngược lại, nếu ưu tiên đáp ứng nhanh thì hệ thống dễ mất ổn định. Đồng thời, các phương pháp này chưa tối ưu hóa được hàm chi phí năng lượng và sai số.

Phương pháp học củng cố (Reinforcement Learning - RL) kết hợp quy hoạch động thích nghi (Adaptive Dynamic Programming - ADP) đã mở ra hướng tiếp cận xấp xỉ nghiệm HJB và HJI trực tuyến (online). Tuy nhiên, các cấu trúc ADP chuẩn hiện hữu tồn tại những hạn chế:

  • Cấu trúc Actor-Critic truyền thống sử dụng hai mạng thần kinh (AC2NN) cho bài toán HJB hoặc ba mạng thần kinh (AC3NN) cho bài toán $H_\infty$/HJI làm gia tăng khối lượng tính toán, tiêu tốn tài nguyên bộ nhớ và làm chậm tốc độ hội tụ.
  • Các giải thuật lặp chính sách (Policy Iteration - PI) thường yêu cầu cập nhật trọng số tuần tự qua nhiều vòng lặp tách biệt, gây hiện tượng dư thừa nghiệm.
  • Quá trình khởi động giải thuật bắt buộc phải có sẵn một luật điều khiển ổn định ban đầu (initial stabilizing control law), làm giảm tính linh hoạt khi áp dụng vào các đối tượng phi tuyến phức tạp chưa biết rõ động học.
  • Đa số các giải thuật yêu cầu phải biết trước đầy đủ mô hình toán hoặc phải thực hiện khâu nhận dạng động học nội (internal dynamics).

Luận án của tác giả Nguyễn Tấn Lũy được thực hiện nhằm giải quyết các khoảng trống trên thông qua việc xây dựng các giải thuật học củng cố trực tuyến mới với cấu trúc rút gọn chỉ sử dụng duy nhất một bộ xấp xỉ hàm.

Mục tiêu nghiên cứu

Mục tiêu tổng quát của luận án là phân tích và thiết kế giải thuật học củng cố mới trong điều khiển thích nghi bền vững cho hệ phi tuyến, đáp ứng cụ thể 5 yêu cầu sau:

  1. Thực hiện điều khiển trực tuyến (online), loại bỏ thủ tục nhận dạng hệ thống trực tiếp hoặc gián tiếp đối với các thành phần động học nội chưa biết.
  2. Bảo đảm hệ thống kín đạt tính ổn định bền vững theo tiêu chuẩn bị chặn tới hạn đều (Uniform Ultimate Bounded - UUB).
  3. Tối thiểu hóa hàm chỉ tiêu chất lượng và chỉnh định các tham số của luật điều khiển hội tụ về giá trị cận tối ưu.
  4. Giảm chi phí tính toán và tài nguyên lưu trữ nhằm tăng tốc độ hội tụ thông qua cấu trúc điều khiển rút gọn.
  5. Loại bỏ yêu cầu phải chọn trước luật điều khiển ổn định ban đầu để khởi động giải thuật, đơn giản hóa quy trình thiết kế.

Nhiệm vụ nghiên cứu

Để hiện thực hóa các mục tiêu trên, luận án xác định 4 nhiệm vụ nghiên cứu:

  • Nhiệm vụ a: Nghiên cứu và thiết kế giải thuật học củng cố qui hoạch động thích nghi trực tuyến OADP (Online Adaptive Dynamic Programming) cho hệ phi tuyến xác định dựa trên cấu trúc chỉ sử dụng duy nhất một xấp xỉ hàm; thiết kế luật cập nhật tham số đồng bộ trong một bước lặp; loại bỏ yêu cầu luật điều khiển khởi tạo ổn định; chứng minh toán học về tính ổn định và hội tụ.
  • Nhiệm vụ b: Nghiên cứu và phát triển giải thuật qui hoạch động thích nghi bền vững trực tuyến ORADP (Online Robust Adaptive Dynamic Programming) cho hệ phi tuyến không biết động học nội và chịu tác động của nhiễu ngoài; thiết kế luật cập nhật tham số trực tuyến cho một xấp xỉ hàm duy nhất; chứng minh ổn định bền vững và hội tụ cận tối ưu.
  • Nhiệm vụ c: Kiểm chứng tính hiệu quả của các giải thuật thông qua mô phỏng số so sánh với các cấu trúc ADP đa xấp xỉ hàm, đồng thời triển khai mô phỏng và thực nghiệm trên hệ thống robot di động dạng xe (Wheeled Mobile Robot - WMR).
  • Nhiệm vụ d: Mở rộng giải thuật ORADP cho bài toán điều khiển hợp tác thích nghi bền vững phân tán cho nhiều hệ phi tuyến MIMO kết nối qua mạng truyền thông, kiểm chứng qua mô phỏng đồng bộ hóa đội hình robot bầy đàn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu 1: Lớp hệ thống phi tuyến liên tục có mô hình xác định dạng affine: $$\dot{x} = f(x) + g(x)u$$ với $x \in \mathbb{R}^n$ là véc tơ trạng thái, $u \in \mathbb{R}^m$ là véc tơ điều khiển, $f(x)$ và $g(x)$ là các hàm phi tuyến khả vi liên tục đã biết, $f(0) = 0$, $g(x)$ bị chặn.
  • Đối tượng nghiên cứu 2: Lớp hệ thống phi tuyến có động học nội không biết trước và chịu nhiễu ngoài: $$\dot{x} = f(x) + g(x)u + k(x)d$$ với $f(x)$ là thành phần động học nội chưa biết, $d \in L_2[0, \infty)$ là véc tơ nhiễu có năng lượng hữu hạn, $k(x)$ là ma trận nhiễu.
  • Đối tượng nghiên cứu 3 (Thực nghiệm): Robot di động dạng xe (WMR) hai bánh chủ động, chứa các thành phần động lực học bất định không mô hình hóa được và chịu tác động của mô men nhiễu ngõ vào.
  • Đối tượng nghiên cứu 4 (Mở rộng): Hệ thống gồm $N$ đối tượng phi tuyến MIMO hợp tác bậc $m$, trao đổi thông tin theo đồ thị truyền thông phân tán.
  • Phạm vi nghiên cứu: Các thuật toán điều khiển thích nghi tối ưu và tối ưu bền vững trong không gian trạng thái liên tục; thuật toán xử lý dữ liệu trực tuyến; triển khai phần cứng nhúng thời gian thực cho WMR trong điều kiện phòng thí nghiệm.

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa lịch sử phát triển của học củng cố trong điều khiển học qua ba giai đoạn chính:

+-----------------------------------------------------------------------------------+
| Giai đoạn 1 (Trước 2005): RL rời rạc & Học ngoại tuyến (Off-line)                 |
| - Quy hoạch động Bellman (1957), giải thuật VI & PI (Sutton & Barto, 1998)        |
| - Giải thuật TD (Sutton, 1988), Q-Learning (Watkins, 1989), IDP (1998, 2002)     |
| - Xấp xỉ hàm giải quyết bùng nổ tổ hợp (Bertsekas & Tsitsiklis, 1996)             |
+-----------------------------------------+-----------------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
| Giai đoạn 2 (2005 - 2010): RL trực tuyến cho hệ liên tục & Cấu trúc AC2NN         |
| - Điều khiển tối ưu tuyến tính ARE không biết ma trận trạng thái (Vrabie et al.)  |
| - Cấu trúc Actor-Critic (AC) sử dụng 2 mạng thần kinh cho HJB (Lewis et al.)     |
| - Phân tích ổn định Lyapunov và chuẩn bị chặn UUB                                 |
+-----------------------------------------+-----------------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
| Giai đoạn 3 (2010 - 2015): Điều khiển tối ưu H-vô cùng & Hệ bất định              |
| - Cấu trúc 3 mạng thần kinh (AC3NN) giải HJI cho hệ phi tuyến                     |
| - Tồn tại hạn chế: Cập nhật tuần tự, cần luật ổn định ban đầu, dư thừa nghiệm     |
+-----------------------------------------+-----------------------------------------+
                                          |
                                          v
+-----------------------------------------------------------------------------------+
| Vị trí của Luận án (2015): Đề xuất giải thuật OADP và ORADP                       |
| - Cấu trúc rút gọn duy nhất 1 mạng thần kinh (1-NN)                               |
| - Cập nhật tham số đồng bộ trong 1 bước lặp, không cần luật ổn định ban đầu       |
| - Không cần nhận dạng động học nội, loại bỏ hiện tượng dư thừa nghiệm             |
+-----------------------------------------------------------------------------------+

Các công trình nghiên cứu tiêu biểu được điểm luận

  1. Giai đoạn nền tảng rời rạc: Lý thuyết quy hoạch động của Bellman (1957); các giải thuật học củng cố kinh điển như Value Iteration, Policy Iteration tổng thuật bởi Sutton và Barto (1998); giải thuật sai phân tạm thời TD của Sutton (1988); giải thuật Q-Learning của Watkins (1989); giải thuật quy hoạch động tăng cường IDP xấp xỉ online LQR rời rạc của Bradtke và đồng sự (1994). Hạn chế chính trong giai đoạn này là giải thuật chỉ chạy off-line, phụ thuộc vào rời rạc hóa không gian trạng thái gây bùng nổ tổ hợp (Curse of Dimensionality - COD) khi áp dụng cho hệ đa biến.
  2. Giai đoạn kết hợp lý thuyết điều khiển hiện đại cho hệ liên tục: Công trình của Murray, Cox, Lendaris (2002); nghiên cứu của Vrabie, Pastravanu, Abu-Khalaf, Lewis (2009) về giải trực tuyến phương trình đại số Riccati (ARE) cho hệ tuyến tính không biết ma trận trạng thái; các nghiên cứu của Abu-Khalaf, Lewis (2005, 2008), Zhang, Luo, Liu (2009) về xấp xỉ nghiệm HJB cho hệ phi tuyến sử dụng cấu trúc Actor-Critic 2 mạng thần kinh (AC2NN).
  3. Giai đoạn mở rộng điều khiển tối ưu $H_\infty$ và hệ phi tuyến bất định: Các công trình của Vamvoudakis, Lewis (2010, 2012) áp dụng cấu trúc 3 mạng thần kinh (AC3NN) giải phương trình HJI; nghiên cứu của Dierks, Jagannathan (2010, 2012) về điều khiển thích nghi tối ưu phi tuyến; giải thuật SOLA (Single Online Approximator) của Liu, Wei (2014) sử dụng 1 NN nhưng vẫn đòi hỏi biết trước mô hình động học nội; công trình của Luo, Wu, Huang (2014) xấp xỉ HJI với 1 NN nhưng phải dừng cập nhật từng chu kỳ để thu thập dữ liệu và vẫn yêu cầu bộ điều khiển ổn định ban đầu.

Khoảng trống luận án giải quyết

Luận án định vị trọng tâm vào việc khắc phục đồng thời 4 nhược điểm của các nghiên cứu trước:

  • Giảm số lượng mạng thần kinh từ 2 hoặc 3 xuống còn đúng 1 mạng duy nhất để ước lượng hàm đánh giá (Critic), luật điều khiển tối ưu và chặn trên của nhiễu được suy trực tiếp từ đạo hàm của hàm đánh giá xấp xỉ.
  • Xây dựng luật học cập nhật đồng bộ tất cả các tham số trong một bước tích phân thời gian thực, loại bỏ các vòng lặp lồng nhau hoặc cập nhật tuần tự.
  • Xóa bỏ giả thiết bắt buộc phải có luật điều khiển ổn định ban đầu để khởi động hệ thống học.
  • Vận hành trực tuyến hoàn toàn mà không cần ngắt quãng hệ thống để lấy tập mẫu và không cần nhận dạng mô hình động học nội $f(x)$.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  • Lý thuyết quy hoạch động Bellman: Khung toán học tối ưu hóa liên tục, xác định hàm chi phí tích lũy: $$J(x(0)) = \int_0^\infty r(x(t), u(t)) dt$$ với $r(x, u) = Q(x) + u^T R u$, $Q(x) > 0$, $R = R^T > 0$.
  • Phương trình vi phân đạo hàm riêng HJB và HJI: Thiết lập điều kiện cần và đủ cho điều khiển tối ưu phi tuyến và điều khiển đối kháng minimax trong lý thuyết trò chơi vi phân tổng bằng không (Zero-sum Differential Game Theory - ZDGT).
  • Định lý xấp xỉ Weierstrass bậc cao: Chứng minh sự tồn tại của mạng thần kinh truyền thẳng một lớp ẩn (1-NN) với tập hàm cơ sở độc lập hoàn toàn $\phi(x)$, cho phép xấp xỉ đều đồng thời cả hàm phi tuyến liên tục và gradient của nó trong tập đóng compac: $$V(x) = W^T \phi(x) + \varepsilon(x), \quad \nabla V(x) = \nabla \phi(x)^T W + \nabla \varepsilon(x)$$
  • Tiêu chuẩn ổn định Lyapunov và khái niệm UUB: Đánh giá độ ổn định của hệ thống phi tuyến phi tự hành có chứa sai số xấp xỉ và nhiễu ngoài. Trạng thái hệ kín và sai số ước lượng trọng số $\tilde{W} = W - \hat{W}$ được chứng minh bị chặn trong một lân cận lồi quanh điểm cân bằng.
  • Điều kiện kích thích bền vững (Persistence of Excitation - PE): Điều kiện toán học về véc tơ tín hiệu kích hoạt $\sigma(t)$ nhằm đảm bảo ma trận tích phân thông tin xác định dương, phục vụ sự hội tụ của vector trọng số xấp xỉ về cận tối ưu: $$\beta_1 I \le \int_t^{t+T_P} \sigma(\tau) \sigma^T(\tau) d\tau \le \beta_2 I$$

Phương pháp nghiên cứu

  • Phương pháp phân tích giải tích và toán học: Biến đổi phương trình HJB/HJI sang dạng sai số Hamiltonian; sử dụng giải thuật suy giảm độ dốc chuẩn hóa cải tiến theo Levenberg-Marquardt với mẫu số dạng $(\sigma^T \sigma + 1)^2$ để thiết lập luật cập nhật trọng số trực tuyến; xây dựng các hàm ứng viên Lyapunov để chứng minh ổn định hệ kín và hội tụ trọng số.
  • Phương pháp mô phỏng số: Thiết kế chương trình mô phỏng trên nền tảng phần mềm MATLAB/Simulink; so sánh định lượng các chỉ tiêu chất lượng (sai số bám, hàm chi phí, thời gian hội tụ, tính nhạy cảm với điều kiện khởi tạo) giữa giải thuật đề xuất (OADP, ORADP) với các giải thuật kinh điển (AC2NN, AC3NN).
  • Phương pháp thực nghiệm phần cứng:
    • Thiết kế và chế tạo phần cứng robot di động dạng xe (WMR) 2 bánh chủ động.
    • Sử dụng hệ thống thị giác đa chiều (Omnidirectional Vision System) kết hợp mạng thần kinh RBF để hiệu chỉnh và xác định tọa độ thực tế $(x, y, \theta)$ của robot trong không gian làm việc.
    • Lập trình hệ thống điều khiển nhúng thời gian thực bằng ngôn ngữ C.
    • Xây dựng phần mềm giám sát, thu thập dữ liệu và giao diện đồ họa người dùng (GUI) trên máy tính bằng ngôn ngữ VC++.

Nội dung chính theo từng chương

CHƯƠNG 1: GIỚI THIỆU

Chương 1 trình bày tổng quan về nguồn gốc, động cơ nghiên cứu, phân tích tính cấp thiết của đề tài và tổng thuật ba giai đoạn phát triển của học củng cố trong điều khiển học. Tác giả chỉ rõ các nhược điểm cốt lõi của các cấu trúc quy hoạch động thích nghi hiện hành (sử dụng 2 hoặc 3 mạng thần kinh, tính toán phức tạp, cập nhật tuần tự, đòi hỏi luật điều khiển ổn định ban đầu).

Từ đó, chương 1 xác định 5 mục tiêu nghiên cứu, 4 nhiệm vụ cụ thể, định nghĩa 3 lớp mô hình toán của đối tượng nghiên cứu và tóm tắt các đóng góp mới về mặt lý thuyết và thực tiễn của luận án.

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

Chương 2 hệ thống hóa các định nghĩa toán học cơ bản: ổn định UUB, tính quan sát được trạng thái không, và điều kiện kích thích bền vững (PE). Chương này trình bày chi tiết các giải thuật học củng cố kinh điển:

  • Giải thuật Value Iteration (Giải thuật 2.1): Lặp trực tiếp hàm giá trị $V(x)$ cho đến khi hội tụ rồi mới tính chính sách $u(x)$.
  • Giải thuật Policy Iteration (Giải thuật 2.2): Khởi tạo từ chính sách ổn định, xen kẽ giữa bước đánh giá chính sách và cải thiện chính sách.
  • Giải thuật Q-Learning (Giải thuật 2.3) và sai phân tạm thời (TD): Đánh giá hàm $Q(x, u)$ trên không gian trạng thái và hành động rời rạc.
+-----------------------------------------------------------------------------------------------------+
| BẢNG SO SÁNH ĐẶC TÍNH CÁC DÒNG MẠNG THẦN KINH DÙNG CHO XẤP XỈ HÀM TRONG RL (TỔNG HỢP TỪ PHỤ LỤC A)  |
+-------------------+-----------------+-------------------+---------------------+---------------------+
| Loại mạng         | Độ phức tạp cấu | Tốc độ hội tụ     | Tài nguyên lưu trữ  | Đánh giá ứng dụng   |
|                   | trúc            |                   | bộ nhớ              | điều khiển trực     |
|                   |                 |                   |                     | tuyến               |
+-------------------+-----------------+-------------------+---------------------+---------------------+
| MLP (1 lớp ẩn)    | Rất đơn giản    | Trung bình        | Rất nhỏ             | Phù hợp nhất cho    |
|                   |                 |                   |                     | OADP/ORADP          |
+-------------------+-----------------+-------------------+---------------------+---------------------+
| RBF / NRBF        | Trung bình      | Nhanh             | Lớn khi số chiều    | Phù hợp xấp xỉ cục  |
|                   |                 |                   | tăng                | bộ, thị giác máy    |
+-------------------+-----------------+-------------------+---------------------+---------------------+
| RARBF / ANRBF     | Phức tạp        | Nhanh (cấp phát   | Rất lớn             | Tính toán nặng cho  |
|                   |                 | động)             |                     | nhúng thời gian thực|
+-------------------+-----------------+-------------------+---------------------+---------------------+
| CMAC              | Rất phức tạp    | Nhanh cục bộ      | Rất lớn (bảng bảng) | Khó chứng minh giải |
|                   |                 |                   |                     | tích ổn định        |
+-------------------+-----------------+-------------------+---------------------+---------------------+

Chương 2 cũng phân tích cấu trúc và chu trình vận hành của các giải thuật ADP hiện hành: ADP 2 mạng cập nhật tuần tự (Giải thuật 2.4), ADP 2 mạng cập nhật đồng bộ (Giải thuật 2.5), ADP 3 mạng cập nhật tuần tự (Giải thuật 2.6) và ADP 3 mạng cập nhật đồng bộ (Giải thuật 2.7). Tác giả kết luận mạng MLP truyền thẳng một lớp ẩn có ưu thế vượt trội về tài nguyên lưu trữ và độ đơn giản tính toán, là cơ sở để phát triển cấu trúc xấp xỉ đơn trong các chương kế tiếp.

CHƯƠNG 3: GIẢI THUẬT HỌC CỦNG CỐ TRONG ĐIỀU KHIỂN TỐI ƯU

Chương 3 tập trung phân tích và thiết kế giải thuật OADP cho hệ phi tuyến có mô hình xác định $\dot{x} = f(x) + g(x)u$.

  • Thiết lập toán học: Từ phương trình Lyapunov phi tuyến và hàm Hamiltonian $H(x, u, \nabla V) = 0$, phương trình HJB được suy biến: $$Q(x) + \nabla V^{T} f(x) - \frac{1}{4} \nabla V^{T} g(x) R^{-1} g^T(x) \nabla V^ = 0$$ với luật điều khiển tối ưu lý thuyết $u^(x) = -\frac{1}{2} R^{-1} g^T(x) \nabla V^*(x)$.
  • Cấu trúc OADP đơn xấp xỉ hàm: Sử dụng 1 mạng thần kinh duy nhất để xấp xỉ hàm đánh giá tối ưu $\hat{V}(x) = \hat{W}^T \phi(x)$. Luật điều khiển xấp xỉ được suy trực tiếp: $$\hat{u}(x) = -\frac{1}{2} R^{-1} g^T(x) \nabla \phi(x)^T \hat{W}$$
  • Luật cập nhật tham số trực tuyến: Đề xuất luật cập nhật trọng số $\hat{W}$ dựa trên sai số Hamiltonian $e_1$ kết hợp giải thuật Levenberg-Marquardt cải tiến, đảm bảo đồng bộ trong một bước tích phân.
  • Phân tích ổn định: Phát biểu và chứng minh Định lý 3.1 (chi tiết tại Phụ lục B), khẳng định hệ kín và sai số ước lượng trọng số $\tilde{W} = W - \hat{W}$ đạt tính ổn định UUB, hàm chi phí và luật điều khiển hội tụ về giá trị lân cận tối ưu.
  • Kết quả mô phỏng so sánh (Bảng 3.1 & Bảng 3.2): So sánh OADP với giải thuật AC2NN truyền thống. Khi khởi tạo trọng số bằng 0, giải thuật AC2NN bị phân kỳ và mất ổn định hệ thống, trong khi giải thuật OADP vẫn hội tụ chính xác về giá trị cận tối ưu với sai số cực tiểu và thời gian hội tụ nhanh hơn.

CHƯƠNG 4: GIẢI THUẬT HỌC CỦNG CỐ TRONG ĐIỀU KHIỂN THÍCH NGHI BỀN VỮNG

Chương 4 mở rộng lý thuyết cho lớp hệ phi tuyến bất định có động học nội không biết trước và chịu tác động của nhiễu ngoài: $\dot{x} = f(x) + g(x)u + k(x)d$.

  • Thiết lập bài toán tối ưu $H_\infty$ và phương trình HJI: Thiết lập trò chơi vi phân hai người chơi tổng bằng không (Zero-sum Game), trong đó tín hiệu điều khiển $u(t)$ đóng vai trò cực tiểu hóa chỉ tiêu chất lượng, còn nhiễu xấu nhất $d(t)$ cực đại hóa chỉ tiêu này với mức triệt tiêu nhiễu $\gamma$: $$H\left(x, \nabla V^, u^, d^\right) = \nabla V^{T} (f + g u^ + k d^) + Q(x) + u^{T} R u^ - \gamma^2 d^{T} d^ = 0$$
  • Thiết kế giải thuật ORADP: Thay thế hoàn toàn cấu trúc 3 mạng thần kinh (Critic, Actor 1, Actor 2) bằng 1 mạng thần kinh ước lượng hàm giá trị duy nhất. Tín hiệu điều khiển cận tối ưu và chặn trên của nhiễu xấu nhất được tính toán trực tiếp từ $\nabla \phi(x)^T \hat{W}$: $$\hat{u}(x) = -\frac{1}{2} R^{-1} g^T(x) \nabla \phi(x)^T \hat{W}, \quad \hat{d}(x) = \frac{1}{2\gamma^2} k^T(x) \nabla \phi(x)^T \hat{W}$$
  • Luật cập nhật không phụ thuộc mô hình $f(x)$: Xây dựng luật chỉnh định trọng số trực tuyến không chứa thành phần $f(x)$, loại bỏ hoàn toàn yêu cầu nhận dạng hệ thống.
  • Chứng minh toán học: Thiết lập Bổ đề 4.4 (Phụ lục C) và Định lý 4.1 (Phụ lục D), chứng minh hệ kín ổn định bền vững UUB mà không cần điều kiện khởi tạo ổn định trước.
  • Kết quả mô phỏng so sánh (Bảng 4.1): So sánh ORADP với giải thuật AC3NN. ORADP loại bỏ hoàn toàn hiện tượng dư thừa nghiệm, rút ngắn thời gian tính toán và duy trì tính ổn định ngay cả khi ma trận trọng số khởi tạo ban đầu bằng 0.

CHƯƠNG 5: ÁP DỤNG GIẢI THUẬT ORADP CHO ROBOT DI ĐỘNG

Chương 5 hiện thực hóa giải thuật ORADP trên đối tượng phi tuyến thực tế là robot di động dạng xe (WMR).

  • Mô hình toán học WMR: Thiết lập phương trình động học và động lực học phi tuyến chứa các thành phần bất định về khối lượng $m$, mô men quán tính $I$, ma sát và mô men nhiễu $\tau_m$.
  • Điểm mới trong cấu trúc điều khiển WMR: Khác với phương pháp điều khiển cuốn chiếu (Backstepping) kinh điển vốn phân tách bộ điều khiển động học (Kinematic) và động lực học (Dynamic) làm phát sinh sự phụ thuộc vào tham số kinh nghiệm, giải thuật ORADP tổng hợp luật điều khiển mô men trực tiếp $\tau$, tối ưu hóa đồng thời cả sai số vị trí, sai số hướng, sai số vận tốc và năng lượng điều khiển.
  • Hệ thống thực nghiệm: Xây dựng mô hình phần cứng robot WMR, hệ thống camera thị giác đa chiều thu thập ảnh không gian thực, sử dụng mạng thần kinh RBF (chi tiết tại Phụ lục E) để ánh xạ tọa độ pixel sang tọa độ thực $(x, y)$.
  • Kết quả thực nghiệm và mô phỏng: Các kịch bản thay đổi khối lượng và mô men quán tính đột ngột trong quá trình chuyển động được thực hiện. Kết quả thực nghiệm cho thấy vector trọng số mạng thần kinh hội tụ ổn định, sai số bám quỹ đạo $(x, y, \theta)$ triệt tiêu về lân cận 0, đáp ứng mô men mượt mà, không xuất hiện hiện tượng chattering.

CHƯƠNG 6: GIẢI THUẬT HỌC CỦNG CỐ ĐIỀU KHIỂN THÍCH NGHI BỀN VỮNG HỢP TÁC NHIỀU HỆ PHI TUYẾN MIMO

Chương 6 mở rộng giải thuật ORADP cho bài toán điều khiển hợp tác phân tán nhiều hệ phi tuyến MIMO liên kết qua mạng.

  • Lý thuyết đồ thị và mô hình phân tán: Biểu diễn cấu hình truyền thông giữa $N$ tác tử phi tuyến bằng đồ thị có hướng/vô hướng với ma trận kề $A$ và ma trận Laplacian $L$.
  • Cấu trúc ORADP mở rộng: Mỗi nút mạng là một hệ phi tuyến MIMO bậc $m$. Giải thuật ORADP mở rộng được thiết kế cho từng tác tử nhằm đồng bộ hóa trạng thái theo tín hiệu dẫn đường mà không đòi hỏi thông tin về động học nội của các tác tử lân cận.
  • Phân tích ổn định: Phát biểu và chứng minh Bổ đề 6.1 (Phụ lục F), khẳng định tính ổn định UUB của toàn bộ mạng lưới các hệ phi tuyến MIMO hợp tác.
  • Kiểm chứng mô phỏng trên hệ robot bầy đàn: Thực hiện mô phỏng bám quỹ đạo và đồng bộ hóa đội hình 4 robot di động. Kết quả mô phỏng chứng minh các robot duy trì chính xác cự ly hình học, đồng bộ góc hướng $\theta$, vận tốc dài $v$, vận tốc quay $\omega$ và phân bổ mô men điều khiển tối ưu giữa các thành viên trong đội hình.

Kết quả và những đóng góp mới

+---------------------------------------------------------------------------------------------------+
| TỔNG HỢP NHỮNG ĐÓNG GÓP MỚI VỀ MẶT KHOA HỌC VÀ THỰC TIỄN CỦA LUẬN ÁN                             |
+------------------------------------+--------------------------------------------------------------+
| Lĩnh vực đóng góp                  | Nội dung chi tiết được luận án đề xuất và chứng minh         |
+------------------------------------+--------------------------------------------------------------+
| 1. Lý thuyết điều khiển tối ưu     | - Thiết kế giải thuật OADP với duy nhất 1 mạng thần kinh    |
|    (HJB)                           |   (1-NN), khắc phục hiện tượng dư thừa xấp xỉ hàm.           |
|                                    | - Luật cập nhật trực tuyến Levenberg-Marquardt đồng bộ.      |
|                                    | - Loại bỏ yêu cầu luật điều khiển khởi tạo ổn định.          |
|                                    | - Chứng minh toán học định lý ổn định và hội tụ UUB.        |
+------------------------------------+--------------------------------------------------------------+
| 2. Lý thuyết điều khiển thích nghi | - Phát triển giải thuật ORADP giải HJI trực tuyến cho hệ     |
|    bền vững H-vô cùng (HJI)        |   bất định hoàn toàn không biết động học nội f(x).           |
|                                    | - Thay thế cấu trúc 3-NN bằng 1-NN duy nhất, giảm triệt để   |
|                                    |   tài nguyên tính toán và bộ nhớ lưu trữ.                    |
|                                    | - Bỏ qua khâu nhận dạng hệ thống, cập nhật đồng bộ 1 bước.   |
|                                    | - Chứng minh toán học ổn định bền vững hệ kín theo UUB.      |
+------------------------------------+--------------------------------------------------------------+
| 3. Thực nghiệm trên Robot di động  | - Triển khai ORADP điều khiển mô men trực tiếp cho WMR.      |
|    (WMR)                           | - Không phân tách bộ điều khiển động học và động lực học.   |
|                                    | - Triệt tiêu ảnh hưởng của bất định thông số (m, I, ma sát). |
|                                    | - Tối thiểu hóa đồng thời sai số bám và năng lượng điều      |
|                                    |   khiển trên phần cứng nhúng thời gian thực (C/VC++).        |
+------------------------------------+--------------------------------------------------------------+
| 4. Mở rộng điều khiển hợp tác phân | - Mở rộng ORADP kết hợp lý thuyết đồ thị cho N hệ phi tuyến  |
|    tán đa tác tử MIMO              |   MIMO hợp tác.                                              |
|                                    | - Điều khiển đồng bộ hóa đội hình robot bầy đàn trực tuyến   |
|                                    |   trong điều kiện không biết động học nội của các nút.       |
+------------------------------------+--------------------------------------------------------------+

Kiến nghị và giải pháp đề xuất từ luận án

  • Sử dụng cấu trúc 1 mạng thần kinh truyền thẳng một lớp thay thế cho các cấu trúc Actor-Critic đa mạng truyền thống trong các bài toán điều khiển tối ưu trực tuyến nhằm tiết kiệm tài nguyên xử lý trên chip nhúng.
  • Ứng dụng luật cập nhật tham số đồng bộ cải tiến theo chuẩn hóa Levenberg-Marquardt để loại bỏ sự phụ thuộc vào kinh nghiệm chọn luật điều khiển ổn định ban đầu của kỹ sư thiết kế.
  • Áp dụng giải thuật điều khiển mô men tích hợp cho các hệ thống robot tự hành, loại bỏ phương pháp điều khiển tầng cuốn chiếu (backstepping) phân tách động học/động lực học nhằm nâng cao độ chính xác bám quỹ đạo khi tải trọng thay đổi liên tục.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào phạm vi và các giả thiết được tác giả trình bày trong luận án:

  • Hạn chế về đo lường trạng thái: Các giải thuật OADP và ORADP yêu cầu toàn bộ vector trạng thái $x(t)$ của hệ thống phải đo được trực tiếp (full state feedback) để đưa về ngõ vào của mạng thần kinh xấp xỉ. Trong thực tế, nhiều hệ thống kỹ thuật chỉ đo được vector ngõ ra $y(t)$ với số chiều nhỏ hơn trạng thái.
  • Ràng buộc kích thích bền vững (PE): Quá trình hội tụ của vector trọng số về cận tối ưu phụ thuộc vào điều kiện PE của tín hiệu trạng thái. Trong một số trường hợp quỹ đạo làm việc tĩnh hoặc ít biến thiên, cần bổ sung tín hiệu nhiễu thăm dò (probing noise) có kiểm soát.
  • Ràng buộc bão hòa cơ cấu chấp hành: Luận án giả thiết tín hiệu điều khiển $u(t)$ và nhiễu $d(t)$ không bị giới hạn biên độ bão hòa cứng bởi cơ cấu truyền động vật lý.

Hướng nghiên cứu phát triển tiếp theo:

  1. Nghiên cứu mở rộng giải thuật ORADP cho bài toán điều khiển hồi tiếp ngõ ra (Output Feedback Control) kết hợp bộ quan sát trạng thái phi tuyến khi không đo được đầy đủ vector trạng thái.
  2. Phát triển giải thuật học củng cố tối ưu thích nghi cho hệ phi tuyến có ràng buộc bão hòa ngõ vào điều khiển (Input Saturation Constraint).
  3. Triển khai thực nghiệm giải thuật điều khiển hợp tác phân tán trên dàn phần cứng robot bầy đàn thực tế kết nối mạng không dây, giải quyết các vấn đề trễ truyền thông (time delay) và mất gói dữ liệu (packet loss).

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu có giá trị học thuật và kỹ thuật ứng dụng trong lĩnh vực Tự động hóa, Kỹ thuật Điều khiển và Khoa học Robot:

  • Đối với nghiên cứu sinh và học viên cao học: Cung cấp phương pháp luận toán học chặt chẽ trong việc xấp xỉ nghiệm phương trình vi phân phi tuyến HJB/HJI, kỹ thuật phân tích ổn định Lyapunov cho hệ thích nghi trực tuyến có sai số xấp xỉ, và quy trình chứng minh ổn định UUB (các Phụ lục B, C, D, F là tài liệu mẫu mực về chứng minh giải tích).
  • Đối với giảng viên và nhà nghiên cứu: Cung cấp tài liệu tham khảo toàn diện về sự giao thoa giữa lý thuyết học máy (Học củng cố - Reinforcement Learning) và lý thuyết điều khiển hiện đại (Điều khiển tối ưu $H_\infty$, điều khiển thích nghi bền vững, lý thuyết trò chơi vi phân ZDGT).
  • Đối với kỹ sư phát triển hệ thống nhúng và robot: Cung cấp giải pháp kiến trúc điều khiển trực tuyến rút gọn (1-NN), quy trình tích hợp hệ thống thị giác máy tính đa chiều kết hợp mạng RBF để định vị, và phương pháp lập trình điều khiển thời gian thực trên vi điều khiển/DSP bằng ngôn ngữ C và giao diện VC++.

Câu hỏi thường gặp

1. Tại sao giải thuật OADP và ORADP chỉ cần sử dụng duy nhất một mạng thần kinh mà vẫn giải được bài toán tối ưu HJB và HJI?

Trong cấu trúc Actor-Critic truyền thống, mạng Critic dùng để ước lượng hàm chi phí tối ưu $V^(x)$, trong khi mạng Actor 1 ước lượng luật điều khiển $u^(x)$ và mạng Actor 2 ước lượng chặn trên của nhiễu $d^*(x)$.

Dựa vào điều kiện dừng của hàm Hamiltonian tối ưu, tác giả chứng minh rằng $u^(x)$ và $d^(x)$ hoàn toàn đồng nhất và tỉ lệ thuận trực tiếp với gradient của hàm chi phí tối ưu theo trạng thái $\nabla V^*(x)$ thông qua ma trận trọng số ngõ vào $g(x)$, $k(x)$ và $R^{-1}$. Do đó, khi sử dụng 1 mạng thần kinh truyền thẳng một lớp xấp xỉ $V(x) = W^T \phi(x)$, gradient $\nabla V(x)$ được tính trực tiếp qua đạo hàm của hàm kích hoạt $\nabla \phi(x)^T W$. Luật điều khiển và luật nhiễu được suy ra trực tiếp từ trọng số của Critic mà không cần thêm các mạng Actor riêng biệt, giúp triệt tiêu sự dư thừa tham số.

2. Giải thuật ORADP xử lý thành phần động học nội chưa biết $f(x)$ của hệ phi tuyến bằng cách nào mà không cần khâu nhận dạng hệ thống?

Giải thuật ORADP tái cấu trúc phương trình sai số Hamiltonian của bài toán $H_\infty$ trực tiếp dọc theo quỹ đạo trạng thái của hệ thống kín $\dot{x}$. Thông qua việc thay thế biểu thức $(\nabla V)^T \dot{x}$ bằng đạo hàm thời gian $\dot{V}$, thành phần động học nội $f(x)$ được gộp trực tiếp vào phương trình vi phân trạng thái thực tế đo được từ đối tượng.

Luật cập nhật trọng số trực tuyến được thiết kế chỉ dựa trên vector tín hiệu đo trạng thái $x(t)$, ma trận hàm ngõ vào $g(x), k(x)$ và ma trận trọng số chi phí $Q, R$, qua đó loại bỏ hoàn toàn sự xuất hiện tường minh của hàm $f(x)$ trong luật học.

3. Ưu điểm nổi bật của giải thuật OADP và ORADP khi khởi tạo trọng số ban đầu so với các giải thuật AC2NN và AC3NN là gì?

Các giải thuật AC2NN và AC3NN truyền thống bắt buộc phải khởi tạo trọng số mạng thần kinh sao cho luật điều khiển ban đầu là một luật điều khiển ổn định (admissible control policy), nếu khởi tạo trọng số bằng 0 hoặc ngẫu nhiên không phù hợp thì hệ kín sẽ bị mất ổn định ngay từ các bước lặp đầu tiên.

Ngược lại, giải thuật OADP và ORADP được thiết kế với luật học chuẩn hóa cải tiến, đã được chứng minh toán học (Định lý 3.1 và Định lý 4.1) đảm bảo hệ kín luôn duy trì ổn định UUB với mọi giá trị khởi tạo trọng số ban đầu, bao gồm cả trường hợp vector trọng số khởi tạo hoàn toàn bằng 0.

4. Trong thực nghiệm trên robot di động WMR, việc áp dụng ORADP giải quyết được vấn đề gì so với phương pháp điều khiển cuốn chiếu (Backstepping)?

Phương pháp Backstepping kinh điển cho WMR luôn phải chia thành hai vòng điều khiển tách rời: bộ điều khiển động học (tính toán vận tốc đặt từ sai số vị trí) và bộ điều khiển động lực học (tính toán mô men động cơ để bám vận tốc đặt). Cách làm này phụ thuộc nặng nề vào kinh nghiệm của kỹ sư khi chọn các thông số ảo ở tầng động học, đồng thời rất nhạy cảm với sự thay đổi của tải trọng (khối lượng $m$, mô men quán tính $I$).

Giải thuật ORADP tổng hợp trực tiếp luật điều khiển mô men ngõ vào $\tau$, tối ưu hóa đồng thời cả sai số vị trí, vận tốc và năng lượng tiêu thụ, tự động thích nghi và triệt tiêu ảnh hưởng của các thành phần phi tuyến bất định mà không cần phân tách tầng điều khiển.

5. Giải thuật ORADP mở rộng điều khiển hệ robot bầy đàn như thế nào trong Chương 6?

Chương 6 kết hợp giải thuật ORADP với lý thuyết đồ thị truyền thông phân tán. Mỗi robot trong bầy đàn được mô hình hóa thành một hệ phi tuyến MIMO bậc $m$. Thay vì sử dụng bộ điều khiển trung tâm, mỗi robot tự thực thi một giải thuật ORADP cục bộ, chỉ thu thập thông tin sai lệch trạng thái tương đối từ các robot lân cận kết nối qua đồ thị truyền thông để tự cập nhật trọng số mạng thần kinh và xuất mô men điều khiển, đảm bảo toàn đội hình bám chính xác quỹ đạo chung và duy trì cấu hình hình học mong muốn.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Tấn Lũy đã giải quyết trọn vẹn bài toán điều khiển tối ưu và tối ưu bền vững $H_\infty$ trực tuyến cho các lớp hệ thống phi tuyến phức tạp thông qua hai giải thuật mới OADP và ORADP. Bằng việc đề xuất cấu trúc điều khiển rút gọn chỉ sử dụng duy nhất một mạng thần kinh kết hợp luật cập nhật tham số đồng bộ, công trình đã khắc phục triệt để các hạn chế về độ phức tạp tính toán, sự phụ thuộc vào mô hình động học nội và yêu cầu khởi tạo ổn định của các phương pháp quy hoạch động thích nghi truyền thống. Tính đúng đắn của lý thuyết được chứng minh chặt chẽ bằng toán học qua tiêu chuẩn ổn định UUB và được kiểm chứng thuyết phục thông qua mô phỏng so sánh, thực nghiệm trên robot di động WMR cũng như mô phỏng hệ thống robot bầy đàn hợp tác phân tán.