Tổng quan luận án

Tính cấp thiết của đề tài

Vận tải biển đóng vai trò thiết yếu trong thương mại quốc tế khi đảm nhận khoảng 80% tổng khối lượng hàng hóa xuất nhập khẩu toàn cầu nhờ ưu thế về phạm vi vận chuyển rộng, tải trọng lớn và chi phí thấp. Việc nâng cao chất lượng của hệ thống lái tự động nhằm đảm bảo an toàn hàng hải và hiệu quả hành trình là yêu cầu kỹ thuật quan trọng. Tuy nhiên, việc thiết kế hệ thống điều khiển bám quỹ đạo cho tàu thủy gặp phải các thách thức cốt lõi:

  1. Tàu hoạt động trong môi trường biển biến động, chịu tác động liên tục của các thành phần nhiễu không dự báo trước như sóng biển, gió và dòng chảy đại dương, làm suy giảm độ chính xác bám quỹ đạo.
  2. Mô hình động lực học tàu thủy là hệ phi tuyến bất định bậc cao, các thông số thay đổi phụ thuộc vào trạng thái vận hành, có quán tính lớn, biên độ dự trữ ổn định nhỏ và xuất hiện dao động.
  3. Nguồn năng lượng lưu trữ trên tàu là hữu hạn, đặt ra yêu cầu phải tối ưu hóa năng lượng tiêu hao trong suốt hành trình.

Bài toán điều khiển tối ưu cho đối tượng phi tuyến thường quy về việc giải phương trình vi phân đạo hàm riêng Hamilton-Jacobi-Bellman (HJB). Do phương trình HJB không có nghiệm giải tích tổng quát, giải thuật quy hoạch động thích nghi (Adaptive Dynamic Programming - ADP) sử dụng mạng nơ-ron để xấp xỉ nghiệm đã được phát triển. Dù vậy, các nghiên cứu áp dụng ADP cho hệ thống lái tàu thủy chịu nhiễu còn rất hạn chế.

Mục tiêu và nhiệm vụ nghiên cứu

Mục đích của luận án là nghiên cứu, đề xuất và phát triển các bộ điều khiển bám tối ưu quỹ đạo mới nhằm nâng cao chất lượng bám, tiết kiệm năng lượng tiêu thụ và đảm bảo tính ổn định cho hệ lái tự động tàu thủy khi có nhiễu tác động.

Luận án thực hiện ba nhiệm vụ nghiên cứu cụ thể:

  1. Nghiên cứu mô hình động lực học tàu thủy và tổng hợp các phương pháp điều khiển cho hệ lái tàu thủy đã công bố trong và ngoài nước, xác định hướng tiếp cận phù hợp.
  2. Nghiên cứu, đề xuất thuật toán điều khiển bám tối ưu dựa trên giải thuật ADP cấu trúc mạng Actor-Critic (AC-NNs) kết hợp với các bộ ước lượng nhiễu khi biết thông tin mô hình danh định.
  3. Nghiên cứu, đề xuất giải thuật điều khiển tối ưu bền vững dựa trên thuật toán học tăng cường tích phân ngoại tuyến (off-policy IRL) cho hệ lái tàu thủy khi không có thông tin động học hệ thống.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Hệ thống lái của các tàu nổi (tàu tuần tra, tàu dịch vụ) có mô hình phi tuyến bất định, đủ cơ cấu chấp hành (actuators), chịu ảnh hưởng của các thành phần nhiễu môi trường không xác định trước.
  • Phạm vi nghiên cứu: Tập trung vào bài toán điều khiển bám quỹ đạo tối ưu trên mặt phẳng nằm ngang ba bậc tự do (3-DOF), trong điều kiện các thành phần nhiễu môi trường (sóng, gió, dòng chảy) là các tín hiệu bị chặn ($d \in L_2[0, \infty)$ hoặc $|d| \le \bar{d}$).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Luận án đã phân tích hệ thống các công trình nghiên cứu trong và ngoài nước liên quan đến điều khiển chuyển động tàu thủy:

Hướng tiếp cận Tác giả và công trình tiêu biểu Đặc điểm và hạn chế đã chỉ ra
Nghiên cứu trong nước Khương Minh Tuấn [21], Nguyễn Đông [22], Nguyễn Hoài Nam [23], Đặng Xuân Hoài [24], Hoàng Thị Tú Uyên [25], Nguyễn Hữu Quyền [26] Tập trung vào điều khiển ổn định hướng đi, điều khiển trượt mờ, Backstepping, trượt tầng kết hợp mạng nơ-ron hoặc điều khiển dự báo MPC cho tàu thiếu cơ cấu chấp hành. Các nghiên cứu bám tối ưu quỹ đạo cho tàu thủy còn rất ít.
Mô hình tuyến tính và phi tuyến đơn giản Nomoto [27], Fossen [18, 20, 28, 29], Norrbin [30], Bech và Wagner Smith [31] Sử dụng mô hình 1 bậc tự do hoặc 2 bậc tự do để giữ hướng đi; chưa phản ánh đầy đủ động lực học trên mặt phẳng nằm ngang và bỏ qua các yếu tố bất định tham số cùng nhiễu đầu vào.
Điều khiển phi tuyến hiện đại Fossen [17], các công trình [32–36, 41–52, 54–56] Phát triển các kỹ thuật Backstepping, hàm Lyapunov rào cản (BLF), điều khiển trượt (SMC), trượt tích phân kết hợp mạng nơ-ron hoặc bộ quan sát nhiễu thời gian hữu hạn. Phần lớn chưa tối ưu hóa hàm mục tiêu năng lượng.
Điều khiển tối ưu và học tăng cường (ADP/RL) Vamvoudakis và Lewis [13], Kiumarsi và đồng sự [78], các công trình [60–66] Áp dụng cấu trúc Actor-Critic (AC-NNs) để giải phương trình HJB. Tuy nhiên, các nghiên cứu [60–63] chưa xét đến nhiễu và bất định mô hình; công trình [63] dùng nhiều mạng nơ-ron phức tạp; công trình [65] dùng luật cập nhật tuần tự; công trình [64] dùng hàm Nussbaum và hàm chi phí phi toàn phương.

Khoảng trống nghiên cứu luận án lựa chọn giải quyết

Luận án tập trung xử lý khoảng trống nghiên cứu khi kết hợp bài toán tối ưu hóa chi phí năng lượng với khả năng kháng nhiễu và bù bất định mô hình cho tàu thủy đủ cơ cấu chấp hành:

  1. Giải quyết bài toán bám tối ưu khi có mô hình danh định bằng cách tích hợp giải thuật ADP cấu trúc AC-NNs với các kỹ thuật bù nhiễu tích phân dấu sai số (RISE) và bộ quan sát nhiễu (DO).
  2. Giải quyết bài toán điều khiển tối ưu bền vững khi không có mô hình động học bằng giải thuật off-policy IRL giải phương trình vi phân Hamilton-Jacobi-Isaacs (HJI).

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khái niệm sử dụng

  1. Hệ quy chiếu và động lực học tàu thủy: Luận án áp dụng các chuẩn danh mục ký hiệu của Hiệp hội Kiến trúc Hải quân và Kỹ sư Hàng hải (SNAME) cùng hệ quy chiếu quán tính gắn Trái Đất (NED / $n$-frame) và hệ quy chiếu gắn thân tàu (BODY / $b$-frame).
  2. Xấp xỉ hàm bằng mạng nơ-ron: Mạng nơ-ron truyền thẳng nhiều lớp (MLP) một lớp ẩn được sử dụng để xấp xỉ các hàm phi tuyến liên tục $f(x)$ trên tập compact $\Omega_x$: $$f(x) = W^T \sigma(x) + \epsilon(x)$$ với $W$ là ma trận trọng số lý tưởng, $\sigma(x)$ là véc-tơ hàm kích hoạt và $\epsilon(x)$ là sai số xấp xỉ.
  3. Tiêu chuẩn ổn định UUB: Đánh giá tính ổn định của hệ kín thông qua khái niệm bị chặn tới hạn đều (Uniformly Ultimately Bounded - UUB) và tính ổn định từ đầu vào đến trạng thái (ISS) theo lý thuyết Lyapunov.
  4. Quy hoạch động thích nghi (ADP) và lý thuyết trò chơi:
    • Đối với hệ không nhiễu: Phương trình Hamilton-Jacobi-Bellman (HJB) được thiết lập để tìm luật điều khiển tối ưu $u^(x)$ và hàm giá trị tối ưu $V^(x)$.
    • Đối với hệ có nhiễu: Áp dụng lý thuyết trò chơi vi phân tổng bằng không (Zero-sum Differential Game Theory - ZDGT) và phương trình Hamilton-Jacobi-Isaacs (HJI) để xác định cặp nghiệm đối kháng giữa luật điều khiển tối ưu và luật nhiễu xấu nhất theo điều kiện cân bằng Nash.

Phương pháp nghiên cứu

  • Phương pháp giải tích và tổng hợp điều khiển: Biến đổi mô hình phi tuyến của tàu về hệ phương trình trạng thái sai lệch dạng dừng; phân tách thành phần điều khiển truyền thẳng (feed-forward) và thành phần điều khiển tối ưu thích nghi; thiết kế các luật cập nhật trọng số đồng thời cho mạng nơ-ron bằng phương pháp bình phương tối thiểu (LS) và phương pháp gradient.
  • Phương pháp chứng minh toán học: Sử dụng các hàm ứng viên Lyapunov để chứng minh tính ổn định UUB của toàn bộ hệ thống kín, tính hội tụ của sai lệch bám quỹ đạo và sai lệch trọng số mạng nơ-ron.
  • Phương pháp mô phỏng số: Thiết lập các kịch bản mô phỏng kiểm chứng trên phần mềm Matlab, khảo sát chuyển động bám quỹ đạo đường tròn dưới tác động của các dạng nhiễu ngoại cảnh khác nhau và so sánh chỉ số sai số căn bậc hai trung bình (RMSE).

Nội dung chính theo từng chương

Chương 1: Tổng quan về mô hình động lực học tàu thủy và tình hình nghiên cứu

Chương 1 trình bày cơ sở toán học về chuyển động của tàu thủy 6 bậc tự do và rút gọn về mô hình 3 bậc tự do trên mặt phẳng nằm ngang (chuyển động trượt dọc $u$, trượt ngang $v$, quay trở $r$): $$\dot{\eta} = J(\psi)v$$ $$M\dot{v} + C(v)v + D(v)v + g(\eta) = \tau + \tau_w(\eta, v)$$

Trong đó, ma trận khối lượng quán tính $M = M_{RB} + M_A$ luôn đối xứng xác định dương; ma trận Coriolis và lực hướng tâm $C(v) = C_{RB}(v) + C_A(v)$ đối xứng lệch; ma trận suy giảm thủy động lực $D(v) = D + D_n(v)$ xác định dương; $g(\eta)$ là lực phục hồi; $\tau = [\tau_u, \tau_v, \tau_r]^T$ là véc-tơ lực và mô-men do cơ cấu chấp hành sinh ra; $\tau_w$ là thành phần nhiễu từ môi trường.

Chương này cũng phân tích tổng quan các công trình nghiên cứu liên quan, xác định đối tượng tàu thủy 3-DOF đủ cơ cấu chấp hành và trình bày cơ sở lý thuyết về mạng MLP, tính ổn định UUB, phương trình HJB và phương trình HJI.

+-----------------------------------------------------------------------------+
|               Cơ cấu chấp hành của tàu thủy ba bậc tự do                   |
+--------------------------+-------------------------+------------------------+
| Chân vịt chính sau lái   | Chân vịt hai bên mạn    | Bánh lái chính         |
| Tạo lực đẩy trượt dọc τu | Tạo lực đẩy trượt ngang | Tạo mô-men quay trở τr |
| (surge)                  | τv (sway)               | (yaw)                  |
+--------------------------+-------------------------+------------------------+

Chương 2: Điều khiển bám tối ưu tàu thủy khi có mô hình

Chương 2 tập trung xây dựng các bộ điều khiển bám tối ưu cho hệ lái tàu thủy khi biết mô hình danh định, xử lý các thành phần bất định và nhiễu đầu vào thông qua 3 cấu trúc điều khiển:

  1. Tổng hợp bộ điều khiển bám tối ưu cơ sở (AC-NNs):

    • Đặt các sai lệch bám vị trí $z_1 = \eta - \eta_d$ và sai lệch vận tốc $z_2 = v - v_d$, với tín hiệu điều khiển ảo $v_d = J^{-1}(\psi)(K_1 z_1 + \dot{\eta}_d)$.
    • Chuyển đổi hệ kín về dạng trạng thái dừng 9 chiều $X = [z_1^T, z_2^T, \eta_d^T]^T \in \mathbb{R}^9$.
    • Tín hiệu điều khiển tổng hợp bao gồm luật điều khiển truyền thẳng $\tau_d$ và luật điều khiển tối ưu $u$: $\tau = u + \tau_d$.
    • Sử dụng hai mạng nơ-ron: Critic NN ($\hat{V} = \hat{W}_c^T \sigma(X)$) xấp xỉ hàm Bellman và Actor NN ($\hat{u} = -\frac{1}{2} R^{-1} G^T(X) \nabla\sigma^T(X) \hat{W}_a$) xấp xỉ luật điều khiển. Trọng số $\hat{W}_c$ được cập nhật theo phương pháp bình phương tối thiểu tiêu chuẩn hóa, còn $\hat{W}_a$ được cập nhật theo gradient của sai số Bellman.

  2. Cấu trúc điều khiển ADP-RISE cho tàu có nhiễu đầu vào:

    • Kết hợp cấu trúc AC-NNs với bộ điều khiển phản hồi tích phân dấu sai lệch (Robust Integral of the Sign of the Error - RISE) nhằm triệt tiêu các thành phần bất định và nhiễu tác động mịn.
    • Chứng minh tính ổn định UUB của hệ thống kín bằng hàm Lyapunov kết hợp giữa sai lệch trạng thái, sai số ước lượng trọng số mạng nơ-ron và biến phụ của bộ RISE.

  3. Cấu trúc điều khiển ADP kết hợp bộ ước lượng nhiễu (DO):

    • Thiết kế bộ quan sát nhiễu (Disturbance Observer - DO) để ước lượng trực tuyến véc-tơ bất định và nhiễu môi trường $h(X, t)$.
    • Tín hiệu điều khiển được thiết kế bù trực tiếp giá trị nhiễu ước lượng: $\tau = u + \tau_d - \hat{h}$.
    • Thiết lập phương pháp lựa chọn véc-tơ hàm kích hoạt $\sigma(X)$, phát biểu định lý và chứng minh tính ổn định của hệ kín.
    • Kết quả mô phỏng so sánh trên Matlab với bộ điều khiển tối ưu hóa Backstepping (AOBC [63]) cho thấy phương pháp ADP-DO giảm đáng kể sai số bám quỹ đạo (thể hiện qua bảng chỉ số RMSE) và đảm bảo các trọng số mạng nơ-ron hội tụ.

Chương 3: Điều khiển bám tối ưu tàu thủy khi không có mô hình

Chương 3 giải quyết bài toán điều khiển bám tối ưu bền vững cho mô hình tàu thủy khi không có thông tin động học nội của hệ thống ($f(x), g(x)$):

  1. Phương trình HJI và điều khiển bền vững $H_\infty$:

    • Thiết lập điều kiện suy giảm nhiễu với mức độ suy giảm $\gamma > 0$ theo tiêu chuẩn $L_2$: $$\int_0^\infty (X^T Q X + u^T R u) dt \le \gamma^2 \int_0^\infty d^T d , dt$$
    • Xây dựng phương trình HJI tương ứng với hàm chi phí đối kháng minimax.

  2. Thuật toán Off-Policy IRL:

    • Thuật toán học tăng cường tích phân ngoại tuyến (Off-Policy Integral Reinforcement Learning) sử dụng dữ liệu trạng thái thu thập được từ một luật điều khiển khám phá ban đầu để cập nhật đồng thời luật điều khiển tối ưu $u^{(i+1)}$ và luật nhiễu xấu nhất $d^{(i+1)}$ mà không cần biết ma trận động học hệ thống.
    • Biến đổi phương trình Bellman tích phân và phân tích chứng minh sự hội tụ toán học của thuật toán lặp.

  3. Hiện thực hóa bằng cấu trúc 3 mạng nơ-ron:

    • Luận án triển khai thuật toán bằng 3 mạng nơ-ron: Mạng Critic xấp xỉ hàm giá trị $V(X)$, Mạng Actor 1 xấp xỉ luật điều khiển $u(X)$ và Mạng Actor 2 xấp xỉ luật nhiễu xấu nhất $d(X)$.
    • Sử dụng thuật toán bình phương tối thiểu (LS) trên sai lệch dự báo sai phân thời gian (Temporal Difference - TD) qua $N$ điểm dữ liệu trích mẫu.
    • Mô phỏng trên Matlab với các kịch bản có nhiễu dạng hàm "1" và hàm "2" chứng minh thuật toán off-policy IRL giữ vững chất lượng bám quỹ đạo và làm suy giảm hiệu quả ảnh hưởng của nhiễu so với cấu trúc Actor-Critic thông thường.

Kết quả và những đóng góp mới

Những đóng góp mới về mặt lý luận và khoa học

  1. Xây dựng khung điều khiển bám tối ưu tích hợp cho tàu thủy 3-DOF: Thiết lập mô hình bài toán điều khiển bám quỹ đạo tối ưu cho tàu thủy đủ cơ cấu chấp hành trên mặt phẳng nằm ngang, chuyển đổi thành công mô hình động lực học phi tuyến về hệ trạng thái dừng theo sai lệch.
  2. Đề xuất các cấu trúc điều khiển bám tối ưu kháng nhiễu dựa trên ADP:
    • Đề xuất cấu trúc kết hợp ADP (AC-NNs) với bộ phản hồi tích phân RISE để bù thành phần bất định và nhiễu đầu vào.
    • Đề xuất cấu trúc kết hợp ADP (AC-NNs) với bộ quan sát nhiễu DO, đưa ra quy trình xác định véc-tơ hàm kích hoạt và luật cập nhật đồng thời cho các mạng nơ-ron.
  3. Phát triển giải thuật tối ưu bền vững không cần mô hình (Model-free): Ứng dụng thành công thuật toán off-policy IRL với cấu trúc 3 mạng nơ-ron để giải phương trình vi phân đạo hàm riêng HJI, cho phép tìm nghiệm điều khiển bám tối ưu bền vững mà không cần biết thông tin động lực học của tàu.
  4. Chứng minh toán học chặt chẽ: Sử dụng lý thuyết Lyapunov để chứng minh tính ổn định UUB của toàn bộ hệ thống kín, sự hội tụ của sai số bám và các trọng số mạng nơ-ron trong tất cả các cấu trúc đề xuất.

Đóng góp về mặt thực tiễn và kỹ thuật

  • Cung cấp giải pháp nâng cao độ chính xác bám quỹ đạo đặt cho các phương tiện hàng hải nổi, đồng thời tối ưu hóa chi phí năng lượng điều khiển của các cơ cấu chấp hành.
  • Thuật toán cập nhật trọng số trực tuyến và off-policy IRL giúp giảm phụ thuộc vào việc đo đạc hay nhận dạng chính xác các hệ số thủy động lực học phức tạp của thân tàu.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Luận án giới hạn phạm vi nghiên cứu trên mô hình tàu thủy 3 bậc tự do đủ cơ cấu chấp hành trên mặt phẳng nằm ngang, chưa mở rộng cho mô hình chuyển động không gian 6 bậc tự do đầy đủ.
  • Chưa xét đến bài toán điều khiển cho tàu thiếu cơ cấu chấp hành (underactuated surface vessels) - cấu hình phổ biến ở các tàu thương mại thông thường.
  • Các kết quả nghiên cứu dừng lại ở mức độ phân tích lý thuyết toán học và kiểm chứng thông qua mô phỏng số trên phần mềm Matlab, chưa được thử nghiệm thực tế trên mô hình tàu thật tại hồ thử hoặc môi trường biển.

Hướng nghiên cứu phát triển

  • Mở rộng thuật toán ADP và off-policy IRL cho các hệ thống tàu thủy thiếu cơ cấu chấp hành có ràng buộc nonholonomic.
  • Tích hợp các ràng buộc phi tuyến thực tế của cơ cấu chấp hành như hiện tượng bão hòa công suất, giới hạn tốc độ góc bẻ lái vào hàm mục tiêu tối ưu.
  • Triển khai thuật toán trên các nền tảng phần cứng nhúng và tiến hành thử nghiệm thực nghiệm trên mô hình tàu tự hành.

Giá trị tham khảo

Luận án là tài liệu chuyên khảo có giá trị chuyên môn cao cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên thuộc các chuyên ngành Kỹ thuật Điều khiển và Tự động hóa, Kỹ thuật Tàu thủy, Khoa học Hàng hải: Tham khảo phương pháp ứng dụng lý thuyết học máy (Reinforcement Learning / ADP) vào điều khiển hệ phi tuyến.
  • Kỹ sư nghiên cứu và phát triển (R&D) trong lĩnh vực thiết bị hàng hải và hệ thống tự hành (USV): Tham khảo cấu trúc thuật toán ước lượng nhiễu DO, kỹ thuật bù sai số RISE và thuật toán điều khiển không cần mô hình off-policy IRL.

Các nội dung có giá trị tham khảo chuyên sâu gồm:

  • Quy trình biến đổi mô hình tàu thủy 3-DOF về hệ phương trình trạng thái sai lệch dạng dừng (Chương 2).
  • Phương pháp thiết kế bộ điều khiển kết hợp ADP với bộ quan sát nhiễu DO (Chương 2).
  • Thuật toán off-policy IRL sử dụng 3 mạng nơ-ron để giải phương trình HJI (Chương 3).

Câu hỏi thường gặp

1. Đối tượng nghiên cứu cụ thể của luận án là loại tàu thủy nào?

Luận án tập trung nghiên cứu hệ thống lái của tàu thủy nổi (như tàu tuần tra, tàu dịch vụ) chuyển động trên mặt phẳng nằm ngang với 3 bậc tự do (surge, sway, yaw). Tàu được giả định là hệ thống đủ cơ cấu chấp hành (fully actuated), bao gồm: chân vịt chính sau lái tạo lực đẩy trượt dọc $\tau_u$, các bộ đẩy hai bên mạn tạo lực đẩy trượt ngang $\tau_v$, và bánh lái chính tạo mô-men quay trở $\tau_r$.

2. Cấu trúc mạng Actor-Critic (AC-NNs) trong luận án được tổ chức và cập nhật như thế nào?

Cấu trúc AC-NNs gồm hai mạng nơ-ron truyền thẳng một lớp ẩn (MLP):

  • Critic NN: Xấp xỉ hàm chi phí tối ưu (hàm Bellman $V^*(X)$) với luật cập nhật trọng số dựa trên phương pháp bình phương tối thiểu (Least-Squares) tiêu chuẩn hóa để cực tiểu hóa sai số Bellman.
  • Actor NN: Xấp xỉ luật điều khiển tối ưu $u^*(X)$ với luật cập nhật trọng số dựa trên phương pháp gradient theo độ dốc sai số Bellman. Quá trình học và cập nhật trọng số của hai mạng được thực hiện đồng thời.

3. Khi có thông tin mô hình danh định, luận án xử lý nhiễu và thành phần bất định bằng cách nào?

Luận án đề xuất hai giải pháp kết hợp trong Chương 2:

  • Cấu trúc ADP-RISE: Tích hợp bộ phản hồi tích phân dấu sai số bám (RISE) vào bộ điều khiển tối ưu AC-NNs để triệt tiêu các thành phần bất định liên tục và nhiễu ngoài.
  • Cấu trúc ADP-DO: Thiết kế bộ quan sát nhiễu (Disturbance Observer - DO) để ước lượng trực tiếp giá trị của véc-tơ bất định và nhiễu tác động, sau đó đưa tín hiệu ước lượng này vào luật điều khiển để bù nhiễu.

4. Thuật toán Off-Policy IRL ở Chương 3 có ưu điểm gì so với các phương pháp ADP thông thường?

Thuật toán Off-Policy IRL giải bài toán điều khiển tối ưu bền vững thông qua xấp xỉ nghiệm phương trình HJI mà hoàn toàn không yêu cầu biết trước các ma trận thông số động học của hệ thống tàu thủy ($f(x), g(x)$). Bằng cách sử dụng dữ liệu trạng thái thu thập trực tuyến từ một luật điều khiển cố định ban đầu, thuật toán sử dụng 3 mạng nơ-ron để tìm đồng thời hàm chi phí, luật điều khiển tối ưu và luật nhiễu xấu nhất, đảm bảo tính bền vững theo tiêu chuẩn $L_2$.

5. Tiêu chuẩn ổn định nào được sử dụng để đánh giá các bộ điều khiển đề xuất?

Luận án sử dụng tiêu chuẩn ổn định bị chặn tới hạn đều (Uniformly Ultimately Bounded - UUB) và lý thuyết ổn định Lyapunov. Các định lý được xây dựng và chứng minh nhằm khẳng định rằng sai số bám quỹ đạo vị trí, vận tốc và sai số ước lượng trọng số của các mạng nơ-ron đều hội tụ về một lân cận nhỏ quanh gốc tọa độ trong thời gian hữu hạn.

Kết luận

Luận án của tác giả Vũ Văn Tú đã giải quyết bài toán điều khiển bám quỹ đạo tối ưu cho hệ lái tàu thủy ba bậc tự do đủ cơ cấu chấp hành trong điều kiện có nhiễu môi trường và bất định mô hình. Tác giả đã phát triển thành công các cấu trúc điều khiển bám tối ưu dựa trên giải thuật quy hoạch động thích nghi (ADP) kết hợp với các bộ ước lượng nhiễu RISE và DO khi có mô hình, cùng thuật toán học tăng cường tích phân ngoại tuyến (off-policy IRL) giải phương trình HJI khi không có mô hình. Toàn bộ các thuật toán đề xuất đều được chứng minh tính ổn định UUB bằng lý thuyết Lyapunov và được đánh giá tính hiệu quả thông qua mô phỏng số trên môi trường Matlab.