THIẾT KẾ BỘ ĐIỀU KHIỂN BÁM TỐI ƯU BỀN VỮNG CHO HỆ THỐNG TÀU THỦY PHI TUYẾN: BƯỚC ĐỘT PHÁ TỪ QUY HOẠCH ĐỘNG THÍCH NGHI (ADP)

Tóm tắt nghiên cứu (Research Summary)

  • Câu hỏi nghiên cứu chính (Core Research Question): Làm thế nào để thiết kế một hệ thống điều khiển bám quỹ đạo tự động cho tàu thủy mặt nước vừa đảm bảo tối ưu hóa tiêu hao năng lượng, vừa duy trì tính bền vững trước các nhiễu loạn môi trường biển phức tạp (sóng, gió, dòng chảy) mà không đòi hỏi phải biết chính xác mô hình động lực học phi tuyến nội tại của con tàu?
  • Phương pháp luận tổng quan (Methodology Snapshot): Đề tài ứng dụng lý thuyết Quy hoạch động thích nghi (Adaptive Dynamic Programming - ADP) kết hợp công nghệ Học tăng cường (Reinforcement Learning - RL). Nghiên cứu triển khai thuật toán Học tăng cường tích phân trực tuyến (Online Integral Reinforcement Learning - OIRL) để giải phương trình Hamilton-Jacobi-Bellman (HJB) cho trường hợp lý tưởng, và thuật toán Off-policy IRL giải phương trình Hamilton-Jacobi-Isaacs (HJI) trên cơ sở lý thuyết trò chơi vi phân tổng bằng không (Zero-sum Differential Game) nhằm triệt tiêu nhiễu loạn ngoại cảnh theo chuẩn suy giảm $L_2$-gain. Mạng nơ-ron nhân tạo (NN) truyền thẳng (MLP) cấu trúc Actor-Critic được sử dụng để xấp xỉ hàm chi phí, luật điều khiển tối ưu và luật nhiễu xấu nhất.
  • Phát hiện cốt lõi (Key Findings): Giải thuật đề xuất giúp hệ thống lái tàu thủy 3 bậc tự do (3-DOF) bám chính xác quỹ đạo mong muốn với sai số tiệm cận về 0; các trọng số mạng nơ-ron hội tụ nhanh chóng về giá trị cận tối ưu; đặc biệt hệ thống duy trì độ ổn định vững chắc ngay cả khi chịu các dạng nhiễu bất định mạnh mà không cần thông tin mô hình động lực học $f(x)$.
  • Ý nghĩa ứng dụng (Implications): Cung cấp giải pháp công nghệ điều khiển tự động tiên tiến cho các dòng tàu tuần tra, tàu dịch vụ hậu cần, hệ thống định vị động (Dynamic Positioning - DP) và các phương tiện mặt nước không người lái (USV), góp phần nâng cao độ an toàn hàng hải và tiết kiệm nhiên liệu trong vận tải biển.

Bối cảnh và tầm quan trọng (Context & Significance)

Thực trạng tri thức hiện tại

Vận tải biển đóng vai trò huyết mạch trong nền kinh tế toàn cầu, chịu trách nhiệm chuyên chở hơn 80% tổng khối lượng hàng hóa xuất nhập khẩu quốc tế. Việc nâng cao hiệu quả vận hành, tiết kiệm năng lượng và đảm bảo an toàn tuyệt đối cho các phương tiện hàng hải luôn là ưu tiên chiến lược. Tuy nhiên, tàu thủy là một hệ thống vật lý phi tuyến bậc cao với các đặc thù kỹ thuật phức tạp:

  • Quán tính khối lượng cực lớn và độ trễ phản ứng cao.
  • Biên độ dự trữ ổn định nhỏ, dễ dao động theo nhiều bậc tự do.
  • Các hệ số thủy động lực học (khối lượng nước kèm, ma sát nhớt, lực suy giảm) liên tục thay đổi theo tải trọng, tốc độ và trạng thái sóng biển.

Khoảng trống nghiên cứu (Research Gap)

Phần lớn các bộ điều khiển kinh điển (như PID, điều khiển trượt SMC, hay Backstepping truyền thống) đều yêu cầu thông tin mô hình toán học giải tích chính xác của tàu hoặc đòi hỏi năng lượng điều khiển rất lớn để bù trừ sai lệch, gây hao mòn cơ cấu chấp hành và lãng phí nhiên liệu.

Trong khi đó, việc ứng dụng lý thuyết điều khiển tối ưu cho hệ phi tuyến đòi hỏi phải giải phương trình vi phân đạo hàm riêng Hamilton-Jacobi-Bellman (HJB) hoặc Hamilton-Jacobi-Isaacs (HJI) khi có nhiễu. Đây là những phương trình phi tuyến phi cấu trúc cực kỳ khó hoặc không thể tìm được nghiệm giải tích giải bằng phương pháp toán học thông thường. Các nghiên cứu ứng dụng ADP/RL trước đây chủ yếu dừng lại ở các hệ cơ điện tử đơn giản hoặc hệ thống trên bờ, rất ít công trình giải quyết triệt để bài toán bám quỹ đạo tối ưu bền vững cho tàu thủy khi hoàn toàn không biết mô hình động học nội và có nhiễu đầu vào biến động.

Tính cấp thiết và tác động tiềm năng

Nghiên cứu của nhóm tác giả tại Khoa Điện Cơ – Trường Đại học Hải Phòng đã giải quyết trúng khoảng trống khoa học này. Kết quả nghiên cứu mở ra hướng tiếp cận hoàn toàn mới dựa trên dữ liệu (data-driven/model-free control), cho phép tàu thủy tự học và tối ưu hóa luật lái trực tuyến, thích ứng linh hoạt với điều kiện hải trình khắc nghiệt.

Phương pháp luận và cách tiếp cận (Methodology & Approach)

                       +-------------------------------------------------------+
                       |              Mô hình Tàu thủy 3-DOF                   |
                       |       (Surge, Sway, Yaw - Đủ cơ cấu chấp hành)        |
                       +-------------------------------------------------------+
                                                  |
                                                  v
                       +-------------------------------------------------------+
                       |        Biến đổi sai số & Thiết kế Điều khiển ảo       |
                       |          z_eta = eta - eta_d  -->  Alpha_1 (Kinematic)|
                       +-------------------------------------------------------+
                                                  |
                                                  v
                       +-------------------------------------------------------+
                       |     Chuyển đổi sang Hệ dừng trạng thái mở rộng X      |
                       |           X_dot = F(X) + G(X)[u + tau_d]              |
                       +-------------------------------------------------------+
                                                  |
                         +------------------------+-------------------------+
                         |                                                  |
                         v                                                  v
        +----------------------------------+       +----------------------------------+
        |   KHI KHÔNG CÓ NHIỄU MÔI TRƯỜNG  |       |     KHI CÓ NHIỄU BẤT ĐỊNH        |
        |        (Thuật toán OIRL)         |       |     (Thuật toán Off-policy IRL)  |
        +----------------------------------+       +----------------------------------+
        | - Giải HJB dạng tích phân        |       | - Lý thuyết trò chơi Minimax     |
        | - 1 Mạng Nơ-ron Critic           |       | - Giải HJI dạng tích phân        |
        | - Học trực tuyến không cần f(X)  |       | - 3 Mạng Nơ-ron (Critic/Actor/   |
        | - Đảm bảo ổn định tiệm cận       |       |   Disturber)                     |
        |                                  |       | - Suy giảm nhiễu L2-gain         |
        +----------------------------------+       +----------------------------------+
                         |                                                  |
                         +------------------------+-------------------------+
                                                  |
                                                  v
                       +-------------------------------------------------------+
                       |        Cập nhật trọng số bằng thuật toán LSE          |
                       |         & Kiểm chứng ổn định theo Lyapunov            |
                       +-------------------------------------------------------+

1. Thiết lập mô hình động lực học tàu thủy 3 bậc tự do

Nghiên cứu tập trung vào mô hình chuyển động phẳng ngang 3 bậc tự do (3-DOF) của tàu thủy đủ cơ cấu chấp hành (Fully-actuated surface vessel) theo chuẩn quốc tế SNAME:

  • Trượt dọc ($u$ - surge): Chuyển động tiến/lùi dọc trục thân tàu.
  • Trượt ngang ($v$ - sway): Chuyển động dạt ngang mạn tàu.
  • Quay trở ($r$ - yaw): Chuyển động quay quanh trục đứng định hướng mũi tàu.

Mô hình toán học phi tuyến tổng quát được biểu diễn dưới dạng: $$\dot{\eta} = J(\psi)v$$ $$M\dot{v} + C(v)v + D(v)v + g(\eta) = \tau + \tau_w(\eta, v, t)$$

Trong đó: $\eta = [x, y, \psi]^T$ là vị trí và góc hướng trong hệ tọa độ Trái đất (NED); $v = [u, v, r]^T$ là vận tốc trong hệ tọa độ gắn thân (Body-fixed); $M, C(v), D(v)$ lần lượt là ma trận quán tính, ma trận Coriolis/hướng tâm và ma trận suy giảm thủy động lực học; $\tau$ là lực/mô-men sinh ra từ cơ cấu chấp hành; $\tau_w$ là vector nhiễu sóng gió bất định.

2. Kỹ thuật điều khiển ảo và chuyển đổi hệ dừng

Bằng cách phân tách bài toán thành hai khâu:

  • Khâu động học: Thiết kế tín hiệu vận tốc ảo $\alpha_1 = J^{-1}(\psi)(-K_1 z_\eta + \dot{\eta}d)$ dựa trên hàm Lyapunov nhằm triệt tiêu sai số vị trí $z\eta = \eta - \eta_d$.
  • Khâu động lực học: Đưa hệ kín về dạng phương trình trạng thái dừng mở rộng $X = [z_\eta^T, z_v^T, \eta_d^T]^T \in \mathbb{R}^9$: $$\dot{X} = F(X) + G(X)(u + \tau_d)$$ với luật điều khiển tổng quát $\tau = u + \tau_d$, trong đó $\tau_d$ là thành phần bù truyền thẳng (Feed-forward) và $u$ là tín hiệu điều khiển tối ưu.

3. Xấp xỉ nghiệm phương trình HJB bằng thuật toán OIRL

Trong môi trường không nhiễu, hàm chi phí tích lũy dạng toàn phương $J(X, u) = \int_0^\infty (X^T Q X + u^T R u) dt$ được tối thiểu hóa thông qua phương trình HJB tích phân: $$V^(X(t)) = \int_t^{t+T} (X^T Q X + u^T R u) dt + V^(X(t+T))$$ Phương pháp OIRL (Online Integral Reinforcement Learning) cho phép loại bỏ hoàn toàn sự phụ thuộc vào hàm động lực học nội $F(X)$. Cấu trúc chỉ sử dụng một mạng nơ-ron Critic duy nhất để xấp xỉ hàm giá trị Bellman: $V(X) \approx W_L^T \sigma_L(X)$.

4. Điều khiển tối ưu bền vững giải phương trình HJI qua Off-policy IRL

Khi có nhiễu loạn môi trường bất định $d(X)$, bài toán được thiết lập dưới dạng trò chơi vi phân tổng bằng không (ZDGT) với chỉ tiêu suy giảm nhiễu $L_2$-gain: $$\int_0^\infty (X^T Q X + u^T R u) dt \le \gamma^2 \int_0^\infty |d|^2 dt$$ Thuật toán Off-policy IRL được nhóm tác giả phát triển với 3 mạng nơ-ron độc lập:

  1. Critic NN ($W_1$): Xấp xỉ hàm chi phí tối ưu $V^*(X)$.
  2. Actor NN ($W_2$): Xấp xỉ luật điều khiển tối ưu $u^(X) = -\frac{1}{2} R^{-1} G^T(X) \nabla V^(X)$.
  3. Disturber NN ($W_3$): Ước lượng luật nhiễu xấu nhất $d^(X) = \frac{1}{2\gamma^2} k^T(X) \nabla V^(X)$.

Quá trình học sử dụng phương pháp Bình phương tối thiểu sai số (Least Square Error - LSE) để tối thiểu hóa sai lệch sai phân tạm thời (Temporal Difference - TD Error) trực tuyến mà không đòi hỏi điều kiện kích thích liên tục khắt khe (Persistence of Excitation - PE).

Phát hiện chính (Key Findings)

Dựa trên kết quả phân tích lý thuyết toán học và mô phỏng số trên mô hình tàu thực nghiệm thu nhỏ (tỷ lệ 1:75, khối lượng $m = 21\text{ kg}$, chiều dài $L = 1.3\text{ m}$), nghiên cứu đã đạt được các phát hiện nổi bật sau:

1. Khả năng tự thích nghi và bám quỹ đạo chính xác tuyệt đối

  • Quỹ đạo tròn thử nghiệm: Hệ thống điều khiển OIRL và Off-policy IRL dẫn dắt tàu bám sát quỹ đạo hình tròn phức tạp với bán kính đặt trước.
  • Triệt tiêu sai số: Sai số vị trí trên trục tọa độ $x$ ($e_x$), trục $y$ ($e_y$) và sai số góc hướng mũi tàu $e_\psi$ nhanh chóng hội tụ về lân cận 0 chỉ sau một khoảng thời gian ngắn khởi động và duy trì ổn định trong suốt hành trình.
Thông số đánh giá Thuật toán Actor-Critic cổ điển Thuật toán Off-policy IRL đề xuất Mức độ cải thiện
Yêu cầu mô hình động học Bắt buộc biết $F(X), G(X)$ Không yêu cầu biết $F(X)$ Tối ưu hóa tính linh hoạt
Tốc độ hội tụ trọng số Tuần tự, phụ thuộc PE Song song, hội tụ nhanh Tăng tốc độ đáp ứng > 35%
Khả năng kháng nhiễu ($L_2$) Kém khi nhiễu biến thiên mạnh Triệt tiêu nhiễu tối ưu theo HJI Độ lệch quỹ đạo giảm > 60%
Tiêu hao năng lượng ($\tau$) Dao động lớn, quá điều khiển Mượt mà, không bão hòa Tiết kiệm năng lượng rõ rệt

2. Sự hội tụ ổn định của các trọng số nơ-ron

Trọng số của mạng Critic trong thuật toán OIRL hội tụ nhanh chóng về vector giá trị dừng ổn định: $$W = [0.6620, 0.2190, 0.0425, 0.3367, 0.1631, 0.0173, -0.0045, 0.0031, 0.1835, 8.1800, 6.8034, 4.6509]^T$$ Điều này chứng minh tính đúng đắn của việc lựa chọn hàm kích hoạt phi tuyến và khẳng định thuật toán không bị rơi vào hiện tượng phân kỳ tham số.

3. Hiệu năng vượt trội trong điều kiện nhiễu môi trường cực đoan

Khi kích hoạt các hàm nhiễu sóng gió phức tạp (hàm nhiễu liên tục "hàm 1" và nhiễu xung "hàm 2"):

  • Bộ điều khiển Actor-Critic truyền thống bị dao động mạnh quanh quỹ đạo đặt, biên độ sai số $e_x, e_y$ lớn.
  • Bộ điều khiển Off-policy IRL duy trì quỹ đạo bám sát gần như trùng khớp với đường đặt, chứng minh tính ưu việt của cơ chế triệt tiêu nhiễu dựa trên phương trình HJI và lý thuyết ZDGT.

4. Tín hiệu điều khiển êm thuận, bảo vệ cơ cấu chấp hành

Tín hiệu lực đẩy dọc $\tau_u$, lực đẩy ngang $\tau_v$ và mô-men quay bánh lái $\tau_r$ biến thiên trơn, không xuất hiện hiện tượng chattering (rung giật tần số cao) thường gặp ở bộ điều khiển trượt SMC, giúp bảo vệ động cơ chân vịt và hệ thống bánh lái thủy lực.

Đóng góp khoa học (Scientific & Practical Contributions)

========================================================================================
                                 ĐÓNG GÓP CỦA ĐỀ TÀI
========================================================================================
          LÝ THUYẾT & PHƯƠNG PHÁP LUẬN                     THỰC TIỄN & CHUYỂN GIAO
------------------------------------------------  --------------------------------------
• Mở rộng lý thuyết ADP/RL cho hệ phi tuyến MIMO  • Ứng dụng điều khiển tàu tuần tra, USV
• Chứng minh toán học nghiệm HJB/HJI tích phân   • Tiết kiệm năng lượng & bảo vệ phần cứng
• Cấu trúc 3 Mạng Nơ-ron xử lý triệt để nhiễu     • 02 Công bố Khoa học chuyên ngành (2023-2024)
========================================================================================

Đóng góp về mặt lý thuyết và phương pháp luận

  1. Thiết lập khung toán học chặt chẽ: Đề tài đã phát biểu và chứng minh thành công các định lý về tính chất hội tụ tham số và tính ổn định tiệm cận (Uniformly Ultimately Bounded - UUB) của hệ kín dựa trên hàm thế Lyapunov.
  2. Đột phá trong giải thuật xấp xỉ: Chuyển đổi thành công việc giải phương trình HJB/HJI từ dạng vi phân phức tạp sang dạng tích phân gia số thời gian. Giải pháp này cho phép thiết kế bộ điều khiển tối ưu bám quỹ đạo mà không cần biết ma trận động học nội của đối tượng.
  3. Cơ chế kháng nhiễu chủ động: Ứng dụng sáng tạo lý thuyết trò chơi vi phân ZDGT vào bài toán điều khiển hàng hải, biến vector nhiễu môi trường thành một "đối thủ" trong trò chơi minimax, từ đó tìm ra luật điều khiển triệt tiêu ảnh hưởng của nhiễu một cách chủ động.

Đóng góp về mặt thực tiễn và chuyển giao công nghệ

  • Công bố khoa học uy tín: Đề tài đã công bố 02 công trình nghiên cứu trên Tạp chí Khoa học Kinh tế và Kỹ thuật - Công nghệ (Trường ĐH Hải Phòng) vào tháng 09/2023 (Số 60) và tháng 01/2024 (Số 62).
  • Khả năng ứng dụng cao: Kết quả nghiên cứu có thể chuyển giao trực tiếp cho Bộ môn Điện – Khoa Điện Cơ để phục vụ công tác giảng dạy chuyên ngành Điều khiển tự động, đồng thời là tài liệu tham khảo giá trị cho các viện thiết kế tàu thủy, doanh nghiệp chế tạo phương tiện không người lái USV phục vụ quốc phòng - an ninh biển và cứu hộ cứu nạn.

Đối tượng quan tâm (Target Audience & Benefits)

  • Các nhà nghiên cứu và Giảng viên ngành Tự động hóa / Kỹ thuật Điều khiển: Tiếp cận khung phương pháp luận hiện đại về Học tăng cường tích phân (IRL) và Quy hoạch động thích nghi (ADP) áp dụng cho hệ thống phi tuyến MIMO đa biến.
  • Kỹ sư thiết kế và vận hành hệ thống Hàng hải: Nhận được giải pháp kỹ thuật cụ thể để nâng cấp hệ thống lái tự động (Autopilot) và hệ thống định vị động (DP System) trên các tàu dịch vụ dầu khí, tàu tuần tra, tàu chở hàng tải trọng lớn.
  • Các đơn vị phát triển thiết bị tự hành (USV/AUV): Ứng dụng thuật toán điều khiển thông minh không phụ thuộc mô hình để phương tiện tự học cách bám quỹ đạo và tránh vật cản tối ưu trong môi trường biển biến động.
  • Nhà quản lý đội tàu và hoạch định logistics biển: Giải pháp giảm thiểu suất tiêu hao nhiên liệu trên hải trình dài nhờ tối ưu hóa liên tục hàm chi phí năng lượng.

Câu hỏi thường gặp (FAQ)

1. Phát hiện quan trọng nhất của đề tài nghiên cứu này là gì?

Trả lời: Phát hiện cốt lõi là việc chứng minh và kiểm chứng thành công thuật toán Off-policy IRL, cho phép tàu thủy tự động học luật điều khiển bám quỹ đạo tối ưu và kháng nhiễu hoàn hảo mà hoàn toàn không cần biết trước mô hình toán học động lực học nội tại ($f(x)$) của tàu.

2. Điểm khác biệt lớn nhất giữa phương pháp đề xuất và điều khiển tối ưu cổ điển (như LQR/HJB truyền thống) là gì?

Trả lời: Điều khiển tối ưu cổ điển đòi hỏi mô hình toán học giải tích tuyến tính hoặc phi tuyến chính xác tuyệt đối và phải giải phương trình vi phân HJB rất phức tạp. Phương pháp ADP/IRL trong đề tài chuyển phương trình HJB/HJI sang dạng tích phân, sử dụng mạng nơ-ron để xấp xỉ nghiệm trực tuyến dựa trên dữ liệu vận hành thực tế mà không cần mô hình giải tích.

3. Kết quả mô phỏng trên mô hình tàu thu nhỏ có thể khái quát hóa (generalize) cho tàu thật kích thước lớn không?

Trả lời: Hoàn toàn có thể. Do phương pháp điều khiển đề xuất thuộc nhóm tiếp cận phi tham số/không cần mô hình (data-driven), khi áp dụng cho tàu thật có tải trọng lớn, các đặc tính quán tính và lực cản sẽ được phản ánh trực tiếp qua dữ liệu trạng thái thu thập được, mạng nơ-ron sẽ tự động thích nghi và điều chỉnh trọng số tương ứng.

4. Thuật toán có đòi hỏi năng lực tính toán phần cứng quá cao khi triển khai thực tế không?

Trả lời: Không. Cấu trúc mạng nơ-ron được sử dụng là mạng truyền thẳng một lớp ẩn (MLP) với số lượng nơ-ron vừa phải ($L$ nút). Thuật toán cập nhật trọng số dựa trên giải tích bình phương tối thiểu (LSE), hoàn toàn khả thi để thực thi thời gian thực trên các bộ xử lý công nghiệp hoặc vi điều khiển nhúng chuyên dụng (như DSP, ARM, FPGA, IPC).

5. Hướng phát triển tiếp theo của nghiên cứu này là gì?

Trả lời: Nhóm nghiên cứu định hướng mở rộng thuật toán cho tàu thủy thiếu cơ cấu chấp hành (Underactuated Surface Vessels) – lớp đối tượng phổ biến nhưng có độ khó điều khiển cao hơn rất nhiều, đồng thời triển khai thử nghiệm thực địa trên mô hình tàu thật tại môi trường vịnh/biển tự nhiên.

Kết luận (Conclusion)

Báo cáo đề tài NCKH của ThS. Nguyễn Thị Thu Hiền và cộng sự tại Trường Đại học Hải Phòng đã đóng góp một giải pháp xuất sắc cho bài toán điều khiển bám quỹ đạo tối ưu bền vững cho hệ thống phi tuyến. Bằng việc kết hợp nhuần nhuyễn giữa Quy hoạch động thích nghi (ADP), Học tăng cường tích phân (IRL) và Mạng nơ-ron nhân tạo, nghiên cứu đã phá vỡ rào cản phụ thuộc mô hình toán học và giải quyết trọn vẹn bài toán triệt tiêu nhiễu môi trường biển theo chuẩn HJI.

Đây là tiền đề khoa học vững chắc để phát triển các thế hệ hệ thống lái tàu tự động thông minh, thân thiện với môi trường và có độ tin cậy cao. Các viện nghiên cứu, trường đại học và doanh nghiệp công nghệ hàng hải được khuyến khích tiếp cận, ứng dụng và thương mại hóa các kết quả nghiên cứu này vào thực tiễn sản xuất và quốc phòng.