I. Khám phá nghiệm viscosity cho bài toán thời gian thoát ra
Luận văn thạc sĩ toán học về nghiệm viscosity của bài toán điều khiển với thời gian thoát ra là một công trình nghiên cứu chuyên sâu, tập trung vào việc áp dụng một khái niệm hiện đại của giải tích phi tuyến để giải quyết một lớp bài toán phức tạp trong lý thuyết điều khiển tối ưu (optimal control theory). Trọng tâm của nghiên cứu là các bài toán mà thời điểm kết thúc của một quá trình không được định trước, mà phụ thuộc vào thời điểm quỹ đạo của hệ thống lần đầu tiên chạm vào một tập mục tiêu cho trước. Dạng bài toán này, được gọi là bài toán thời gian thoát ra (exit time problem), có nhiều ứng dụng thực tiễn trong robot, kinh tế và kỹ thuật. Thay vì tìm kiếm các nghiệm cổ điển (khả vi liên tục), vốn thường không tồn tại do tính không trơn của hàm giá trị, luận văn tập trung vào khái niệm lời giải độ nhớt (viscosity solution). Khái niệm này, do M.G. Crandall và P.L. Lions giới thiệu vào đầu những năm 1980, cho phép xử lý các phương trình vi phân đạo hàm riêng (partial differential equations - PDEs) phi tuyến mà không yêu cầu nghiệm phải khả vi. Cụ thể, hàm giá trị của bài toán điều khiển tối ưu được chứng minh là một nghiệm viscosity của một phương trình đặc biệt gọi là phương trình Hamilton-Jacobi-Bellman (HJB equation). Phương pháp này cung cấp một công cụ mạnh mẽ để phân tích sự tồn tại, tính duy nhất và các tính chất quan trọng khác của lời giải, mở ra hướng tiếp cận hiệu quả cho các bài toán điều khiển phức tạp.
1.1. Giới thiệu bài toán điều khiển tối ưu với thời gian thoát ra
Một bài toán điều khiển tối ưu với thời gian thoát ra xem xét một hệ thống động lực, mô tả bởi phương trình trạng thái ẏ(t) = f(y(t), u(t)), trong đó y(t) là trạng thái và u(t) là điều khiển. Mục tiêu là tìm một chiến lược điều khiển u(t) để tối thiểu hóa một phiếm hàm chi phí, ví dụ J(u) = ∫ L(y(s), u(s))ds + g(y(τ)). Điểm đặc biệt là thời gian cuối τ không cố định, mà được định nghĩa là thời điểm đầu tiên quỹ đạo y(t) chạm vào một tập mục tiêu K, tức τ = inf{t > 0 | y(t) ∈ K}. Một trường hợp đặc biệt quan trọng là bài toán thời gian tối tiểu (minimal time problem), nơi L=1 và g=0, mục tiêu là đưa hệ thống đến K trong thời gian ngắn nhất có thể. Các bài toán này là một dạng của bài toán Bolza trong lý thuyết biến phân nhưng với chân trời thời gian không xác định trước, tạo ra những thách thức giải tích đáng kể.
1.2. Vai trò của lời giải độ nhớt trong phương trình HJB
Hàm giá trị V(x) của bài toán điều khiển tối ưu là giá trị tối ưu của phiếm hàm chi phí khi hệ thống bắt đầu từ trạng thái x. Theo nguyên lý lập trình động (dynamic programming principle), hàm giá trị này phải thỏa mãn một phương trình vi phân đạo hàm riêng phi tuyến cấp một, đó là phương trình Hamilton-Jacobi-Bellman (HJB equation): H(x, DV(x)) = 0. Tuy nhiên, hàm giá trị V(x) thường không khả vi tại mọi điểm. Đây là lúc khái niệm lời giải độ nhớt phát huy vai trò. Nó định nghĩa một nghiệm yếu, không yêu cầu tính khả vi, mà chỉ cần thỏa mãn các bất đẳng thức vi phân thông qua các hàm thử trơn. Việc chứng minh hàm giá trị là nghiệm viscosity duy nhất của phương trình HJB tương ứng là một kết quả trung tâm, cho phép phân tích bài toán điều khiển thông qua các công cụ mạnh của lý thuyết PDEs.
II. Lý do cần nghiệm viscosity trong bài toán điều khiển tối ưu
Trong lý thuyết điều khiển tối ưu cổ điển, việc tìm kiếm lời giải thường dựa vào các công cụ giải tích yêu cầu tính trơn (khả vi) của các hàm liên quan. Nguyên lý cực đại Pontryagin cung cấp điều kiện cần cho một quỹ đạo tối ưu, trong khi phương pháp lập trình động dẫn đến phương trình HJB, một điều kiện đủ. Tuy nhiên, một thách thức lớn nảy sinh khi hàm giá trị của bài toán, đại diện cho chi phí tối ưu, thường không khả vi ở mọi nơi. Sự thiếu trơn này không phải là một trường hợp cá biệt mà là một đặc tính cố hữu của nhiều bài toán điều khiển tối ưu, đặc biệt là các bài toán có ràng buộc hoặc các bài toán thời gian tối tiểu. Ví dụ, trong bài toán lái xe đến một điểm đích nhanh nhất, hàm giá trị thời gian tối tiểu có thể có các điểm "gấp khúc" hoặc "góc cạnh" tại những nơi có nhiều con đường tối ưu. Tại các điểm kỳ dị này, gradient của hàm giá trị không được xác định, khiến cho việc giải phương trình HJB theo nghĩa cổ điển trở nên bất khả thi. Đây chính là lúc khái niệm nghiệm yếu (weak solution), đặc biệt là lời giải độ nhớt, trở nên cần thiết. Nó tổng quát hóa khái niệm nghiệm cổ điển, cho phép các hàm không trơn vẫn được xem là lời giải hợp lệ, miễn là chúng thỏa mãn một bộ tiêu chuẩn phù hợp tại các điểm kỳ dị. Sự ra đời của nghiệm viscosity đã tạo ra một cuộc cách mạng, cung cấp một khuôn khổ lý thuyết vững chắc để đảm bảo sự tồn tại và duy nhất của nghiệm cho một lớp rộng các phương trình HJB.
2.1. Hạn chế của nghiệm cổ điển Tính không khả vi của hàm giá trị
Hàm giá trị V(x) trong một bài toán điều khiển tối ưu thường chỉ liên tục Lipschitz chứ không khả vi liên tục (C¹). Các điểm không khả vi, hay còn gọi là tập kỳ dị, thường xuất hiện ở những nơi mà quỹ đạo tối ưu thay đổi một cách đột ngột hoặc có nhiều quỹ đạo tối ưu cùng xuất phát từ một điểm. Ví dụ, hàm khoảng cách d_K(x) đến một tập K không lồi có thể không khả vi. Khi hàm giá trị không trơn, khái niệm đạo hàm cổ điển trong phương trình HJB không còn ý nghĩa. Điều này ngăn cản việc áp dụng trực tiếp các phương pháp giải tích kinh điển. Nỗ lực tìm kiếm các định nghĩa nghiệm yếu khác trước đây cũng gặp nhiều khó khăn, vì chúng thường không đảm bảo được tính duy nhất của lời giải.
2.2. Định nghĩa và ưu điểm của khái niệm lời giải độ nhớt
Một hàm liên tục u(x) được gọi là nghiệm dưới viscosity của H(x, u, Du) = 0 nếu tại mọi điểm cực đại địa phương x₀ của u - φ (với φ là hàm thử trơn), ta có H(x₀, u(x₀), Dφ(x₀)) ≤ 0. Tương tự, nó là nghiệm trên viscosity nếu tại các điểm cực tiểu địa phương, bất đẳng thức ngược lại được thỏa mãn. Một hàm vừa là nghiệm trên vừa là nghiệm dưới được gọi là nghiệm viscosity. Ưu điểm lớn của định nghĩa này là nó chỉ dựa vào tính chất cực trị địa phương của hàm, không yêu cầu sự tồn tại của đạo hàm. Điều này giúp nó xử lý được các điểm kỳ dị. Quan trọng hơn, lý thuyết này cung cấp các định lý so sánh (comparison principle) mạnh mẽ, từ đó suy ra tính duy nhất của nghiệm, giải quyết một vấn đề cốt lõi mà các khái niệm nghiệm yếu trước đó chưa làm được.
III. Phương pháp xây dựng phương trình Hamilton Jacobi Bellman
Nền tảng để kết nối lý thuyết điều khiển tối ưu và lý thuyết phương trình vi phân đạo hàm riêng chính là nguyên lý lập trình động của Bellman. Nguyên lý này phát biểu một cách trực quan rằng: nếu một quỹ đạo là tối ưu từ điểm đầu đến điểm cuối, thì bất kỳ đoạn con nào của quỹ đạo đó cũng phải là tối ưu giữa hai điểm mút của đoạn con đó. Từ nguyên lý này, ta có thể suy ra một phương trình cơ bản mà hàm giá trị V(x) phải thỏa mãn. Cụ thể, xét một khoảng thời gian nhỏ [0, t], giá trị V(x) tại điểm đầu x phải bằng chi phí tích lũy trong khoảng thời gian này cộng với giá trị V(y(t)) tại điểm cuối y(t), sau khi đã tối ưu hóa trên mọi điều khiển có thể. Bằng cách cho t tiến về 0 và thực hiện khai triển Taylor (một cách không chính thức), ta thu được phương trình Hamilton-Jacobi-Bellman (HJB equation). Phương trình này có dạng: sup_u∈U {-f(x, u) ⋅ DV(x) - L(x, u)} = 0, hoặc H(x, DV(x)) = 0, với H(x, p) = sup_u∈U {-f(x, u) ⋅ p - L(x, u)} là hàm Hamilton. Hàm Hamilton đóng vai trò trung tâm, mã hóa cả động lực của hệ thống (f) và chi phí vận hành (L). Việc giải phương trình HJB này tương đương với việc giải bài toán điều khiển tối ưu ban đầu. Tuy nhiên, như đã phân tích, vì V(x) có thể không trơn, phương trình này phải được hiểu theo nghĩa nghiệm viscosity.
3.1. Áp dụng nguyên lý lập trình động cho bài toán thời gian thoát ra
Đối với bài toán thời gian thoát ra, nguyên lý lập trình động được phát biểu như sau: với mọi thời điểm t < τ(x, u*) (thời gian thoát ra của quỹ đạo tối ưu u*), ta có V(x) = ∫₀ᵗ L(y*(s), u*(s))ds + V(y*(t)). Mệnh đề này khẳng định rằng chi phí tối ưu từ điểm x bằng chi phí đã phát sinh đến thời điểm t cộng với chi phí tối ưu còn lại từ trạng thái y*(t). Nguyên lý này là cơ sở để chứng minh rằng hàm giá trị V(x) là một lời giải độ nhớt của phương trình HJB. Nó cho phép thiết lập các bất đẳng thức vi phân cần thiết trong định nghĩa nghiệm viscosity bằng cách so sánh giá trị tại x với giá trị tại các điểm lân cận dọc theo một quỹ đạo.
3.2. Hàm Hamilton và liên kết với bài toán thời gian tối tiểu
Hàm Hamilton H(x, p) đóng vai trò then chốt. Nó biểu diễn tốc độ thay đổi chi phí tối ưu nhất theo hướng -p. Trong trường hợp đặc biệt của bài toán thời gian tối tiểu (MTP), chi phí vận hành L(x, u) = 1 và chi phí cuối g = 0. Khi đó, hàm Hamilton có dạng H(x, p) = sup_u∈U {-f(x, u) ⋅ p} - 1. Phương trình HJB tương ứng là sup_u∈U {-f(x, u) ⋅ p} = 1. Phương trình này có một ý nghĩa hình học sâu sắc: nó mô tả mặt biên của tập hợp các vận tốc có thể đạt được của hệ thống, và nó cho thấy hàm giá trị thời gian tối tiểu T(x) có gradient với độ lớn được xác định bởi động lực của hệ thống. Đây là một phương trình eikonal phi tuyến, một lớp phương trình quan trọng trong hình học và vật lý.
IV. Cách chứng minh hàm giá trị là một nghiệm viscosity thực thụ
Việc chứng minh hàm giá trị V(x) của bài toán điều khiển với thời gian thoát ra là một nghiệm viscosity của phương trình HJB là một trong những kết quả trọng tâm của luận văn. Quá trình này đòi hỏi việc phân tích sâu sắc các tính chất giải tích của hàm V(x). Thay vì chứng minh trực tiếp tính khả vi, nghiên cứu tập trung vào hai đặc tính quan trọng: tính liên tục Lipschitz địa phương và tính nửa lõm (semiconcavity). Tính liên tục Lipschitz đảm bảo rằng hàm giá trị không thay đổi quá đột ngột, là một yêu cầu cơ bản để lý thuyết nghiệm viscosity có thể áp dụng được. Tính chất này được thiết lập bằng cách sử dụng các giả thiết về tính trơn của động lực hệ thống và chi phí, cùng với các điều kiện hình học trên tập mục tiêu K. Quan trọng hơn, tính nửa lõm là một dạng "lồi một phía" tổng quát. Một hàm nửa lõm có thể không lồi nhưng vẫn có các tính chất chính quy tốt, chẳng hạn như có trên vi phân (superdifferential) không rỗng tại mọi điểm. Tính chất này là chìa khóa để liên kết hàm giá trị với phương trình HJB. Luận văn đã chỉ ra rằng, dưới các giả thiết hợp lý về hệ thống (như (H0), (H1), (H2), (L1), (L3) và điều kiện hình cầu trong cho tập mục tiêu), hàm giá trị V(x) thực sự thuộc lớp SCL_loc(ℝⁿ \ K), tức là nửa lõm địa phương. Kết quả này không chỉ giúp chứng minh V(x) là lời giải độ nhớt mà còn cung cấp thông tin chi tiết về cấu trúc của các điểm kỳ dị của nó.
4.1. Khảo sát tính liên tục Lipschitz của hàm giá trị V x
Tính liên tục Lipschitz của hàm giá trị V(x) được chứng minh trong Định lý 2.8 của luận văn. Chứng minh này dựa trên việc so sánh giá trị của V tại hai điểm gần nhau x₁ và x₀. Bằng cách sử dụng quỹ đạo tối ưu xuất phát từ x₀ và áp dụng nó cho điểm đầu x₁, ta có thể ước lượng sự chênh lệch |V(x₁) - V(x₀)|. Quá trình này yêu cầu các giả thiết chặt chẽ về hệ thống, bao gồm tính compact của tập điều khiển U và tính liên tục Lipschitz của hàm động lực f và hàm chi phí L. Một điều kiện quan trọng nữa là điều kiện Petrov (2.13), một giả thiết hình học đảm bảo rằng tại biên của tập mục tiêu K, luôn tồn tại một điều khiển có thể "đẩy" quỹ đạo ra xa khỏi biên, ngăn chặn quỹ đạo bị "mắc kẹt". Khi các điều kiện này được thỏa mãn, hàm giá trị sẽ liên tục Lipschitz địa phương trên tập điều khiển được R.
4.2. Chứng minh tính nửa lõm semiconcavity của hàm giá trị
Tính nửa lõm là một tính chất mạnh hơn tính liên tục Lipschitz. Một hàm u(x) được gọi là nửa lõm nếu hàm x ↦ u(x) + C|x|² là lồi với một hằng số C đủ lớn. Trong Định lý 2.10 của luận văn, tác giả chứng minh rằng hàm giá trị V(x) là nửa lõm địa phương. Chứng minh này phức tạp hơn đáng kể, đòi hỏi phải so sánh giá trị V(x) với giá trị trung bình (V(x-h) + V(x+h))/2. Kỹ thuật này sử dụng các quỹ đạo xuất phát từ ba điểm x, x-h, x+h với cùng một điều khiển tối ưu. Việc phân tích các quỹ đạo này và các chi phí tương ứng, kết hợp với các giả thiết về tính trơn cấp hai của hàm động lực f (giả thiết H2) và hàm chi phí L (giả thiết L3), cũng như điều kiện hình cầu trong của tập mục tiêu K, cho phép thiết lập bất đẳng thức định nghĩa tính nửa lõm. Sự tồn tại và duy nhất của nghiệm thường dựa trên các tính chất này.
V. Các kết quả quan trọng về sự tồn tại và duy nhất của nghiệm
Một trong những mục tiêu cuối cùng của việc nghiên cứu nghiệm viscosity của bài toán điều khiển với thời gian thoát ra là thiết lập các kết quả vững chắc về sự tồn tại và duy nhất của nghiệm. Luận văn đã trình bày và chứng minh một số định lý quan trọng về vấn đề này. Đầu tiên là sự tồn tại của quỹ đạo tối ưu. Không phải lúc nào một bài toán điều khiển tối ưu cũng có lời giải. Luận văn chỉ ra rằng, dưới các giả thiết tiêu chuẩn (như (H0), (H1)) và tính lồi của tập hợp các vận tốc {f(x,u) | u ∈ U}, bài toán thời gian tối tiểu luôn có một điều khiển tối ưu. Đối với bài toán tổng quát hơn (ETP), cần thêm các điều kiện về tốc độ tăng của chi phí so với chi phí tích lũy, chẳng hạn như điều kiện α > NG trong Định lý 2.5, để đảm bảo sự tồn tại của quỹ đạo tối ưu. Sau khi thiết lập được hàm giá trị V(x) là một lời giải độ nhớt của phương trình HJB, câu hỏi tiếp theo là tính duy nhất của lời giải này. Đây là điểm mạnh nhất của lý thuyết nghiệm viscosity. Dựa trên các định lý so sánh, có thể chứng minh rằng nếu V₁ là một nghiệm dưới và V₂ là một nghiệm trên của phương trình HJB với các điều kiện biên phù hợp, thì V₁ ≤ V₂. Kết quả này trực tiếp suy ra rằng chỉ có một hàm duy nhất vừa là nghiệm trên vừa là nghiệm dưới, tức là chỉ có một nghiệm viscosity duy nhất. Điều này khẳng định rằng hàm giá trị được định nghĩa từ bài toán điều khiển là lời giải duy nhất hợp lý cho phương trình HJB.
5.1. Điều kiện tồn tại quỹ đạo tối ưu cho bài toán ETP
Định lý 2.5 trong luận văn cung cấp các điều kiện đủ để đảm bảo sự tồn tại của một điều khiển tối ưu cho bài toán thời gian thoát ra tổng quát (ETP). Ngoài các giả thiết cơ bản về tính compact và Lipschitz, định lý yêu cầu một điều kiện cân bằng giữa chi phí cuối g và chi phí vận hành L. Cụ thể, giả thiết rằng luôn tồn tại các hằng số α, G, N > 0 sao cho g(x) - g(y) ≥ ατ - G|x-y| với τ là thời gian để đi từ y đến x với tốc độ không quá N, và α > NG. Điều kiện này ngăn chặn tình huống trong đó việc kéo dài quỹ đạo vô hạn định lại có thể làm giảm chi phí tổng thể, một vấn đề có thể làm cho infimum không đạt được. Dưới điều kiện này, mọi dãy tối thiểu hóa sẽ có thời gian thoát ra bị chặn, cho phép sử dụng các lập luận về tính compact để suy ra sự tồn tại của một quỹ đạo tối ưu.
5.2. Nguyên lý so sánh và tính duy nhất của lời giải độ nhớt
Mặc dù luận văn không trình bày chi tiết chứng minh của định lý so sánh, đây là một kết quả nền tảng trong lý thuyết nghiệm viscosity. Nguyên lý này là công cụ chính để chứng minh tính duy nhất. Nó phát biểu rằng nếu u là nghiệm dưới và v là nghiệm trên của cùng một phương trình HJB, và u ≤ v trên biên của miền xét, thì u ≤ v trên toàn bộ miền. Việc chứng minh tính duy nhất cho bài toán thời gian thoát ra yêu cầu áp dụng nguyên lý này với điều kiện biên V(x) = g(x) trên biên ∂K của tập mục tiêu. Khi đó, hàm giá trị V(x) được chứng minh là nghiệm viscosity duy nhất thỏa mãn điều kiện biên này, củng cố mối liên hệ một-một giữa bài toán điều khiển và phương trình HJB.
VI. Hướng phát triển cho lý thuyết nghiệm viscosity và ứng dụng
Công trình nghiên cứu về nghiệm viscosity của bài toán điều khiển với thời gian thoát ra đã khẳng định giá trị của phương pháp giải tích phi tuyến hiện đại trong việc giải quyết các bài toán tối ưu hóa động. Bằng cách thiết lập một cách chặt chẽ rằng hàm giá trị của bài toán là nghiệm viscosity duy nhất của phương trình Hamilton-Jacobi-Bellman tương ứng, luận văn đã cung cấp một khuôn khổ lý thuyết toàn diện để phân tích bài toán. Các kết quả về tính liên tục Lipschitz và tính nửa lõm không chỉ là các bước trung gian mà còn mang lại những hiểu biết sâu sắc về cấu trúc của lời giải. Các phát hiện này mở ra nhiều hướng phát triển tiềm năng trong tương lai. Một hướng tự nhiên là mở rộng lý thuyết này cho các hệ thống phức tạp hơn. Ví dụ, việc xem xét các hệ thống bị chi phối bởi các yếu tố ngẫu nhiên dẫn đến các bài toán điều khiển ngẫu nhiên (stochastic control). Trong trường hợp này, phương trình HJB sẽ trở thành một phương trình đạo hàm riêng cấp hai. Lý thuyết nghiệm viscosity cũng đã được phát triển mạnh mẽ cho các phương trình cấp hai này và có thể được áp dụng để nghiên cứu các bài toán thời gian thoát ra ngẫu nhiên. Một hướng khác là nghiên cứu các phương pháp số để xấp xỉ lời giải độ nhớt, chẳng hạn như phương pháp sai phân hữu hạn hoặc phần tử hữu hạn, cho phép giải quyết các bài toán ứng dụng thực tế. Tóm lại, lý thuyết nghiệm viscosity tiếp tục là một lĩnh vực nghiên cứu sôi động và đầy hứa hẹn.
6.1. Tóm tắt giá trị khoa học và các kết quả chính của luận văn
Giá trị cốt lõi của luận văn nằm ở việc tổng hợp và trình bày một cách hệ thống các kết quả hiện đại về mối liên hệ giữa lý thuyết điều khiển tối ưu và lý thuyết nghiệm viscosity. Các kết quả chính bao gồm: (1) Chứng minh sự tồn tại của quỹ đạo tối ưu dưới các điều kiện hợp lý. (2) Phân tích chi tiết các tính chất chính quy của hàm giá trị, đặc biệt là tính liên tục Lipschitz địa phương và tính nửa lõm. (3) Thiết lập một cách chặt chẽ rằng hàm giá trị là nghiệm viscosity của phương trình HJB tương ứng. Những kết quả này tạo thành một nền tảng vững chắc cho việc hiểu và giải quyết các bài toán điều khiển với thời gian thoát ra.
6.2. Mở rộng sang bài toán điều khiển ngẫu nhiên stochastic control
Một hướng mở rộng quan trọng là áp dụng các kỹ thuật tương tự cho các bài toán điều khiển ngẫu nhiên. Trong các hệ thống này, động lực được mô tả bởi các phương trình vi phân ngẫu nhiên. Hàm giá trị vẫn được định nghĩa tương tự, nhưng nó sẽ thỏa mãn một phương trình HJB ngẫu nhiên, là một phương trình vi phân đạo hàm riêng phi tuyến cấp hai. Lý thuyết lời giải độ nhớt đã được mở rộng thành công để xử lý các phương trình này. Việc nghiên cứu bài toán thời gian thoát ra trong bối cảnh ngẫu nhiên có nhiều ứng dụng quan trọng, ví dụ như trong tài chính định lượng (bài toán định giá quyền chọn kiểu Mỹ) hoặc trong kỹ thuật (bài toán về độ tin cậy của hệ thống).
