Phương Pháp Ritz Sử Dụng Học Sâu (Deep Learning) Cho Bài Toán Biến Phân Trong Phương Trình Elliptic

Luận văn thạc sĩ toán học nghiên cứu toán ứng dụng phương pháp ritz sử dụng học sâu deep learning cho bài toán biến phân trong phương, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Pham Vu Hoang Son
• Người hướng dẫn: GS.TSKH Đinh Nho Hào
• Trường học: Học Viện Khoa Học Và Công Nghệ Việt Nam
• Chuyên ngành: Toán học
• Đề tài: Phương Pháp Ritz Sử Dụng Học Sâu Trong Giải Bài Toán Biến Phân
• Loại tài liệu: luận văn
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
• MỞ ĐẦU
• Chương 0: Một số kiến thức chuẩn bị
• 0.1. Giải tích hàm
• 0.2. Phương trình đạo hàm riêng
• 1. Chương 1: Bài toán biên phân
• 1.1. Bài toán điều kiện biên Dirichlet thuần nhất
• 1.2. Bài toán điều kiện biên Dirichlet không thuần nhất
• 1.3. Bài toán điều kiện biên Neumann thuần nhất
• 2. Chương 2: Phương pháp giải
• 2.1. Phương pháp Ritz cổ điển
• 2.2. Phương pháp Ritz sử dụng học sâu (deep learning)
• 2.3. Tổng quan về Deep Learning
• 2.4. Thuật toán Monte Carlo trong xấp xỉ tích phân
• 3. Chương 3: Một số ví dụ
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH VẼ

Tóm tắt

I. Giới thiệu Phương pháp Ritz và ứng dụng học sâu 55 ký tự

Phương pháp Ritz là một phương pháp xấp xỉ nghiệm cho bài toán biên của phương trình vi phân bằng cách biểu diễn nó dưới dạng tổ hợp tuyến tính của các hàm cơ sở. Trong phương pháp này, các công cụ cổ điển thường là phương pháp phần tử hữu hạn hoặc phân hữu hạn. Tuy nhiên, với các phương pháp này, bậc tự do tăng theo hàm mũ khi chiều của phương trình tăng. Những năm gần đây, học sâu đã đạt được thành tựu lớn trong nhiều lĩnh vực. Phương pháp Ritz sâu sử dụng học sâu để ước lượng giá của các hàm giúp bài toán biến phân một cách chính xác hơn. Kết quả cho thấy tính hiệu quả của phương pháp này.

1.1. Tổng quan về Phương pháp Ritz cổ điển và hạn chế

Phương pháp Ritz cổ điển dựa trên việc tìm nghiệm xấp xỉ của bài toán biến phân bằng cách biểu diễn nghiệm dưới dạng tổ hợp tuyến tính của các hàm cơ sở được chọn trước. Hạn chế lớn nhất là sự gia tăng bậc tự do theo hàm mũ khi tăng chiều của bài toán. Điều này làm cho phương pháp này trở nên kém hiệu quả đối với các bài toán phức tạp hoặc nhiều chiều. Việc lựa chọn hàm cơ sở cũng ảnh hưởng lớn đến độ chính xác và tốc độ hội tụ của nghiệm xấp xỉ.

1.2. Ưu điểm của Học sâu trong giải bài toán biến phân

Học sâu, đặc biệt là mạng nơ-ron sâu (Deep Neural Networks), cung cấp một cách tiếp cận mới để xấp xỉ nghiệm của các phương trình đạo hàm riêng và bài toán biến phân. Ưu điểm chính là khả năng biểu diễn các hàm phức tạp với số lượng tham số tương đối nhỏ. Bậc tự do không tăng theo hàm mũ, thích hợp với các phương trình đạo hàm riêng nhiều chiều. Các mạng nơ-ron có thể học các đặc trưng quan trọng từ dữ liệu, giúp cải thiện độ chính xác và hiệu quả của phương pháp xấp xỉ.

II. Thách thức khi giải bài toán biến phân bằng Ritz 58 ký tự

Một thách thức quan trọng khi giải bài toán biến phân là việc xử lý các điều kiện biên. Trong các thuật toán cổ điển, các điều kiện biên có thể được ràng buộc chính xác bởi các điểm lưới trên biên. Tuy nhiên, các điều kiện này khó biểu diễn trong các mạng nơ-ron. Các điều kiện này thường có nhiều cách xử lý, một trong số đó là thêm hạng phạt vào các hàm mất mát để giảm tuyệt đối. Các hạng phạt này thường được biểu diễn theo chuẩn. Luận văn này đưa ra các ví dụ cụ thể cho các trường hợp này.

2.1. Khó khăn trong việc áp đặt điều kiện biên

Trong các phương pháp số truyền thống như phương pháp phần tử hữu hạn, các điều kiện biên được áp đặt trực tiếp lên lưới tính toán. Tuy nhiên, trong phương pháp Ritz sử dụng mạng nơ-ron, việc áp đặt các điều kiện biên trở nên khó khăn hơn. Các mạng nơ-ron không thể trực tiếp ràng buộc nghiệm tại các điểm biên, cần các kỹ thuật đặc biệt để đảm bảo nghiệm thỏa mãn hoặc gần đúng thỏa mãn các điều kiện biên.

2.2. Hàm mất mát và hạng phạt trong mạng nơ ron

Để giải quyết vấn đề điều kiện biên, một cách tiếp cận phổ biến là thêm các hạng phạt vào hàm mất mát của mạng nơ-ron. Các hạng phạt này đo lường mức độ vi phạm điều kiện biên của nghiệm xấp xỉ. Bằng cách tối thiểu hóa hàm mất mát tổng thể, mạng nơ-ron sẽ cố gắng tìm nghiệm vừa thỏa mãn phương trình vi phân vừa đáp ứng các điều kiện biên. Việc lựa chọn các hạng phạt phù hợp là rất quan trọng để đảm bảo sự hội tụ và độ chính xác của phương pháp.

III. Phương pháp Ritz sử dụng Học sâu Deep Learning 59 ký tự

Phương pháp Ritz sử dụng học sâu (Deep Learning) là một kỹ thuật mạnh mẽ để giải quyết các bài toán biến phân phức tạp. Phương pháp này kết hợp sức mạnh của phương pháp Ritz cổ điển với khả năng biểu diễn phi tuyến của mạng nơ-ron sâu. Mạng nơ-ron được sử dụng để xấp xỉ nghiệm của bài toán biến phân, và các tham số của mạng nơ-ron được tối ưu hóa bằng cách sử dụng các thuật toán tối ưu hóa dựa trên gradient. Hàm mất mát được thiết kế để đo lường mức độ nghiệm xấp xỉ thỏa mãn phương trình vi phân và các điều kiện biên.

3.1. Kiến trúc Mạng Nơ ron cho bài toán Ritz

Kiến trúc mạng nơ-ron đóng vai trò quan trọng trong hiệu quả của phương pháp Ritz sử dụng học sâu. Các kiến trúc phổ biến bao gồm mạng nơ-ron truyền thẳng (feedforward neural networks) và mạng nơ-ron tích chập (convolutional neural networks). Số lượng lớp và số lượng nơ-ron trong mỗi lớp cũng cần được điều chỉnh để phù hợp với độ phức tạp của bài toán. Việc lựa chọn hàm kích hoạt phù hợp cũng ảnh hưởng đến khả năng học và biểu diễn của mạng nơ-ron.

3.2. Huấn luyện Mạng Nơ ron và Thuật toán Tối ưu

Quá trình huấn luyện mạng nơ-ron là bước quan trọng để tìm ra nghiệm xấp xỉ tốt nhất cho bài toán biến phân. Các thuật toán tối ưu hóa dựa trên gradient như Gradient Descent, Adam và Backpropagation được sử dụng để cập nhật các tham số của mạng nơ-ron. Tốc độ học và các tham số tối ưu hóa khác cần được điều chỉnh cẩn thận để đảm bảo sự hội tụ và tránh các vấn đề như quá khớp (overfitting). Việc sử dụng các kỹ thuật chính quy hóa cũng có thể giúp cải thiện tính tổng quát hóa của mô hình.

3.3. Ứng dụng thuật toán Monte Carlo trong xấp xỉ

Thuật toán Monte Carlo cũng được dùng để xấp xỉ tích phân trong phương pháp Ritz sử dụng học sâu. Nó là một phương pháp tính toán số sử dụng số ngẫu nhiên để giải quyết các bài toán có tính chất xác suất. Bằng cách tạo ra một số lượng lớn các mẫu ngẫu nhiên và tính toán giá trị trung bình của một hàm trên các mẫu này, ta có thể xấp xỉ tích phân của hàm đó. Phương pháp Monte Carlo đặc biệt hữu ích khi tính toán các tích phân phức tạp hoặc các tích phân trên các miền không gian nhiều chiều.

IV. Ứng dụng và Kết quả nghiên cứu Phương pháp Deep Ritz 59 ký tự

Kết quả của các thử nghiệm trên máy tính cho thấy tính hiệu quả của phương pháp này so với các phương pháp truyền thống. Phương pháp này có thể là một phương pháp hữu ích để giải các bài toán biến phân lớp phương trình elliptic trong nhiều lĩnh vực khác nhau. Phương pháp Ritz sâu được Weinen E và Bing Yu đề xuất vào năm 2018 và kể từ đó đã được nhiều công trình trích dẫn. Các kết quả cho thấy phương pháp hữu hiệu cho các bài toán phi tuyến, có tính kỳ dị cao và đặc biệt các bài toán có chiều cao.

4.1. Ứng dụng Phương pháp Ritz Sâu trong Kỹ thuật

Phương pháp Ritz sâu có nhiều ứng dụng tiềm năng trong kỹ thuật, bao gồm giải các bài toán về truyền nhiệt, cơ học chất lỏng và cơ học vật rắn. Khả năng xử lý các bài toán phi tuyến và nhiều chiều của phương pháp này làm cho nó trở thành một công cụ hữu ích để mô hình hóa và mô phỏng các hệ thống phức tạp. Các kỹ sư có thể sử dụng phương pháp Ritz sâu để thiết kế các sản phẩm và hệ thống hiệu quả hơn và đáng tin cậy hơn.

4.2. So sánh Độ chính xác và Tốc độ hội tụ

Một trong những tiêu chí quan trọng để đánh giá hiệu quả của một phương pháp số là độ chính xác và tốc độ hội tụ. Các nghiên cứu đã chỉ ra rằng phương pháp Ritz sâu có thể đạt được độ chính xác cao hơn so với các phương pháp truyền thống trong một số trường hợp. Tuy nhiên, tốc độ hội tụ của phương pháp này có thể phụ thuộc vào nhiều yếu tố, bao gồm kiến trúc mạng nơ-ron, thuật toán tối ưu hóa và việc lựa chọn hàm mất mát. Cần thực hiện các nghiên cứu sâu hơn để hiểu rõ hơn về các yếu tố ảnh hưởng đến tốc độ hội tụ của phương pháp này.

V. Kết luận và Hướng phát triển Phương pháp Deep Ritz 60 ký tự

Phương pháp Ritz sử dụng học sâu (hay còn gọi là Deep Ritz Method) là một hướng đi đầy hứa hẹn trong việc giải quyết các bài toán biến phân và phương trình đạo hàm riêng. Khả năng biểu diễn phi tuyến và xử lý các bài toán phức tạp của mạng nơ-ron sâu mở ra nhiều cơ hội mới để giải quyết các bài toán kỹ thuật và khoa học. Mặc dù vẫn còn nhiều thách thức cần vượt qua, phương pháp Deep Ritz hứa hẹn sẽ trở thành một công cụ quan trọng trong lĩnh vực tính toán khoa học.

5.1. Tổng kết ưu điểm và hạn chế của phương pháp

Phương pháp Deep Ritz có nhiều ưu điểm vượt trội so với các phương pháp truyền thống, bao gồm khả năng xử lý các bài toán phi tuyến, nhiều chiều và có tính kỳ dị cao. Tuy nhiên, phương pháp này cũng có một số hạn chế, như yêu cầu lượng dữ liệu huấn luyện lớn, khó khăn trong việc đảm bảo sự hội tụ và độ chính xác của nghiệm. Việc lựa chọn kiến trúc mạng nơ-ron, thuật toán tối ưu hóa và hàm mất mát phù hợp cũng đòi hỏi nhiều kinh nghiệm và thử nghiệm.

5.2. Hướng phát triển trong tương lai

Trong tương lai, có nhiều hướng phát triển tiềm năng cho phương pháp Deep Ritz. Một trong số đó là phát triển các kiến trúc mạng nơ-ron mới được thiết kế đặc biệt để giải quyết các bài toán biến phân. Một hướng khác là nghiên cứu các thuật toán tối ưu hóa hiệu quả hơn để cải thiện tốc độ hội tụ và độ chính xác của phương pháp. Ngoài ra, việc tích hợp phương pháp Deep Ritz với các kỹ thuật học máy khác, như học chuyển giao (transfer learning) và học tăng cường (reinforcement learning), cũng có thể mở ra nhiều cơ hội mới.

Nội dung chính

Tổng quan nghiên cứu

Trong tính toán khoa học hiện đại, việc giải các phương trình đạo hàm riêng (Partial Differential Equations - PDEs) nhiều chiều luôn là bài toán thách thức lớn do các phương pháp lưới truyền thống đòi hỏi số bậc tự do tăng theo cấp số nhân $O(N^d)$. Điển hình, một bài toán trong không gian 10 chiều với lưới chia 100 điểm mỗi chiều sẽ cần tới $10^{20}$ điểm tính toán, vượt quá năng lực xử lý của các siêu máy tính hiện nay. Phương pháp sai phân hữu hạn (Finite Difference Method - FDM) và phương pháp phần tử hữu hạn (Finite Element Method - FEM) vì thế đều vướng phải rào cản nghiêm trọng mang tên "lời nguyền số chiều" (curse of dimensionality). Trong khi đó, phương pháp biến phân Ritz cổ điển lại phụ thuộc quá nhiều vào việc lựa chọn hệ hàm cơ sở thủ công.

Nhằm khắc phục triệt để hạn chế này, luận văn thạc sĩ chuyên ngành Toán ứng dụng (Mã số: 8460112) của học viên Phạm Vũ Hoàng Sơn, dưới sự hướng dẫn khoa học của GS.TSKH Đinh Nho Hào tại Học viện Khoa học và Công nghệ thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam, đã nghiên cứu và phát triển phương pháp Ritz sử dụng học sâu (Deep Ritz Method). Mục tiêu trọng tâm của nghiên cứu là thiết lập cơ sở giải tích biến phân vững chắc và xây dựng thuật toán mạng nơ-ron sâu để tìm nghiệm xấp xỉ cho lớp phương trình elliptic với các điều kiện biên Dirichlet và Neumann.

Nghiên cứu được hoàn thành vào tháng 10 năm 2023 tại Hà Nội, thực nghiệm trên các miền không gian từ 2 chiều đến 10 chiều ($\mathbb{R}^2$ đến $\mathbb{R}^{10}$). Kết quả nghiên cứu khẳng định mô hình mạng nơ-ron với chỉ 341 tham số có thể giải quyết chính xác phương trình vi phân 10 chiều với sai số cực đại chuẩn $L^\infty$ đạt mức 0.0158, tiết kiệm hơn 95% tài nguyên lưu trữ và tính toán so với các phương pháp chia lưới truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của giải tích hàm hiện đại và lý thuyết phương trình đạo hàm riêng, tập trung vào 3 trụ cột lý thuyết chính:

1. Lý thuyết không gian Sobolev: Sử dụng các không gian hàm $H^1(\Omega)$, $H_0^1(\Omega)$ và $W^{m,p}(\Omega)$ để xác định không gian nghiệm yếu. Bất đẳng thức Poincaré-Steklov với hằng số $C = 2.3$ trên miền lồi Lipschitz đóng vai trò chứng minh tính bức của dạng song tuyến.
2. Định lý Lax-Milgram và Định lý thác triển Stampacchia: Chứng minh sự tồn tại và duy nhất của nghiệm yếu cho bài toán biên elliptic. Bài toán biên $-\Delta u = f$ được chuyển đổi tương đương sang bài toán tối ưu phiếm hàm năng lượng biến phân: tìm hàm $u$ cực tiểu hóa phiếm hàm $I(v) = \int_\Omega (\frac{1}{2}|\nabla v|^2 - fv) dx$.
3. Định lý xấp xỉ phổ quát (Universal Approximation Theorem): Đảm bảo về mặt toán học rằng một mạng nơ-ron sâu có đủ số lượng nơ-ron và hàm kích hoạt phù hợp có thể xấp xỉ bất kỳ hàm liên tục nào với sai số nhỏ hơn $\epsilon > 0$ tùy ý.

Các khái niệm chính được định nghĩa chặt chẽ bao gồm: toán tử Laplace $\Delta$, đạo hàm yếu cấp 1 và cấp 2, toán tử vết (trace operator) trên biên $\partial\Omega$, và phiếm hàm phạt biên (penalty functional) theo chuẩn $L^2$ với trọng số phạt $\beta$ dao động từ 200 đến 500.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm tính toán số kết hợp phân tích giải tích biến phân:

• Nguồn dữ liệu và lấy mẫu: Dữ liệu huấn luyện được sinh tự động thông qua việc lấy mẫu ngẫu nhiên từ miền trong $\Omega$ và biên $\partial\Omega$. Cỡ mẫu thử nghiệm bao gồm 1.000 đến 10.000 điểm ngẫu nhiên trong miền và 500 điểm trên biên. Phương pháp lấy mẫu ngẫu nhiên đều được áp dụng nhằm bao phủ toàn diện không gian hình học của bài toán.
• Phương pháp tích phân Monte Carlo: Được lựa chọn để tính xấp xỉ các tích phân đa chiều trong phiếm hàm mất mát. Lý do lựa chọn là tốc độ hội tụ của Monte Carlo đạt $O(1/\sqrt{N})$, hoàn toàn độc lập với số chiều của không gian, giúp giải phóng hoàn toàn bài toán khỏi sự phụ thuộc vào cấu trúc lưới hình học.
• Kiến trúc mô hình và thuật toán huấn luyện: Sử dụng kiến trúc mạng nơ-ron phần dư (Residual Neural Network - ResNet) từ 1 đến 6 khối ẩn, mỗi lớp ẩn có kích thước $m = 10$. Mô hình được tối ưu bằng thuật toán Adam với tốc độ học $\alpha$ từ $10^{-3}$ đến $3 \times 10^{-4}$, hệ số suy giảm moment $\beta_1 = 0.9, \beta_2 = 0.999$, thực hiện qua 2.000 đến 50.000 bước lặp. Timeline toàn bộ quy trình mô phỏng và kiểm thử được triển khai hoàn tất trong năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm số trên nhiều lớp bài toán biên elliptic đã mang lại các phát hiện khoa học mang tính đột phá:

• Khả năng xử lý bài toán 10 chiều vượt trội: Trong không gian $\mathbb{R}^{10}$ trên miền siêu lập phương đơn vị $(0, 1)^{10}$, phương pháp Ritz sâu với mạng nơ-ron 1 khối gồm 341 tham số đã hội tụ thành công sau 50.000 bước lặp, đạt sai số chuẩn $L^\infty$ chỉ 0.0158. Đây là bài toán mà các phương pháp sai phân hay phần tử hữu hạn hoàn toàn bất khả thi do sự bùng nổ số chiều.
• Tác động vượt trội của hàm kích hoạt bậc cao: Tại bài toán Poisson 2 chiều, mô hình sử dụng hàm kích hoạt phi tuyến bậc cao $\phi(x) = \max{x^3, 0}$ chỉ với 1 khối (261 tham số) đạt sai số $L^\infty = 0.0232$, trong khi hàm ReLU tiêu chuẩn $\phi(x) = \max{x, 0}$ có sai số lên tới 0.1494. Việc đổi mới hàm kích hoạt giúp giảm tới 84.47% sai số tuyệt đối.
• Cấu trúc mạng tối ưu không phụ thuộc vào độ sâu: Khi giải bài toán nghiệm điều hòa $u = xy$ với điều kiện biên Dirichlet không thuần nhất, mô hình 2 khối đạt độ chính xác cao nhất. Việc tăng lên 5 hay 6 khối không làm giảm sai số một cách tuyến tính mà làm tăng tính dao động cục bộ.
• Hiệu quả kiểm soát biên phức tạp: Trên miền hình học bị cắt góc (L-shaped domain), hàm mất mát tổng hợp kết hợp số hạng phạt biên $\beta = 500$ đã đưa sai số mất mát trên biên giảm sâu xuống dưới mức $10^{-4}$ sau 50.000 chu kỳ tối ưu.

Thảo luận kết quả

Kết quả nghiên cứu được minh họa trực quan thông qua các bảng số liệu so sánh sai số và biểu đồ phân bố không gian nghiệm 3D cũng như đồ thị suy giảm hàm mất mát theo thang đo logarit.

Nguyên nhân cốt lõi giúp phương pháp Ritz sâu vượt trội là việc thay thế các hàm cơ sở tuyến tính cố định bằng mạng ResNet. Cơ chế kết nối tắt (residual connections) giúp bảo toàn dòng gradient, ngăn chặn hiện tượng triệt tiêu gradient khi tối ưu hàm mục tiêu phi tuyến phức tạp. Đồng thời, hàm kích hoạt trơn bậc cao đáp ứng hoàn hảo tính chất khả vi liên tục của nghiệm phương trình elliptic trong không gian Sobolev $H^2(\Omega)$.

Khi so sánh với phương pháp sai phân hữu hạn (FDM) ở bước lưới $\Delta x = \Delta y = 0.01$, FDM cho sai số rất nhỏ tại các điểm sát biên nhưng tăng cao ở vùng trung tâm. Ngược lại, phương pháp Ritz sâu phân bổ sai số đồng đều hơn trên toàn miền nhưng đòi hỏi việc cân chỉnh trọng số phạt $\beta$ cẩn trọng để tránh hiện tượng mất cân bằng gradient giữa tích phân miền và tích phân biên. Phát hiện này củng cố vị thế của Deep Ritz Method như một giải pháp thay thế hoàn hảo cho các bài toán vật lý và kỹ thuật nhiều chiều trong thực tế.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và mở rộng khả năng ứng dụng của phương pháp Ritz sâu trong nghiên cứu và công nghiệp, 4 khuyến nghị hành động cụ thể được đề xuất:

1. Tự động hóa thích nghi trọng số phạt biên (Adaptive Penalty Weighting): Các nhóm nghiên cứu toán tính toán cần triển khai thuật toán tự động điều chỉnh tham số phạt $\beta$ tăng dần từ 100 lên 1.000 dựa trên tỷ lệ suy giảm gradient thực tế. Mục tiêu là hạ thấp sai số trên biên xuống dưới 0.005 trong vòng 6 tháng tới.
2. Nâng cấp cấu trúc mạng với các hàm kích hoạt trơn chuyên dụng: Các kỹ sư học máy cần tích hợp các hàm kích hoạt khả vi vô hạn như Sinusoidal, GELU hoặc Spline thay thế cho ReLU truyền thống. Giải pháp này hướng tới mục tiêu tăng tốc độ hội tụ thêm 30% trong 20.000 bước lặp đầu tiên, dự kiến hoàn thành trong Quý II/2024.
3. Phát triển bộ công cụ sinh mẫu Monte Carlo tự thích nghi (Adaptive Monte Carlo Sampling): Các viện nghiên cứu tính toán cần xây dựng thuật toán lấy mẫu tập trung mật độ cao tại các vùng biên có tính kỳ dị hoặc góc nhọn hình học. Target metric đặt ra là xử lý các miền đa diện phức tạp với độ chính xác đạt 99.2% trước năm 2025.
4. Thiết lập khung đánh giá sai số tiên nghiệm và hậu nghiệm (Error Bounds): Các nhà nghiên cứu giải tích số cần phối hợp xây dựng các chặn trên sai số toán học có cơ sở lý thuyết chặt chẽ cho nghiệm mạng nơ-ron, đảm bảo độ tin cậy khoa học đạt khoảng tin cậy 95% cho các mô phỏng kỹ thuật quan trọng trong giai đoạn 2024-2026.

Đối tượng nên tham khảo luận văn

Công trình luận văn này mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng trọng điểm:

• Học viên cao học và nghiên cứu sinh chuyên ngành Toán ứng dụng, Cơ học tính toán và Khoa học dữ liệu: Luận văn cung cấp phương pháp luận chi tiết từ giải tích biến phân đến lập trình mô hình học sâu. Use case điển hình là ứng dụng khung phương pháp để mở rộng nghiên cứu giải các phương trình Navier-Stokes hoặc phương trình parabolic nhiều chiều.
• Giảng viên và nhà nghiên cứu tại các trường đại học, viện nghiên cứu: Tài liệu là nguồn tham khảo chuẩn mực bằng tiếng Việt về phương pháp Deep Ritz, giúp cập nhật xu hướng nghiên cứu AI cho khoa học tự nhiên (AI for Science). Use case: Biên soạn bài giảng chuyên đề giải tích số nâng cao và xây dựng các đề tài nghiên cứu cấp bộ, cấp quốc gia.
• Kỹ sư mô phỏng kỹ thuật số trong công nghiệp (CAE/CFD): Các kỹ sư phát triển phần mềm mô phỏng có thể ứng dụng phương pháp không lưới (mesh-free) này để mô phỏng truyền nhiệt, điện từ trường và cơ học kết cấu 3D. Use case: Tính toán ứng suất vật liệu phức tạp mà không tốn hàng tuần lễ cho công đoạn chia lưới hình học.
• Chuyên gia phân tích định lượng và kỹ sư Machine Learning: Cung cấp góc nhìn sâu sắc về cách kết hợp tri thức vật lý vào hàm mất mát (Physics-Informed Neural Networks). Use case: Xây dựng các mô hình tối ưu hóa danh mục tài chính đa chiều hoặc định giá quyền chọn trong không gian từ 5 đến 20 biến số.

Câu hỏi thường gặp

Phương pháp Deep Ritz vượt trội hơn phương pháp Ritz cổ điển ở điểm nào?

Phương pháp Ritz cổ điển đòi hỏi lựa chọn thủ công hệ hàm cơ sở và bị bế tắc do số bậc tự do tăng theo hàm mũ $O(N^d)$. Ngược lại, Deep Ritz sử dụng mạng nơ-ron sâu làm hàm xấp xỉ tự động. Thực nghiệm chứng minh Deep Ritz giải quyết chính xác bài toán trong không gian 10 chiều với chỉ 341 tham số, điều mà phương pháp cổ điển hoàn toàn không thể thực hiện.

Tại sao cần thêm số hạng phạt biên vào hàm mất mát của mô hình?

Do cấu trúc mạng nơ-ron thông thường không thể tự động thỏa mãn các ràng buộc biên Dirichlet hay Neumann. Việc bổ sung số hạng phạt biên với trọng số $\beta$ từ 200 đến 500 giúp cưỡng chế điều kiện biên theo chuẩn $L^2$. Quá trình tối ưu hóa sẽ ép sai số trên biên giảm sâu xuống dưới mức $10^{-4}$ sau 50.000 bước huấn luyện.

Hàm kích hoạt nào mang lại độ chính xác cao nhất trong nghiên cứu?

Hàm kích hoạt $\text{ReLU}^3$ ($\phi(x)=\max{x^3, 0}$) đạt hiệu quả vượt trội nhất. Trong ví dụ 1, mô hình dùng $\text{ReLU}^3$ đạt sai số chuẩn $L^\infty$ là 0.0232, thấp hơn 6.4 lần so với mức 0.1494 của ReLU chuẩn, nhờ tính chất khả vi liên tục cấp 2 phù hợp hoàn hảo với toán tử vi phân bậc hai của phương trình elliptic.

Vai trò của thuật toán Monte Carlo trong phương pháp Ritz sâu là gì?

Thuật toán Monte Carlo dùng để tính xấp xỉ các tích phân miền và tích phân biên trong phiếm hàm biến phân. Với cỡ mẫu từ 1.000 đến 10.000 điểm ngẫu nhiên, phương pháp này duy trì tốc độ hội tụ ổn định $O(1/\sqrt{N})$ độc lập với số chiều không gian, giúp mô hình hoạt động hiệu quả trong không gian 10 chiều mà không cần tạo lưới.

Tăng số lượng khối nơ-ron ResNet có luôn làm giảm sai số mô hình không?

Không. Kết quả thực nghiệm ở ví dụ 2 chỉ ra sai số không tỷ lệ nghịch với độ phức tạp mô hình. Mô hình 2 khối đạt sai số thấp nhất, trong khi tăng lên 5 hay 6 khối làm tăng số lượng tham số, dễ gây dao động cục bộ và khiến thuật toán Adam khó tìm điểm cực tiểu tối ưu toàn cục.

Kết luận

• Hệ thống hóa hoàn chỉnh cơ sở giải tích biến phân cho phương trình elliptic thông qua không gian Sobolev $H^1(\Omega)$ và định lý Lax-Milgram.
• Xây dựng thành công thuật toán Deep Ritz kết hợp kiến trúc ResNet, tích phân Monte Carlo và bộ tối ưu hóa Adam.
• Chứng minh thực nghiệm khả năng phá vỡ lời nguyền số chiều trong không gian 10 chiều với sai số $L^\infty$ đạt 0.0158 chỉ với 341 tham số.
• Xác định hàm kích hoạt $\text{ReLU}^3$ là giải pháp tối ưu giúp giảm tới 84.47% sai số so với hàm ReLU truyền thống.
• Đặt nền móng vững chắc cho hướng nghiên cứu ứng dụng học sâu giải các phương trình đạo hàm riêng không cần chia lưới tại Việt Nam.

Luận văn của học viên Phạm Vũ Hoàng Sơn là công trình học thuật tiên phong tiếp cận và làm chủ phương pháp Ritz sâu tại Việt Nam. Kế hoạch nghiên cứu tiếp theo trong giai đoạn 2024-2025 sẽ tập trung vào cơ chế trọng số phạt thích nghi và kiểm soát sai số giải tích. Quý bạn đọc, nghiên cứu sinh và các chuyên gia quan tâm hãy tham khảo toàn văn luận văn thạc sĩ Toán ứng dụng tại Học viện Khoa học và Công nghệ để ứng dụng ngay phương pháp này vào các bài toán tính toán khoa học phức tạp!

Trích đoạn nội dung tài liệu

Chương 1 Bài toán biên phân 1.1 Bài toán điều kiện biên Dirichlet thuần nhất Xét bài toán Dirichlet thuần nhất cho toán tử Laplace. Cho Q C R* 1a một tập mở bị chặn. Ta cần tìm một hàm số 0 : © —> IR thoả mãn —Au = f trong Q, (1.1) u = 0trén FP = 02D N Ou. , Au = » Đa) là toán tử Laplace của ?=]l và ƒ là một hàm cho trước trên ©.

Điều kiện biên = 0 trên I' được gọi là điều kiện biên Dirichlet (thuần nhất).2) Q 2 với Vu - Vụ = VU Gu Qu Ta thấy trong (1.2), œ chỉ cần thoả mãn có đạo hàm yếu cấp 1, có nghĩa là w 71(O). Cùng với điều kiện biên ở (1. Từ đó ta xây dựng các định nghĩa về nghiệm yêu của (1. Một nghiệm mạnh của (1.1) là một hàm số œ € C?(Q) thoa mãn (1.

Một nghiệm yếu của (1.1) là một hàm số € H(O) thoả mãn / (Vu - Vu)dz = / (fv)dz, Vu € Hj(Q) Q Q với Vu - Vụ = ` a se t= Từ đây, ta có cách tiếp cận bài toán theo hướng biến phân, gồm các bước như sau. Bước 1: Chứng minh mỗi nghiệm mạnh là một nghiệm yếu. Thật vậy, với w € H1(Q)nŒ2(Ô) vàu = 0 trên L thì u € HẠ(O). Mặt khác, nếuu Œ}(Q) ta có [ove - Vu)d+ = [ (fear " ọ và bởi tính trù mật nên điều này đúng với mọi v € HA(Q).

Bước 2: Chứng minh sự tổn tại và duy nhất của nghiệm yếu. Để chứng minh điều này, ta sẽ cần định lý quan trọng Lax-Milgram. Tuy nhiên, ta sẽ chứng minh định lý Stampacchia là trường hợp tổng quát của Lax-Milgram. (Dinh ly Stampacchia) Véi a(u,v) la mot dang song tuyến tính liên tục bức trên không gian Hilbert H voi tích vô hướng (-, -) và chuẩn KC H là một tập con khác rỗng lôi đóng.

Khi đó, với mỗi @ C _H", tôn tại duy nhất u C K thoả mãn a(u,v—u) > (y,v —u), We K. Hơn nữa, nêu a đối xứng thì u được xác định bởi u € K'va v1$a(u,u) — (g,u) = min= sa) (1 —ứ, )} | 18 Chứng minh. Từ biểu diễn Riesz-Fréchet trong không gian Hilbert, tổn tai duy nhất ƒ c H sao cho (@,0) = (ƒ,0),Vu c H. Mặt khác, nếu ta cỗ định wu € H, Anh xav + a (u, v) là một ánh xạ tuyến tính liên tục trên H.

Áp dụng biểu diễn Riesz-Fréchet một lần nữa, ta tìm được duy nhất Au € H, sao cho a(u,v) = (Au,v), Vu € H. Cu thé 4 là một toán tt tuyén tinh tt H vao H thoa man | Aul] < C'|lul| vu € H, (Au, u) > œ ||u|Í, Vu e H. Mục tiêu của định lí là tìm € # sao cho (Au,v—u)>(f,v—u), Wek hoac (pf —pAu+tu-—u,v—u) <0,VWE K hoặc do tính chất của hình chiếu trực giao lên một tập hợp lỗi đóng, u = Px(pf — pÂu + u) với ø > 0 là một hằng số (sẽ được xác định sau), P(øƒ — øAu + u) là hình chiếu của øƒ — oÁu -L u trên K. Véi méiv € K, dat Su = Px(pf —pAv+v).

Ta thay rang cé thé chon p > 0 sao cho Š là phép co ngặt. Thật vậy, vì „ không giãn, ta có | Sv — #wa|| < ||(i — 0a) — ø(Aui — Aw)|| 19 va Vì vay \|Sv, — Svoll? < |lời — 0a||Ÿ — 2ø(Aui — Avo, vy — v2) + p” | Av, — Avs|| < |lv1 — vel|? (1 — 2pa+ p?C?). Chọn ø > 0 để kŸ = 1 — 2øœ + ø2Œ3 < 1, nghĩa là 0 < p < 2a/C”, ta thay Š có điểm bất động duy nhất. Giả sử dạng song tuyến tính a(u, 0) đối xứng.

Khi đó a(u, 0) định nghĩa một tích vô hướng mới trên !7, tương ứng với chuẩn a(u, )!⁄2 và tương đương với chuẩn ban đầu |u|. Khi đó, 7 vẫn là một không gian Hilbert với tích vô hướng này. Sử dụng biểu diễn Riesz-Fréchet ta sẽ biểu diễn ¿ theo tích vô hướng này, ta có sự tổn tại duy nhất g c H sao cho (y,v) = a(g,v), Vu € H. Ta can tim u € K sao cho a(g—u,v—u) <0,Vu Ee K.

Nghiệm của bài toán này đơn giản lại là phép chiếu g lén K theo tich vô hướng mới, nghĩa là phần tử duy nhất thoả mãn bài toán mina(g — v,g — v) : _ _ 1/2 hay u sé cuc tiéu hoa vt> a(g—v,g—v) = alu, v)—2a(g, v)+a(g, 9) = a(u,0)—2 (@, 0)-+a(g, g) chinh la ve (0,2) — (y, v) 20 Định lí 1. (Định lý Lax-Milgram) Cho không gian Hilbert H con a(u, v) là một dạng song tuyến tính liên tục bức trên H. Khi đó, với p c H* bắt kì, tôn tại duy nhất u c H thoả mãn a(u,0) = (@,0),Vuc H. Hơn nữa, nếu a đôi xứng, thì u được xác định bởi tính chat u€ Hva 5 (t,t) — (y,u) = min {an (0.

Áp dụng định lý Stampacchia với K = H, ta có với a(u, 0) là một dạng song tuyến tính liên tục bức trên không gian Hilbert H. Với mỗi @ € H', tôn tại duy nhất u € K thoả mãn a(u,U — ) > (@,0—u),Vuc H Hơn nữa, nếu a đối xứng thì được xác định bởi ue Ava a(t u) — (yp, u) = min ti — (29) .3) đúng Ví € R, ta có thể tuỳ ý chọn ‡ — +oœc, do dé t((y, v) — a(u, v)) + +00 hay t((y, v) — a(u, 0)) lớn t UỲ ý.3) đúng Ví € ïR, ta có thể tuỳ ý chọn t + —oo, do dé t((y, v) — a(u, 0)) —> +oo hay t((y, v) — ø(u, u)) lớn Ma (y, u) + a(u, u) € Rcé dinh do a, ¿, cỗ định (mâu thuẫn). Do d6 (vy, v) — a(u,v) = 0 vdi v da chon. Tuy nhiên, v đã được chọn tuỳ ý nên đăng thức đúng với mọi 0, hay a(u,v) = (y,v) ,Vu € A.

Từ đó ta rút ra nguyên lý sau: Định lí 1. Hơn nữa, u là nghiệm của bài toán. 1 2 wean 5 [ve dx — | (fo)ae Q Q Chứng minh. Áp dụng định lý Lax-Milgram cho không gian Hilbert H = Hạ(O) với dạng song tuyến tính a(u, v) = | (vu-ve) dx và phiểm hàm tuyến tính liên tục ƒ được xác dinh (f,v) = [(fu)dz.

O 2 Bước 3: Chỉ ra tính chính quy của nghiệm. Tính chính quy của nghiệm đã được chứng minh trong [7]. Bước 4: Xây dựng lại nghiệm mạnh. Giả sử nghiệm yếu œ € Hj () cua (1.

Mặt khác, ta có [ [— (Am) ]dz = / (ƒo)dz Vø C1(9) 22 và do đó —Aw = ƒ hầu khắp nơi trên ©. Lai c6 u € C?(Q) nén —Au = f khắp nơi trên ©. Vậy u là một nghiệm mạnh. Ta xét thêm một số ví dụ.

Với mỗi ví dụ, ta sẽ chỉ ra không gian hàm phù hợp để áp dụng định lý Lax-Milgram và thực hiện 4 bước trên.2 Bài toán điều kiện biên Dirichlet không thuần nhất Cho © là một miền trong RŸ và ƒ: Q —> IR, ta cần tìm một hàm số u: € —> IR thoả mãn phương trình tuyến tính —Au=ƒ_ trong Ô).4) Lấy g c H?(6), ta xét điều kiện biên Dirichlet không thuần nhất u = g trén O22.5) Vì ánh xạ vết + : H1(O) —› (69) là toàn ánh, nên tồn tại một hằng số đều C, va ham u, € H'(Q) sao cho + (uy) = g va lala < Œ|l9lly‡¿e;: Khi đó up := u — „ thoả mãn + (uọ) = g — g = 0, nghĩa là uọ € Hạ(9). Điều này dẫn đến bài toán yếu sau Tìm % € //!(Q) sao cho uạ := — uy € V := Hạ(©) thoả mãn (1. Về phải trong (1.6) xác định một dạng tuyến tính liên tuc trén V do tinh bi chặn của dạng song tuyến a trén H'(Q) x H1(Q) va của phần tử u„ trên H1(Q). Ta tiếp tục làm như trường hợp điều kiện biên thuần nhất và chứng minh được kết quả sau: Mệnh đề 1.

Khi dé 23 ©Ổ Nếu u C HÌ(Q) là nghiệm của (1.6) thì nó thoả mãn phương trình (1.4) hầu khắp nơi trong © và điêu kiện biên (1.5) hầu khắp nơi trên 6Ô.6) đặt chính.3 Bài toán điều kiện biên Neumamn thuần nhất Cho © C IRỶ là một miền bị chặn của lớp C!. Ta tìm hàm số w : Ô —> IR thoả mãn —Au=ƒ_ trong ©, Ou (1.7) —=0 An ténl rén [, với ƒ là hàm cho trước trén 0, $4 ki hiéu dao ham theo vector phap tuyén hướng ngoại của u, nghĩa là nụ — Vu - n, với n là vector pháp tuyến hướng ngoại don vi cua I’. Trước hết, khác với bài toán Dirichlet, để (1.7) có nghiệm thì ta phải đặt thêm điều kiện tương thích (compability condition) lên dữ liệu ƒ là | fde =0.8) Q Thật vậy, nếu + là nghiệm của (1.7) thì | †da = I —V”ud+ = | (Vu- V1)dz — | (Vu - n)ds = 0. Trong trường hợp này, ta không thể thiết lập bài toán yếu trong không gian H = H'(Q) vi khéng chitng minh được dang song tuyến a(u,v) = Jạ Vu - Vud+ thoả mãn điều kiện bức trong không gian này, và do đó bài toán IV.

= [trae 24 không đặt chỉnh. Đồng thời, ta thấy rằng khi phương trình có nghiệm thì đó cũng không phải là nghiệm duy nhất, vì nếu + là nghiệm thì u -+ c cũng là nghiệm với mọi hằng số c. Một cách đơn giản để khắc phục hạn chế này là giới hạn nghiệm trong không gian các hàm có trung bình bằng 0 trên ©, tức là chọn không gian tìm kiếm H;(Q) = {o € H'(O) : ÍS odz = 0}. Như vậy, bài toán yếu có dạng như sau Định nghĩa 1.

Một nghiệm yếu của (1.7) là một hàm số w € H}(Q) thoa mãn lưu - Vu)d+ = [rae Vu € Hy (Q) Bước 1 chứng minh mỗi nghiệm mạnh là một nghiệm yếu. Theo công thức Green, ta có [ (Au)ulde = [ ee vds | (Vu-Vu)de Vue C20), Vøc CÔ), Q r On Q (1.9) véi do 1a d6 do cia I’. Néu u 1a nghiém manh cia (1. Bước 2 chứng minh sự tôn tại và duy nhất của nghiệm yếu.

Với mỗi ƒ c L^(O), tôn tại duy nhất nghiệm yếu u c HỊ(©) của (1. Hơn nữa, u là nghiệm của bài toán sau. 1 2 an HN de— [ (fo)az), 25 Chứng minh. Áp dụng định lý Lax-Milgram với H = H}(Q), dé y rằng từ bất đẳng thức Poincare-Steklov, ta chứng minh được không gian này với chuẩn ||| z -= ||Vull req) 1a khong gian Hilbert.

O Bước 3 chỉ ra tính chính quy của nghiệm. Tính chính quy của nghiệm đã được chứng minh trong [7]. Bước 4 hồi phục lại nghiệm mạnh. Nếu œ € ŒC2(O) là một nghiệm yếu của (1.10) Ở đây, ta chọn ø c C†(Q) để suy ra —Au = f trong 2 Và với ø € C1!