Tổng quan luận án
Tính cấp thiết và khoảng trống nghiên cứu
Nội suy hàm số là bài toán cổ điển nhưng giữ vai trò nền tảng trong giải tích số, nhận dạng mẫu, lý thuyết điều khiển học và khai phá tri thức từ dữ liệu (Data mining). Mục tiêu của bài toán là xác định giá trị của một hàm số chưa biết $f: D \subset \mathbb{R}^n \rightarrow \mathbb{R}^m$ dựa trên tập mẫu hữu hạn gồm $N$ mốc nội suy $(x_k, y_k)$ với $x_k \in \mathbb{R}^n, y_k \in \mathbb{R}^m$ ($k = 1, \dots, N$).
Đối với trường hợp một biến ($n = 1$), lý thuyết nội suy đa thức (Lagrange, Newton) và sau đó là nội suy Spline, sóng nhỏ (wavelet) đã hình thành hệ thống lý thuyết hoàn chỉnh và công cụ tính toán thuận lợi. Tuy nhiên, phần lớn các bài toán trong thực tiễn kỹ thuật lại thuộc bài toán nội suy nhiều biến ($n > 1$). Khi mở rộng lên không gian nhiều chiều, các phương pháp đa thức cổ điển gặp trở ngại lớn về độ phức tạp tính toán và dễ gây ra hiện tượng dao động mạnh (phù hợp trội). Các phương pháp học dựa trên mẫu như thuật toán $k$-láng giềng gần nhất ($k$-NN) hay hồi quy trọng số địa phương mang tính chất tính toán cục bộ: chỉ xác định được giá trị tại một điểm truy vấn khi đã biết tọa độ điểm đó mà không thiết lập được biểu thức giải tích tổng quát cho toàn miền, do đó không thể sử dụng cho các bài toán yêu cầu xây dựng sẵn hàm nội suy.
Mạng nơron nhân tạo là hướng tiếp cận hiệu quả để giải quyết hạn chế trên. Mạng Perceptron nhiều tầng (MLP) với giải thuật lan truyền ngược sai số (Back-Propagation) tuy xấp xỉ tốt nhưng thời gian huấn luyện kéo dài, phụ thuộc vào việc tìm cực trị hàm mục tiêu, dễ rơi vào cực trị địa phương và chủ yếu phục vụ bài toán xấp xỉ chứ không đảm bảo đi qua chính xác các mốc nội suy. Ngược lại, mạng hàm cơ sở bán kính RBF (Radial Basis Function) sở hữu ưu thế kích hoạt địa phương, tốc độ học nhanh và luôn hội tụ về cực trị toàn cục của sai số trung bình bình phương. Mặc dù vậy, khi số lượng mốc nội suy tăng cao (hàng ngàn đến hàng chục ngàn mốc), các thuật toán huấn luyện mạng RBF hiện có – vốn dựa chủ yếu trên phương pháp Gradient hoặc giải hệ phương trình ma trận đầy – bộc lộ nhược điểm lớn: tiêu tốn nhiều thời gian, khó ước lượng sai số và không đáp ứng được yêu cầu cập nhật tức thời trong các hệ thống thời gian thực hoặc bài toán động có dữ liệu bổ sung liên tục. Đây chính là khoảng trống khoa học then chốt mà luận án tập trung giải quyết.
Mục tiêu và nhiệm vụ nghiên cứu
Luận án xác định mục tiêu tổng quát là nghiên cứu, đề xuất các thuật toán huấn luyện mạng nội suy RBF hiệu quả cho trường hợp tập mốc nội suy có kích thước lớn, đồng thời xây dựng giải pháp kiến trúc mạng phục vụ xử lý thời gian thực và bài toán động.
Các nhiệm vụ nghiên cứu cụ thể được đánh số theo văn bản bao gồm:
- Nghiên cứu đề xuất thuật toán lặp hai pha (kí hiệu là HDH) nhằm huấn luyện mạng nội suy RBF cho tập dữ liệu có số mốc lớn. Pha thứ nhất xác định tham số độ rộng bán kính, pha thứ hai xác định véc-tơ trọng số tầng ra dựa trên nguyên lý ánh xạ co tìm điểm bất động.
- Cải tiến thuật toán hai pha thành thuật toán lặp một pha (kí hiệu là QHDH) chuyên biệt cho bài toán nội suy có mốc cách đều, thông qua việc áp dụng khoảng cách Mahalanobis thích hợp thay thế khoảng cách Euclide.
- Thiết kế kiến trúc mạng nơron RBF địa phương kết hợp thủ tục phân chia miền phỏng theo cấu trúc cây $k$-d và ghép trơn các mạng thành phần theo tư tưởng Spline, phục vụ bài toán động và huấn luyện tăng cường thời gian thực khi phát sinh mốc mới.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Bài toán nội suy hàm nhiều biến và mô hình mạng nơron RBF (trọng tâm là mạng nội suy RBF sử dụng hàm cơ sở bán kính dạng Gauss).
- Phạm vi nghiên cứu: Không gian số thực đa chiều $\mathbb{R}^n$; các tập mốc nội suy từ quy mô nhỏ đến quy mô lớn (thực nghiệm từ 1.331 mốc, 2.500 mốc, 4.096 mốc lên tới 19.683 mốc cho các hàm kiểm tra 2 biến và 3 biến); thời gian và địa điểm hoàn thành công trình: năm 2009 tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.
Tổng quan tài liệu và vị trí của luận án
Các hướng nghiên cứu trước mà tác giả điểm lại
Tác giả hệ thống hóa các mốc phát triển chính của lý thuyết nội suy và mạng nơron:
- Nội suy đa thức và Spline: Nghiên cứu kinh điển của Lagrange (thế kỷ 18) và Newton về nội suy đa thức một biến. Nửa sau thế kỷ 20, lý thuyết nội suy Spline và sóng nhỏ (wavelet) được phát triển nhằm khắc phục hiện tượng Runge (dao động quá mức ở bậc cao) bằng cách dùng đa thức bậc thấp ghép trơn trên từng đoạn con.
- Phương pháp học dựa trên mẫu (Instance-based learning): Khởi xướng sớm bởi Cover và Hart (1967) với thuật toán $k$-láng giềng gần nhất ($k$-NN); sau đó Duda và Hart (1973) hệ thống hóa toàn diện và phát triển thành phương pháp hồi quy trọng số địa phương. Mitchell (1997) phân loại các phương pháp này vào nhóm học lười (lazy learning), với hạn chế là chi phí truy vấn lớn và không tạo ra hàm biểu diễn sẵn.
- Lịch sử mạng nơron nhân tạo:
- Ramón y Cajal (1911): Đặt nền móng giải phẫu học thần kinh sinh học khi chỉ ra não bộ cấu tạo từ các nơron liên kết qua khớp xináp.
- McCulloch và Pitts (1943): Xây dựng mô hình toán học đầu tiên về nơron nhân tạo.
- Hebb (1949): Đưa ra định đề sinh học về cơ chế tăng cường liên kết xináp khi nơron được kích hoạt đồng thời, làm cơ sở cho các luật học nơron.
- Rosenblatt (1958) và Widrow (1960): Xây dựng Perceptron một tầng cùng các quy tắc học sửa lỗi và cực tiểu trung bình bình phương (LMS).
- Minsky và Papert (1969): Chứng minh hạn chế toán học của Perceptron một tầng, khiến hướng nghiên cứu mạng nơron bị đình trệ gần mười năm.
- Rumelhart và McClelland (1986), Parker (1985): Đề xuất thuật toán lan truyền ngược sai số (Back-Propagation), khôi phục và mở rộng ứng dụng mạng MLP cho bài toán xấp xỉ hàm đa biến.
- Mendel và McCloren (1970): Đưa ra định nghĩa kinh điển về bản chất thích nghi của quá trình học trong mạng nơron.
- Phát triển mạng RBF và thuật toán huấn luyện:
- Benoudjit và cộng sự (2002): Đề xuất tối ưu hóa tham số độ rộng bán kính của hàm RBF.
- Lazaro và cộng sự (2003): Đề xuất thuật toán mới gia tăng tốc độ hội tụ.
- Z. Mao và cộng sự (2005): Đề xuất tiêu chuẩn xác định số nơron tầng ẩn dựa trên phân tích cấu trúc dữ liệu để nâng cao tính tổng quát.
- Looney (1997, 1998): Khuyến nghị cấu hình tâm nơron trùng với mốc dữ liệu khi kích thước mẫu nhỏ ($N < 200$) để tạo mạng nội suy chính xác, đồng thời đề xuất thuật toán huấn luyện nhanh Quick Training (QTL).
- Haykin (1999): Gợi ý cấu trúc thuật toán huấn luyện nhanh (QTH).
Khoảng trống luận án lựa chọn giải quyết
Các công trình trước đây khi xử lý mạng RBF phần lớn vẫn áp dụng thuật toán tối ưu Gradient hoặc biến thể để cập nhật trọng số. Khi kích thước dữ liệu $N$ đạt quy mô hàng ngàn đến hàng chục ngàn điểm, thuật toán Gradient hội tụ chậm, chi phí thời gian rất lớn, không đưa ra được công thức đánh giá chặn sai số lý thuyết và dễ gặp bất ổn định số học. Ngoài ra, việc xử lý riêng cho trường hợp dữ liệu phân bố đều chưa được tối ưu hóa về mặt khoảng cách, và chưa có cơ chế kiến trúc phân rã miền hiệu quả để phục vụ tính toán song song, cập nhật gia tăng (incremental) trong môi trường thời gian thực. Luận án chọn tập trung giải quyết triệt để các hạn chế tính toán này.
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết và khái niệm cốt lõi
- Bài toán nội suy đa biến tổng quát: Cho tập $N$ mẫu ${ (x_k, y_k) }_{k=1}^N$ với $x_k \in D \subset \mathbb{R}^n$ và $y_k \in \mathbb{R}^m$. Với $m > 1$, bài toán quy về giải độc lập $m$ hàm giá trị thực nên luận án chuẩn hóa xét trường hợp $m = 1$. Cần tìm hàm $\Phi(x)$ thỏa mãn điều kiện nội suy chính xác: $$\Phi(x_i) = y_i, \quad \forall i = 1, \dots, N$$
- Nội suy đa thức và sai phân hữu hạn: Công thức Lagrange cho hàm một biến với phần dư: $$R_n(x) = \frac{f^{(n+1)}(\xi)}{(n+1)!} \prod_{k=0}^n (x - x_k), \quad \xi \in [a, b]$$ Với mốc cách đều bước $h$ ($x_{i+1} - x_i = h$), sử dụng biến đổi $t = (x - x_0)/h$ và hệ thống sai phân hữu hạn: $\Delta y_i = y_{i+1} - y_i$, $\Delta^2 y_i = \Delta y_{i+1} - \Delta y_i$, $\Delta^k y_i = \Delta^{k-1} y_{i+1} - \Delta^{k-1} y_i$ để thiết lập công thức nội suy Newton tiến: $$P_n(t) = y_0 + t\Delta y_0 + \frac{t(t-1)}{2!} \Delta^2 y_0 + \dots + \frac{t(t-1)\dots(t-n+1)}{n!} \Delta^n y_0$$
- Lý thuyết Spline: Hàm Spline bậc $(m, k)$ trên đoạn $[a, b]$ thỏa mãn là đa thức bậc $m$ trên từng đoạn con $[x_i, x_{i+1}]$ và có đạo hàm liên tục đến cấp $k = m - 1$ trên toàn đoạn.
- Mô hình hàm cơ sở bán kính (RBF): Hàm $\phi(r)$ phụ thuộc vào khoảng cách bán kính $r = |x - c|$. Các dạng hàm cơ bản được khảo sát:
- Hàm Gauss: $\phi(r) = \exp\left(-\frac{r^2}{2\sigma^2}\right)$
- Hàm Multiquadric: $\phi(r) = \sqrt{r^2 + c^2}$
- Hàm Inverse Multiquadric: $\phi(r) = \frac{1}{\sqrt{r^2 + c^2}}$
- Hàm Cauchy: $\phi(r) = \frac{1}{1 + r^2/c^2}$
- Không gian metric và nguyên lý ánh xạ co: Điều kiện ánh xạ co Banach trên không gian định chuẩn đóng vai trò bảo đảm sự hội tụ của phép lặp điểm bất động để tìm véc-tơ trọng số tầng ra.
- Khoảng cách Mahalanobis: Sử dụng ma trận hiệp phương sai để chuẩn hóa khoảng cách trong bài toán mốc cách đều.
- Cấu trúc cây $k$-d: Phân chia không gian đa chiều theo các trục tọa độ thành các hình hộp $n$-chiều có mật độ dữ liệu cân bằng.
Phương pháp nghiên cứu thực tế
- Phương pháp phân tích giải tích toán học: Thiết lập hệ điều kiện cho tham số bán kính $\sigma$ nhằm biến đổi toán tử tính trọng số thành một ánh xạ co; chứng minh giải tích tính duy nhất nghiệm và tốc độ hội tụ hình học của chuỗi lặp.
- Phương pháp mô phỏng số và so sánh đối chứng: Xây dựng phần mềm thực nghiệm, chạy kiểm tra và đo lường định lượng các chỉ số: thời gian huấn luyện (giây), sai số bình phương trung bình trên tập huấn luyện, sai số tại các điểm kiểm tra nằm ngoài tập huấn luyện (tính tổng quát), và thời gian cập nhật khi bổ sung mốc mới.
- Hệ thống thuật toán đối chứng:
- Thuật toán Gradient tiêu chuẩn.
- Thuật toán Quick Training của Looney (QTL).
- Thuật toán Quick Training theo Haykin (QTH).
Nguồn tư liệu và dữ liệu thực nghiệm
Dữ liệu thực nghiệm được tổng hợp từ việc lấy mẫu các hàm số giải tích phi tuyến chuẩn 2 biến và 3 biến trên miền đóng, với kích thước lưới mốc biến thiên từ nhỏ đến rất lớn:
- Dữ liệu thử nghiệm kích thước nhỏ: 8 mốc huấn luyện và 8 điểm kiểm tra tính tổng quát.
- Dữ liệu hàm 3 biến: 1.331 mốc nội suy phân bố đều.
- Dữ liệu hàm 2 biến: 2.500 mốc; 4.096 mốc; 4.086 mốc nội suy và 10 điểm xa tâm để kiểm tra.
- Dữ liệu hàm 3 biến quy mô lớn: 19.683 mốc; 19.673 mốc nội suy và 10 điểm xa tâm.
Nội dung chính theo từng chương
Chương 1: Nội suy hàm số và mạng nơron
Chương 1 trình bày cơ sở toán học của bài toán nội suy cổ điển và kiến trúc mạng nơron truyền tới nhiều tầng:
- Hệ thống hóa bài toán nội suy một biến qua đa thức Lagrange, chỉ ra hạn chế sai số biên khi tăng bậc đa thức và giải pháp chia đoạn của hàm Spline bậc $m$.
- Phân tích bài toán nội suy nhiều biến: trình bày chi tiết công thức trọng số nghịch đảo khoảng cách của thuật toán $k$-láng giềng gần nhất: $$\Phi(x) = \frac{\sum_{i=1}^k d(x, z_i)^{-1} f(z_i)}{\sum_{j=1}^k d(x, z_j)^{-1}}$$ và bài toán xấp xỉ bình phương tối thiểu đa biến $\min \sum_{i=1}^N |\Phi(x_i) - y_i|^2$.
- Trình bày mô hình giải phẫu nơron sinh học gồm thân (soma), sợi nhánh (dendrites), sợi trục (axons), khe xináp và cơ chế phát xung qua ngưỡng điện thế.
- Khái quát kiến trúc mạng nơron nhân tạo: hàm tổng $S = \sum w_i x_i$ hoặc $S = |x - w|^2$, các hàm kích hoạt (ngưỡng, tuyến tính, sigmoid, tanh, Gauss); phân loại mạng thành truyền tới (feedforward) và hồi quy (recurrent); ba cơ chế học: có giám sát, không giám sát và học tăng cường.
- Phân tích chi tiết kiến trúc mạng MLP và giải thuật lan truyền ngược (BP), chỉ rõ nhược điểm chi phí tính toán cao và nguy cơ mắc kẹt ở cực trị địa phương.
Chương 2: Hàm cơ sở bán kính RBF và bài toán nội suy
Chương 2 tập trung vào lý thuyết mạng RBF và các kỹ thuật huấn luyện hiện hành:
- Cấu trúc mạng RBF gồm 3 tầng: tầng vào nhận véc-tơ thuộc $\mathbb{R}^n$, tầng ẩn chứa các nơron phi tuyến với hàm cơ sở bán kính đối xứng tâm $\phi(|x - c_k|)$, và tầng ra kết hợp tuyến tính với véc-tơ trọng số $w$.
- Khảo sát dạng đồ thị và đặc tính giải tích của 4 loại hàm cơ sở bán kính: Gauss, Multiquadric, Inverse Multiquadric, Cauchy.
- Phân biệt mạng xấp xỉ RBF (số nơron ẩn nhỏ hơn số mốc) và mạng nội suy RBF (số nơron ẩn bằng số mốc, tâm nơron đặt chính xác tại các mốc nội suy).
- Đánh giá các thuật toán huấn luyện: phương pháp một pha, phương pháp hai pha, thuật toán huấn luyện nhanh (Quick Training - QTL) của Looney, thuật toán theo Haykin (QTH), thuật toán huấn luyện đầy đủ (Full Training) cùng thủ tục cập nhật
Update(k). - Kết luận chương nêu rõ: việc giải trực tiếp hệ phương trình tuyến tính hay tối ưu Gradient khi số mốc $N$ lớn đều làm suy giảm hiệu năng huấn luyện, đòi hỏi một phương pháp giải tích - lặp mới.
Chương 3: Thuật toán mới huấn luyện mạng nội suy RBF
Chương 3 công bố thuật toán lặp hai pha HDH áp dụng cho mạng nội suy RBF với hàm cơ sở Gauss:
- Cơ chế thuật toán HDH:
- Pha 1: Tính toán và xác lập tham số độ rộng bán kính $\sigma$ cho từng hàm cơ sở nhằm đảm bảo điều kiện co của ma trận liên kết.
- Pha 2: Biến đổi hệ phương trình xác định trọng số tầng ra về dạng phương trình điểm bất động $W = F(W)$, trong đó $F$ là một ánh xạ co; từ đó áp dụng phép lặp đơn để tính $W$ với tiêu chuẩn dừng sai số $\epsilon$.
- Đánh giá thực nghiệm: Thực hiện kiểm thử trên các bộ dữ liệu mô phỏng với tham số dừng $\epsilon = 10^{-6}$:
- Khảo sát biến thiên của tham số $q$ và hệ số bán kính $\alpha$ đối với thời gian hội tụ và sai số (minh họa tại các Bảng 3.1, 3.2, 3.3, 3.4).
- So sánh trực tiếp với thuật toán Gradient trên tập 8 mốc huấn luyện và 8 điểm kiểm tra độc lập (Bảng 3.5 và 3.6): thuật toán HDH đạt độ chính xác cao hơn, tốc độ hội tụ nhanh hơn vượt trội và khả năng tổng quát hóa tốt hơn tại các điểm chưa biết.
| Danh mục bảng thực nghiệm Chương 3 | Nội dung đo lường / So sánh |
|---|---|
| Bảng 3.1 | Thời gian huấn luyện với tham số dừng $\epsilon = 10^{-6}$ |
| Bảng 3.2 | Thời gian huấn luyện của 2.500 mốc nội suy |
| Bảng 3.3 & 3.4 | Kiểm tra độ nhạy sai số khi thay đổi tham số $q = 0.4$ và $\alpha = 0.5$ |
| Bảng 3.5 | Kiểm tra sai số của 8 mốc huấn luyện so sánh độ chính xác với Gradient |
| Bảng 3.6 | Kiểm tra sai số tại 8 điểm chưa huấn luyện để so sánh tính tổng quát |
Chương 4: Bài toán nội suy với mốc cách đều
Chương 4 tối ưu hóa bài toán trong trường hợp đặc thù các mốc nội suy phân bố cách đều trên lưới tọa độ:
- Thiết lập định lý cơ sở: Khi mốc cách đều, ma trận hàm cơ sở có tính đối xứng cao. Việc thay thế khoảng cách Euclide bằng khoảng cách Mahalanobis thích hợp cho phép gộp quá trình tính toán bán kính và trọng số.
- Đề xuất thuật toán lặp một pha QHDH: loại bỏ pha dò tìm bán kính riêng biệt, trực tiếp lặp tìm trọng số tầng ra trong một chu trình xử lý duy nhất.
- Kết quả thực nghiệm đối chứng trên hàm 3 biến với 1.331 mốc:
- Bảng 4.1 ghi nhận thời gian xử lý của QHDH giảm rõ rệt so với thuật toán hai pha HDH.
- Bảng 4.2 và 4.3 so sánh toàn diện 4 thuật toán: QHDH, HDH, QTL (Looney) và QTH (Haykin). Kết quả khẳng định QHDH đạt thời gian huấn luyện ngắn nhất, sai số huấn luyện thấp nhất và sai số ngoại suy tại các điểm kiểm tra nhỏ nhất trong cả 4 phương pháp.
| Danh mục bảng thực nghiệm Chương 4 | Nội dung đo lường / So sánh |
|---|---|
| Bảng 4.1 | So sánh thời gian huấn luyện giữa thuật toán 2 pha HDH và 1 pha QHDH |
| Bảng 4.2 | So sánh sai số và thời gian huấn luyện của QHDH, HDH, QTL và QTH (1.331 mốc, hàm 3 biến) |
| Bảng 4.3 | So sánh tính tổng quát của mạng tạo bởi QHDH, HDH, QTL và QTH (1.331 mốc, hàm 3 biến) |
Chương 5: Kiến trúc và thủ tục xây dựng mạng RBF địa phương
Chương 5 phát triển mô hình mạng RBF địa phương nhằm giải quyết bài toán thời gian thực và bài toán động (dữ liệu cập nhật liên tục):
- Cấu trúc mạng RBF địa phương: Không gian xác định $\mathbb{R}^n$ được phân hoạch đệ quy thành các siêu hộp $n$-chiều có số lượng phần tử xấp xỉ bằng nhau bằng thuật toán chia đôi hình hộp phỏng theo cấu trúc cây $k$-d (Hình 5.4 mô tả trường hợp 2 chiều với $N=38, M=10$).
- Thủ tục huấn luyện và ghép nối: Trên mỗi miền con, một mạng RBF cục bộ được huấn luyện độc lập bằng thuật toán lặp hai pha HDH. Các mạng con được ghép nối trơn theo nguyên lý của hàm Spline, triệt tiêu hiện tượng gián đoạn tại biên phân chia.
- Độ phức tạp tính toán: Phân rã bài toán lớn quy mô $N$ mốc thành $K$ bài toán nhỏ kích thước $N/K$, giúp giảm bậc lũy thừa của độ phức tạp tính toán tổng thể và cho phép song song hóa hoàn toàn.
- Huấn luyện tăng cường cho bài toán động: Khi có mốc mới xuất hiện, cây $k$-d nhanh chóng định vị miền con chứa mốc; chỉ có mạng RBF tại miền con tương ứng được cập nhật lại hoặc chia nhỏ tiếp mà không ảnh hưởng đến các mạng con khác trên toàn không gian.
- Kết quả thực nghiệm quy mô lớn:
- Khảo sát hàm 2 biến với 4.096 mốc (Bảng 5.2) và hàm 3 biến với 19.683 mốc (Bảng 5.3): Mạng địa phương đạt tốc độ huấn luyện vượt trội so với mạng RBF toàn cục truyền thống, sai số kiểm soát chặt chẽ.
- Kiểm tra tính tổng quát tại 10 điểm xa tâm (Bảng 5.4 cho 4.086 mốc và Bảng 5.5 cho 19.673 mốc): Mạng duy trì độ ổn định xấp xỉ cao, không bị phân kỳ ở vùng biên.
- Bảng 5.6: Đo lường thời gian huấn luyện tăng cường khẳng định việc bổ sung mốc mới được thực hiện gần như tức thời.
| Danh mục bảng thực nghiệm Chương 5 | Nội dung đo lường / So sánh |
|---|---|
| Bảng 5.1 | Thời gian huấn luyện mạng với hàm 3 biến ($\epsilon = 10^{-6}$) |
| Bảng 5.2 | So sánh thời gian và sai số huấn luyện của hàm 2 biến có 4.096 mốc nội suy |
| Bảng 5.3 | So sánh thời gian và sai số huấn luyện của hàm 3 biến có 19.683 mốc nội suy |
| Bảng 5.4 | So sánh tính tổng quát với hàm 2 biến có 4.086 mốc tại 10 điểm xa tâm |
| Bảng 5.5 | So sánh tính tổng quát với hàm 3 biến có 19.673 mốc tại 10 điểm xa tâm |
| Bảng 5.6 | So sánh thời gian huấn luyện tăng cường khi xuất hiện mốc mới bổ sung |
Kết quả và những đóng góp mới
Đóng góp mới về mặt lý luận và khoa học
- Thiết lập thuật toán lặp hai pha HDH dựa trên ánh xạ co: Đưa ra cơ chế toán học mới thay thế các phương pháp Gradient truyền thống trong việc giải hệ trọng số mạng nội suy RBF. Thuật toán chứng minh được tính hội tụ đến nghiệm duy nhất theo nguyên lý điểm bất động Banach, cung cấp công thức ước lượng sai số sau mỗi bước lặp và cho phép triển khai song song dễ dàng.
- Xây dựng thuật toán lặp một pha QHDH với khoảng cách Mahalanobis: Tối ưu hóa bài toán nội suy mốc cách đều bằng cách kết hợp ma trận hiệp phương sai vào hàm nhân bán kính, giảm cấu trúc thuật toán từ hai pha xuống một pha, rút ngắn thời gian tính toán và cải thiện tính tổng quát của hàm xấp xỉ.
- Đề xuất kiến trúc mạng RBF địa phương kết hợp phân hoạch cây $k$-d và ghép trơn Spline: Giải quyết trọn vẹn sự bùng nổ tính toán khi số mốc nội suy lên đến hàng vạn điểm. Mô hình tạo cơ sở lý thuyết cho việc xử lý các bài toán động và thời gian thực nhờ cơ chế huấn luyện tăng cường cục bộ (chỉ huấn luyện lại miền con chứa điểm phát sinh mới).
Đóng góp thực tiễn và công bố khoa học
- Cung cấp gói thuật toán và thủ tục lập trình giải quyết bài toán nội suy nhiều biến cho các tập dữ liệu thực nghiệm quy mô lớn lên đến gần 20.000 mốc điểm.
- Các kết quả nghiên cứu trong luận án đã được công bố trên các diễn đàn khoa học uy tín, bao gồm:
- Tạp chí khoa học quốc tế Signal Processing.
- Tạp chí quốc tế International Journal of Data Mining, Modelling and Management Science (IJDMMM).
- Kỷ yếu hội nghị khoa học quốc tế của IEEE và các hội thảo chuyên ngành công nghệ thông tin trong nước.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế được ghi nhận từ văn bản
- Việc xác định vị trí đặt tâm và số lượng hàm cơ sở bán kính tối ưu đối với bài toán xấp xỉ tổng quát vẫn là một bài toán mở chưa có lời giải giải tích tối ưu tuyệt đối.
- Thuật toán một pha QHDH phụ thuộc chặt chẽ vào giả định các mốc nội suy phải phân bố cách đều trên lưới tọa độ, giới hạn phạm vi áp dụng trực tiếp đối với các tập dữ liệu có phân bố không gian dị hướng hoặc ngẫu nhiên phức tạp.
- Kỹ thuật chia đôi hình hộp $n$-chiều trong kiến trúc mạng địa phương đòi hỏi chi phí quản lý ranh giới miền con tăng lên khi số chiều không gian $n$ quá lớn.
Hướng nghiên cứu tiếp
- Tiếp tục mở rộng hoàn thiện các tiêu chuẩn chọn bán kính và tham số lặp cho các tập mốc nội suy phân bố ngẫu nhiên bất kỳ trên không gian nhiều chiều.
- Tối ưu hóa giải thuật ghép trơn biên giữa các mạng RBF địa phương trong không gian số chiều lớn ($n > 3$).
- Ứng dụng các thuật toán HDH, QHDH và mạng RBF địa phương vào các bài toán cụ thể trong khai phá dữ liệu lớn (Data mining), nhận dạng mẫu phức tạp và các bài toán điều khiển học thích nghi thời gian thực.
Giá trị tham khảo
Đối tượng thụ hưởng
- Nghiên cứu sinh, học viên cao học và nhà nghiên cứu thuộc các chuyên ngành Khoa học máy tính, Toán tin ứng dụng, Trí tuệ nhân tạo và Xử lý tín hiệu.
- Giảng viên đại học giảng dạy các học phần chuyên đề về Giải tích số nâng cao, Mạng nơron nhân tạo và Khai phá dữ liệu.
- Kỹ sư phát triển hệ thống làm việc trong lĩnh vực điều khiển tự động, mô hình hóa dữ liệu địa lý (GIS), thị giác máy tính và các hệ thống xử lý tín hiệu số thời gian thực.
Các phần đáng tham khảo trong luận án
- Chương 1 và Chương 2: Hệ thống hóa bài bản, chuẩn xác sự phát triển từ toán học giải tích truyền thống (Lagrange, Newton, Spline) đến các mô hình học máy hiện đại (MLP, RBF), rất phù hợp làm tài liệu tổng quan học thuật.
- Chương 3: Phần chứng minh toán học biến đổi bài toán tìm trọng số mạng RBF thành bài toán tìm điểm bất động của ánh xạ co, cung cấp hướng tiếp cận giải tích - lặp phi gradient có giá trị tham khảo lý thuyết cao.
- Chương 4 và Chương 5: Cung cấp đầy đủ đặc tả giải thuật (QHDH, chia đôi hình hộp, quản lý cây $k$-d, ghép nối Spline) cùng hệ thống bảng số liệu kiểm chứng thực nghiệm chi tiết, có thể chuyển giao trực tiếp thành mã nguồn ứng dụng trong các bài toán công nghệ.
Câu hỏi thường gặp
1. Tại sao mạng MLP truyền thống lại không tối ưu cho bài toán nội suy hàm số so với mạng RBF?
Mạng MLP sử dụng các hàm kích hoạt phi tuyến toàn cục (như Sigmoid, Tanh). Khi huấn luyện bằng giải thuật lan truyền ngược, việc cập nhật trọng số tại mỗi bước lặp ảnh hưởng đến toàn bộ không gian biến số, dẫn đến thời gian huấn luyện lâu, nguy cơ cao rơi vào cực trị địa phương và thuật toán chỉ đảm bảo tính xấp xỉ chứ không bảo đảm hàm đầu ra đi qua chính xác các mốc tọa độ đã cho. Ngược lại, mạng RBF sử dụng hàm cơ sở bán kính có đặc tính cục bộ (chỉ kích hoạt mạnh quanh tâm), cho phép xác định nghiệm thông qua việc giải hệ phương trình tuyến tính hoặc phép lặp co, luôn hội tụ về cực trị toàn cục và đảm bảo đi qua chính xác các mốc nội suy khi đặt tâm tại các mốc này.
2. Nguyên lý toán học cốt lõi giúp thuật toán lặp hai pha HDH hội tụ là gì?
Nguyên lý cốt lõi của HDH là áp dụng định lý điểm bất động của ánh xạ co (nguyên lý ánh xạ co Banach). Trong Pha 1, thuật toán lựa chọn tham số độ rộng bán kính $\sigma$ thích hợp sao cho ma trận biến đổi hệ phương trình trọng số tầng ra thỏa mãn điều kiện co. Sang Pha 2, phương trình xác định véc-tơ trọng số được chuyển thành dạng phương trình lặp $W = F(W)$. Do $F$ là ánh xạ co, chuỗi lặp $W^{(k+1)} = F(W^{(k)})$ bảo đảm hội tụ hình học về nghiệm duy nhất với mọi điểm khởi tạo ban đầu, giúp loại bỏ việc tính nghịch đảo ma trận kích thước lớn và tránh được sự bất ổn định của giải thuật Gradient.
3. Thuật toán QHDH trong Chương 4 có điểm gì khác biệt so với thuật toán HDH của Chương 3?
Thuật toán HDH là quy trình lặp hai pha áp dụng cho tập mốc nội suy tổng quát. Thuật toán QHDH là cải tiến rút gọn thành một pha, chuyên biệt cho trường hợp tập mốc nội suy cách đều trên lưới tọa độ. Bằng cách thay thế khoảng cách Euclide thông thường bằng khoảng cách Mahalanobis thích hợp, QHDH tích hợp việc xác định độ rộng bán kính và tính toán trọng số trong một chu trình xử lý duy nhất, giúp rút ngắn thời gian tính toán và đạt sai số ngoại suy nhỏ hơn so với HDH.
4. Cơ chế huấn luyện tăng cường trong mạng RBF địa phương hoạt động như thế nào khi phát sinh mốc mới?
Khi có mốc dữ liệu mới bổ sung, thuật toán sử dụng cấu trúc cây $k$-d để thực hiện tìm kiếm nhanh miền con (siêu hộp $n$-chiều) chứa mốc đó. Thay vì phải huấn luyện lại toàn bộ mạng nơron trên toàn bộ tập dữ liệu khổng lồ, hệ thống chỉ kích hoạt thuật toán hai pha HDH để huấn luyện lại mạng RBF cục bộ tương ứng với miền con đó (hoặc tiếp tục chia đôi miền con nếu số mốc vượt ngưỡng). Các mạng con tại các miền khác được giữ nguyên vẹn, giúp quá trình cập nhật diễn ra gần như tức thời, đáp ứng yêu cầu xử lý thời gian thực.
5. Theo trích dẫn trong văn bản, tác giả Looney đưa ra khuyến nghị gì đối với việc chọn tâm mạng nội suy RBF?
Theo Looney (tài liệu tham khảo [38] trong luận án), việc chọn trực tiếp các mốc nội suy làm tâm cho các hàm cơ sở RBF ở tầng ẩn được khuyến nghị thực hiện khi số lượng dữ liệu huấn luyện nhỏ hơn 200 mẫu ($N < 200$). Khi đó, mạng RBF có thể xác định được nghiệm đúng của hệ phương trình nội suy một cách trực tiếp và ổn định.
Kết luận
Luận án tiến sĩ của tác giả Đặng Thị Thu Hiền đã giải quyết thấu đáo bài toán nội suy hàm nhiều biến quy mô lớn bằng mạng nơron RBF thông qua các đóng góp mới về thuật toán lặp hai pha HDH, thuật toán một pha QHDH cho mốc cách đều và kiến trúc mạng RBF địa phương phân hoạch theo cây $k$-d. Các phân tích giải tích toán học chặt chẽ kết hợp cùng thực nghiệm phong phú trên các bộ dữ liệu lên tới gần 20.000 mốc đã chứng minh tính ưu việt của các giải pháp đề xuất về thời gian huấn luyện, khả năng kiểm soát sai số và khả năng xử lý bài toán động. Công trình là tài liệu khoa học có giá trị học thuật cao, đóng góp thiết thực cho chuyên ngành Khoa học máy tính nói chung và lĩnh vực tính toán mềm, giải tích số ứng dụng nói riêng.