Mô Phỏng Hồi Quy Bằng Phương Pháp Bootstrap Tại HCMUTE: Cơ Sở Lý Thuyết Tiệm Cận Và Ứng Dụng Thực Nghiệm

Tóm tắt nghiên cứu (Research Summary)

  • Câu hỏi nghiên cứu chính: Tính hợp lệ và quy luật hội tụ tiệm cận của ước lượng bình phương bé nhất (OLS) trong mô hình hồi quy tuyến tính khi áp dụng kỹ thuật tái lấy mẫu Bootstrap với cỡ mẫu lặp lại tùy ý ($m$) so với cỡ mẫu ban đầu ($n$) được thiết lập như thế nào, và làm sao để mô phỏng chính xác quá trình này trên môi trường tính toán thống kê R?
  • Phương pháp nghiên cứu (Methodology Snapshot): Đề tài kết hợp giải tích ngẫu nhiên hiện đại (bất đẳng thức Kolmogorov, luật số lớn, định lý giới hạn trung tâm Lindeberg, metric Mallows $d_2$) với phương pháp tái lấy mẫu phần dư Bootstrap (Residual Bootstrap) và thuật toán khoảng tin cậy hiệu chỉnh độ chệch và gia tốc (BCa - Bias-Corrected and Accelerated). Quá trình kiểm chứng thực nghiệm được lập trình mô phỏng trên phần mềm R thông qua gói lệnh boot với $R = 5000$ lần tái mẫu trên tập dữ liệu tiêu chuẩn mtcars.
  • Phát hiện cốt lõi (Key Findings): Nghiên cứu chứng minh chặt chẽ rằng khi cả kích thước mẫu ban đầu $n$ và kích thước tái mẫu $m$ cùng tiến ra vô cùng ($m, n \to \infty$), phân phối có điều kiện của thống kê chuẩn hóa $\sqrt{m}{\hat{\beta}^*(m) - \hat{\beta}(n)}$ sẽ hội tụ yếu về phân phối chuẩn nhiều chiều $\mathcal{N}(0, \sigma^2 V^{-1})$. Đồng thời, ước lượng phương sai phần dư tái mẫu $\hat{\sigma}_m^{*2}$ hội tụ hầu chắc chắn về $\sigma^2$. Mô phỏng thực nghiệm trên R cho thấy khoảng tin cậy Bootstrap BCa 95% bám sát khoảng tin cậy tham số OLS cổ điển nhưng không đòi hỏi giả định nghiêm ngặt về phân phối chuẩn của sai số.
  • Hàm ý thực tiễn (Implications): Cung cấp cơ sở toán học vững chắc và khung lập trình chuẩn mực cho các nhà nghiên cứu, kỹ sư dữ liệu và học viên sau đại học trong việc xử lý các bài toán suy diễn thống kê, ước lượng khoảng tin cậy và kiểm định mô hình hồi quy phức tạp khi phân phối tổng thể chưa xác định hoặc cỡ mẫu hữu hạn.

Bối cảnh và tầm quan trọng (Context & Significance)

Tổng quan tri thức hiện thời

Phương pháp bình phương bé nhất cổ điển (OLS - Ordinary Least Squares) từ lâu đã là trụ cột trong phân tích hồi quy tuyến tính. Tuy nhiên, các suy diễn thống kê truyền thống như kiểm định Student ($t$-test), kiểm định Fisher ($F$-test) và khoảng tin cậy tham số phụ thuộc sống còn vào giả định sai số ngẫu nhiên tuân theo phân phối chuẩn ($\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$). Trong các bài toán kỹ thuật, kinh tế và khoa học dữ liệu thực tế, giả định này thường xuyên bị vi phạm do hiện tượng phân phối lệch, đuôi nặng (heavy-tailed) hoặc cỡ mẫu nhỏ.

Năm 1979, Bradley Efron giới thiệu phương pháp Bootstrap – kỹ thuật tái lấy mẫu không tham số (non-parametric resampling) dựa trên phân phối thực nghiệm $F_n$, tạo ra cuộc cách mạng trong thống kê tính toán. Tiếp đó, Peter J. Bickel và David A. Freedman (1981) đã đặt nền móng lý thuyết tiệm cận cho Bootstrap trong mô hình hồi quy.

Khoảng trống học thuật và tính thời sự

Mặc dù lý thuyết Bootstrap cơ bản đã được định hình, việc nghiên cứu tính chất hội tụ tiệm cận khi kích thước tái mẫu ($m$) độc lập hoặc khác biệt so với cỡ mẫu ban đầu ($n$) vẫn là một địa hạt toán học tinh tế, đòi hỏi công cụ metric xác suất chuyên sâu như không gian Banach và metric Mallows. Tại Việt Nam, các công trình kết hợp song song giữa chứng minh giải tích giải thuật xác suất nghiêm ngặt và xây dựng quy trình mô phỏng thực hành trên ngôn ngữ R chuẩn mực dành cho mô hình hồi quy bootstrap còn hạn chế.

Đề tài NCKH trọng điểm cấp Trường mã số T2013-158 do ThS. Nguyễn Ngọc Tứ chủ nhiệm tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE) đã trực tiếp giải quyết khoảng trống này. Nghiên cứu mang tính thời sự cao trong bối cảnh phân tích dữ liệu hiện đại chuyển dịch mạnh mẽ sang các phương pháp tính toán chuyên sâu (computationally intensive methods).

Phương pháp luận và cách tiếp cận nghiên cứu (Methodology & Approach)

Nghiên cứu áp dụng phương pháp tiếp cận diễn dịch toán học (mathematical deductive approach) kết hợp mô phỏng Monte Carlo trên phần mềm mã nguồn mở R.

1. Khung lý thuyết không gian xác suất và hội tụ tiệm cận

Nghiên cứu thiết lập hệ tiên đề vững chắc thông qua các không gian xác suất $(\Omega, \mathcal{F}, P)$, phân tích chuỗi biến ngẫu nhiên độc lập bằng:

  • Bất đẳng thức cực đại Kolmogorov: Đánh giá chặn trên xác suất dao động lớn của tổng riêng phần: $$P\left(\max_{k \le n} |S_k| \ge \varepsilon\right) \le \frac{\text{Var}(S_n)}{\varepsilon^2}$$
  • Định lý giới hạn trung tâm Lindeberg: Thiết lập điều kiện cần và đủ để tổng các đại lượng ngẫu nhiên độc lập hội tụ về luật chuẩn tắc $\mathcal{N}(0, 1)$ mà không bắt buộc có cùng phân phối.
  • Metric Mallows ($d_p$): Sử dụng chuẩn $L_2$ trên không gian Hilbert để đo lường khoảng cách giữa phân phối xác suất thực nghiệm $\hat{F}_n$ của phần dư và phân phối lý thuyết $F$ của sai số ngẫu nhiên: $$d_2(F, G) = \left( \int_0^1 |F^{-1}(t) - G^{-1}(t)|^2 dt \right)^{1/2}$$

2. Thiết kế mô hình hồi quy tuyến tính nhiều chiều

Xét mô hình hồi quy ma trận: $$Y_{(n)} = X_{(n)}\beta + \varepsilon_{(n)}$$ Trong đó:

  • $Y_{(n)} \in \mathbb{R}^{n \times 1}$ là vectơ biến phụ thuộc (response vector).
  • $X_{(n)} \in \mathbb{R}^{n \times p}$ là ma trận thiết kế không ngẫu nhiên (non-stochastic design matrix) có hạng đầy đủ ($rank(X) = p < n$).
  • $\varepsilon_{(n)}$ là vectơ sai số ngẫu nhiên có các thành phần độc lập, cùng phân phối $F$ với $\mathbb{E}(\varepsilon_i) = 0$ và $\text{Var}(\varepsilon_i) = \sigma^2 < \infty$.
  • Điều kiện tiệm cận thiết kế: $\frac{1}{n}(X_{(n)}^T X_{(n)}) \to V$ (với $V$ là ma trận đối xứng xác định dương cấp $p \times p$).

3. Thuật toán Bootstrap phần dư và Khoảng tin cậy BCa

  1. Ước lượng gốc: Tính $\hat{\beta}_{(n)} = (X^T X)^{-1} X^T Y$ và vectơ phần dư $\hat{\varepsilon}_i = Y_i - X_i \hat{\beta}$.
  2. Tái định tâm phần dư: Xây dựng phân phối thực nghiệm $\hat{F}_n$ gán trọng số $1/n$ tại mỗi điểm $\hat{\varepsilon}_i - \bar{\mu}_n$, với $\bar{\mu}n = \frac{1}{n}\sum{i=1}^n \hat{\varepsilon}_i$.
  3. Tái lấy mẫu (Resampling): Rút mẫu có hoàn lại từ $\hat{F}_n$ để thu được vectơ nhiễu bootstrap $\varepsilon^(m) = (\varepsilon_1^, \dots, \varepsilon_m^*)^T$.
  4. Tạo dữ liệu nhân tạo & ước lượng lại: Thiết lập $Y^(m) = X(m)\hat{\beta}_{(n)} + \varepsilon^(m)$ và tính $\hat{\beta}^(m) = (X(m)^T X(m))^{-1} X(m)^T Y^(m)$.
  5. Ước lượng khoảng tin cậy BCa: Khắc phục nhược điểm của phương pháp phân vị chuẩn (Percentile Bootstrap) bằng cách hiệu chỉnh đồng thời tham số độ chệch trung vị ($\hat{z}_0$) và tham số gia tốc ($\hat{a}$) thông qua kỹ thuật Jackknife loại-một-quan-sát ($leave-one-out$).

Phát hiện chính và kết quả thực nghiệm (Key Findings)

1. Các định lý hội tụ lý thuyết tiệm cận

Nghiên cứu đã chứng minh thành công hệ thống định lý và bổ đề nền tảng cho mô hình hồi quy bootstrap với cỡ mẫu lặp lại $m$ tùy ý:

  • Sự hội tụ hầu chắc chắn của ước lượng: $$\frac{1}{n} X_{(n)}^T \varepsilon_{(n)} \xrightarrow{h.c.} 0 \quad \Longrightarrow \quad \hat{\beta}_{(n)} \xrightarrow{h.c.} \beta$$
  • Sự hội tụ của phân phối phần dư theo metric Mallows: $$d_2(\hat{F}_n, F) \xrightarrow{h.c.} 0 \quad \text{khi } n \to \infty$$
  • Định lý giới hạn trung tâm Bootstrap: Với dãy mẫu cho trước $(Y_1, \dots, Y_n)$, khi cả $m$ và $n$ đồng thời tiến ra vô cùng: $$\sqrt{m}{\hat{\beta}^(m) - \hat{\beta}(n)} \xrightarrow{w} \mathcal{N}\left(0, , \sigma^2 V^{-1}\right)$$ Thống kê then chốt có tính chất tự chuẩn hóa (self-normalized pivotal statistic): $${X(m)^T X(m)}^{1/2} \frac{\hat{\beta}^(m) - \hat{\beta}(n)}{\hat{\sigma}m^*} \xrightarrow{w} \mathcal{N}(0, I{p \times p})$$

2. Kết quả mô phỏng thực nghiệm trên môi trường R

Đề tài tiến hành thực nghiệm trên mô hình ước lượng mức tiêu thụ nhiên liệu (mpg - Miles Per Gallon) phụ thuộc vào trọng lượng xe (wt - Weight) và dung tích xi lanh khí thải (disp - Displacement) từ tập dữ liệu tiêu chuẩn mtcars:

$$\text{mpg} = A + B_1 \cdot \text{wt} + B_2 \cdot \text{disp} + \varepsilon$$

Quá trình mô phỏng được thực hiện với $R = 5000$ lần lặp lại (replications) để tính khoảng tin cậy Bootstrap BCa 95%:

Tham số Ý nghĩa thống kê Khoảng tin cậy 95% Cổ điển (OLS Tham số) Khoảng tin cậy Bootstrap BCa 95% ($R=5000$) Nhận xét tương đồng
Hệ số chặn ($A$) Mức tiêu thụ cơ sở $[30.09, , 39.77]$ $[30.00, , 39.88]$ Hội tụ cực kỳ sát với lý thuyết tham số
Hệ số $B_1$ (wt) Tác động trọng lượng xe $[-5.02, , -1.74]$ $[-5.21, , -1.68]$ Phản ánh chính xác độ lệch nhẹ ở đuôi
Hệ số $B_2$ (disp) Tác động dung tích xi lanh $[-0.04, , 0.005]$ $[-0.04, , 0.001]$ Tối ưu hóa vùng bao phủ sai số 
# Đoạn mã nguồn mô phỏng mẫu trong đề tài
library(boot)

# Hàm tính toán hệ số hồi quy OLS
bs <- function(formula, data, indices) {
  d <- data[indices, ]
  fit <- lm(formula, data = d)
  return(coef(fit))
}

# Tiến hành Bootstrap 5000 lần tái mẫu
set.seed(2014)
results <- boot(data = mtcars, statistic = bs, R = 5000, formula = mpg ~ wt + disp)

# Trích xuất khoảng tin cậy BCa cho các hệ số
boot.ci(results, type = "BCa", index = 1) # Hệ số A
boot.ci(results, type = "BCa", index = 2) # Hệ số B1 (wt)
boot.ci(results, type = "BCa", index = 3) # Hệ số B2 (disp)

Kết quả mô phỏng đồ thị phân phối tham số tái mẫu cho thấy tính đối xứng tiệm cận chuẩn tuyệt vời, minh chứng rằng thuật toán Bootstrap BCa có khả năng xấp xỉ phân phối mẫu thực tế hoàn hảo ngay cả khi quy mô tập dữ liệu hữu hạn ($n = 32$ quan sát).

Đóng góp khoa học và giá trị học thuật (Scholarly Contributions)

  1. Đóng góp về mặt lý thuyết thuần túy: Hệ thống hóa và chứng minh hoàn chỉnh các định lý hội tụ yếu, hội tụ hầu chắc chắn của ước lượng hồi quy OLS dưới toán tử tái mẫu Bootstrap với kích thước mẫu con ngẫu nhiên $m \neq n$. Việc ứng dụng công cụ metric Mallows $d_2$ giúp làm sáng tỏ cơ chế tiệm cận của phân phối thực nghiệm phần dư.
  2. Cải tiến phương pháp luận thống kê: Đưa ra quy trình chi tiết về việc sử dụng khoảng tin cậy BCa nhằm loại bỏ sai số bậc một và bậc hai của phương pháp phân vị thô, đảm bảo tính bất biến dưới các phép biến đổi đơn điệu.
  3. Ứng dụng thực hành và chuyển giao công nghệ: Xây dựng quy chuẩn lập trình trên ngôn ngữ R, tạo nguồn học liệu chuyên sâu phục vụ công tác giảng dạy cao học, đào tạo nghiên cứu sinh chuyên ngành Toán ứng dụng, Thống kê toán học và Khoa học máy tính tại HCMUTE và các trường đại học khối kỹ thuật.

Đối tượng hưởng lợi (Target Audience)

  • Nhà nghiên cứu học thuật & Giảng viên: Tài liệu tham khảo sâu sắc về giải tích xác suất nâng cao, cung cấp kỹ thuật chứng minh sự hội tụ của các thống kê phi tham số và mô hình tuyến tính tổng quát.
  • Học viên Cao học & Nghiên cứu sinh: Bộ khung chuẩn mực để phát triển các đề tài liên quan đến lý thuyết tiệm cận, Bootstrap trong chuỗi thời gian (Block Bootstrap), dữ liệu bảng (Panel Data) hoặc mô hình phi tuyến.
  • Chuyên viên Phân tích Dữ liệu (Data Scientists / Analysts): Hướng dẫn thực hành áp dụng Bootstrap để tính khoảng tin cậy mạnh (robust confidence intervals) khi xây dựng mô hình dự báo trên dữ liệu thực tế không thỏa mãn giả định phân phối chuẩn.
  • Kỹ sư Thực nghiệm: Công cụ tính toán độ không đảm bảo đo và kiểm định tham số trong các bài toán đo lường cơ học, cơ điện tử và thí nghiệm vật liệu (như định luật Hooke trong báo cáo).

Câu hỏi thường gặp (FAQ)

1. Điểm khác biệt mấu chốt giữa Bootstrap phần dư và Bootstrap cặp dữ liệu là gì?

Trong mô hình hồi quy tuyến tính với ma trận thiết kế cố định $X$, Bootstrap phần dư (Residual Bootstrap) cố định ma trận $X$ và chỉ tái lấy mẫu ngẫu nhiên trên các phần dư $\hat{\varepsilon}_i$, từ đó bảo toàn cấu trúc hồi quy xác định. Ngược lại, Bootstrap cặp (Pairwise/Case Bootstrap) tái lấy mẫu đồng thời cả cặp quan sát $(X_i, Y_i)$, thích hợp hơn khi ma trận $X$ mang tính ngẫu nhiên hoặc mô hình có hiện tượng phương sai thay đổi (heteroskedasticity).

2. Tại sao khoảng tin cậy BCa lại vượt trội hơn khoảng tin cậy phân vị (Percentile Bootstrap)?

Khoảng tin cậy phân vị thô sơ thường bị chệch nếu phân phối lấy mẫu không đối xứng hoặc phương sai phụ thuộc vào tham số. Thuật toán BCa (Bias-Corrected and Accelerated) đưa vào hai tham số hiệu chỉnh: $\hat{z}_0$ (khử độ chệch trung vị) và $\hat{a}$ (gia tốc sai số chuẩn thông qua Jackknife), giúp độ bao phủ đạt độ chính xác tiệm cận bậc 2 ($O(1/n)$ thay vì $O(1/\sqrt{n})$).

3. Kết quả tiệm cận của đề tài có áp dụng được khi kích thước tái mẫu $m \neq n$ không?

Hoàn toàn có. Đây chính là điểm nhấn sáng tạo của đề tài. Kết quả chứng minh từ Bổ đề 3.1 đến Định lý 3.1 khẳng định rằng chỉ cần điều kiện $m, n \to \infty$, phân phối chuẩn hóa của ước lượng hồi quy bootstrap vẫn hội tụ về phân phối chuẩn đa chiều $\mathcal{N}(0, \sigma^2 V^{-1})$.

4. Hạn chế nào của phương pháp Bootstrap cần lưu ý khi ứng dụng thực tế?

Bootstrap đòi hỏi chi phí tính toán cao do phải lặp lại ước lượng hàng nghìn lần ($R \ge 1000 - 5000$). Ngoài ra, phương pháp có thể cho kết quả chệch nếu phần dư ban đầu có tương quan chuỗi mạnh (autocorrelation) mà không sử dụng các biến thể chuyên biệt như Block Bootstrap.

5. Tại sao cần định tâm phần dư $\hat{\varepsilon}_i - \bar{\mu}_n$ trước khi tạo phân phối thực nghiệm $\hat{F}_n$?

Mặc dù trong mô hình có hệ số chặn tổng các phần dư $\sum \hat{\varepsilon}i = 0$, việc định tâm chặt chẽ đảm bảo kỳ vọng toán học của phân phối thực nghiệm $\mathbb{E}{\hat{F}_n}(\varepsilon^) = 0$ tuyệt đối, ngăn ngừa hiện tượng dịch chuyển tham số ước lượng trong quá trình tái tạo biến phụ thuộc nhân tạo $Y^$.

Kết luận (Conclusion)

Báo cáo tổng kết đề tài KH&CN trọng điểm T2013-158 "Mô phỏng hồi quy bằng phương pháp Bootstrap" của ThS. Nguyễn Ngọc Tứ đã hoàn thành xuất sắc các mục tiêu nghiên cứu đặt ra. Đề tài không chỉ khẳng định tính chặt chẽ về mặt toán học của lý thuyết tiệm cận trong mô hình hồi quy với kích thước tái mẫu tùy ý thông qua metric Mallows và các luật số lớn, mà còn chứng minh tính khả thi, độ tin cậy và ưu thế vượt trội của thuật toán Bootstrap BCa trên phần mềm R.

Hướng phát triển tiếp theo của nghiên cứu bao gồm việc mở rộng lý thuyết tiệm cận cho các mô hình hồi quy phi tuyến, hồi quy Ridge/Lasso trong không gian nhiều chiều ($p > n$) và các chuỗi số liệu kinh tế lượng có tương quan tự hồi quy. Đây là tài liệu khoa học giá trị cao dành cho cộng đồng nghiên cứu Toán ứng dụng và Khoa học dữ liệu thực nghiệm.