Tổng quan luận án

Luận án tiến sĩ toán học của nghiên cứu sinh Đào Thanh Tùng, chuyên ngành Lý thuyết xác suất và thống kê toán học (mã số: 9460112.02), thực hiện tại Trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội năm 2020 dưới sự hướng dẫn khoa học của PGS. Trần Minh Ngọc và TS. Trần Mạnh Cường, tập trung vào đề tài: "Lựa chọn biến, số thành phần và ước lượng tham số bằng phương pháp VB cho các mô hình GLMM và MRDE-MN".

Tính cấp thiết và khoảng trống nghiên cứu

Theo quan điểm của Fisher, bài toán tổng quát về suy luận thống kê và dự báo bao gồm ba khía cạnh: (1) mô tả và xây dựng mô hình, (2) ước lượng các tham số mô hình, và (3) ước tính độ chính xác. Bài toán lựa chọn mô hình gắn liền với khía cạnh thứ nhất và thứ ba. Trong thực tế phân tích dữ liệu, việc lựa chọn mô hình bao gồm lựa chọn biến giải thích, ước lượng tham số và đánh giá mức độ phù hợp.

Đối với mô hình hồi quy tuyến tính hỗn hợp tổng quát (Generalized Linear Mixed Model - GLMM), đây là công cụ phù hợp để mô hình hóa dữ liệu cụm hoặc dữ liệu theo dõi lặp lại nhờ sự kết hợp giữa các ảnh hưởng cố định và ảnh hưởng ngẫu nhiên. Tuy nhiên, việc lựa chọn biến trong GLMM gặp trở ngại tính toán lớn do hàm hợp lý chứa các tích phân phức tạp trên các yếu tố ảnh hưởng ngẫu nhiên. Các nghiên cứu trước đây của Groll và đồng sự [19] cùng Schelldorfer và đồng sự [35] sử dụng xấp xỉ Laplace kết hợp phạt $L_1$-norm (Lasso) để giải quyết bài toán này, nhưng bộc lộ ba hạn chế:

  1. Xấp xỉ Laplace có thể không đạt độ chính xác trong một số trường hợp cụ thể theo chỉ ra của Joe [20].
  2. Thuật toán phụ thuộc vào việc tìm kiếm giá trị tham số co rút $\lambda$ trên một lưới định trước rồi chọn lại qua tiêu chuẩn AIC hoặc BIC, làm tăng đáng kể chi phí tính toán.
  3. Việc áp dụng một tham số co rút duy nhất cho toàn bộ các hệ số dẫn đến hiện tượng ước lượng bị chệch.

Đối với mô hình hồi quy trộn (Mixtures Regression Model - MRM), đây là hướng tiếp cận giải tỏa giả thiết phân phối chuẩn của sai số và phân loại đối tượng vào các cụm chưa biết. Mô hình hồi quy mật độ trộn $k$ phân phối chuẩn có phương sai phụ thuộc (Regression Density Estimation with Mixtures of $k$ Heteroscedastic Normals - RDE-MHN(k)) đã được Tran và đồng sự [40] đề xuất thuật toán Bayes biến phân để xử lý. Dẫu vậy, các công trình của Nott và đồng sự [28], Tran và đồng sự [40], Villani và đồng sự [42] mới chỉ dừng lại ở trường hợp biến đáp ứng $y$ là đại lượng đơn biến. Khoảng trống nghiên cứu đặt ra là mở rộng mô hình này sang trường hợp biến đáp ứng $y$ đa biến.

Mục tiêu nghiên cứu

Luận án xác định hai mục tiêu nghiên cứu cụ thể:

  1. Xây dựng thuật toán Bayes biến phân (Variational Bayes - VB) thích nghi với phạt dạng $L_1$-norm để thực hiện đồng thời lựa chọn biến và ước lượng tham số trong mô hình GLMM (ký hiệu là VBGLMM), khắc phục các hạn chế của phương pháp xấp xỉ Laplace và tối ưu hóa tham số co rút.
  2. Đề xuất mô hình hồi quy mật độ nhiều biến với việc trộn các phân phối chuẩn có phương sai phụ thuộc (Multivariate Regression Density Estimation with Mixtures of Normals - MRDE-MN); đồng thời xây dựng thuật toán Bayes biến phân thực hiện đồng thời việc xác định số thành phần $K$, lựa chọn biến cho cả mô hình trung bình (mean model) lẫn mô hình cổng (gating model), và ước lượng các tham số mô hình.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Bài toán lựa chọn biến, lựa chọn số thành phần và ước lượng tham số cho mô hình hồi quy tuyến tính hỗn hợp tổng quát (GLMM) và mô hình hồi quy mật độ nhiều biến trộn phân phối chuẩn (MRDE-MN).
  • Phạm vi nghiên cứu:
    • Về lý thuyết: Lý thuyết xác suất, thống kê toán học, suy luận Bayes và phương pháp xấp xỉ Bayes biến phân (gồm dạng trung bình - MFVB và dạng cố định - FFVB).
    • Về dữ liệu và thực nghiệm: Các kịch bản dữ liệu mô phỏng số trên máy tính (hồi quy Poisson, hồi quy logistic, mô hình trộn chuẩn đa biến) và bộ dữ liệu thực tế HILDA (Household, Income and Labour Dynamics in Australia).

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa các hướng tiếp cận chính trong bài toán lựa chọn mô hình và ước lượng tham số:

  1. Phương pháp hợp lý cực đại phạt (Penalized Maximum Likelihood - PML): Lựa chọn mô hình thông qua việc cực tiểu hóa hàm $-\log P(D|f_c^0) + \text{pen}(F_c)$. Các tiêu chuẩn phạt phổ biến gồm AIC của Akaike [2] với $\text{pen}(F_c) = c$, BIC của Schwarz [36] với $\text{pen}(F_c) = c \frac{\log n}{2}$, và các phiên bản mở rộng của AIC trong [6].
  2. Phương pháp lựa chọn mô hình Bayes (Bayesian Model Selection - BMS): Xây dựng công thức Bayes phân cấp và sử dụng thuật toán Markov chain Monte Carlo (MCMC) hoặc thuật toán khác để tính xác suất hậu nghiệm của mô hình $P(M|D)$, trong đó mô hình được chọn có xác suất hậu nghiệm lớn nhất. Các mở rộng của BMS được đề cập trong [22], [29], [34]. BMS cũng áp dụng mô hình phân cấp với các biến tiềm ẩn để tránh việc phải tính toán trực tiếp $2^p$ tập con biến độc lập.
  3. Phương pháp thực nghiệm: Kỹ thuật Bootstrap của Efron và Tibshirani [14], kiểm tra chéo (Cross-Validation) và các biến thể trong [1], [10], [16], [37]. Các phương pháp này đánh giá sai số trên tập dữ liệu kiểm tra nhưng suy giảm độ chính xác khi cỡ mẫu $n$ nhỏ và tốn thời gian tính toán khi số lượng biến lớn.
  4. Thuật toán tối đa hóa kỳ vọng (EM) và phương pháp Bayes biến phân (VB): Thuật toán lặp đệ quy EM là công cụ tiêu chuẩn cho ước lượng hợp lý cực đại nhưng tồn tại các hạn chế trong bài toán phức tạp. Phương pháp Bayes biến phân (VB), phát triển mạnh từ giữa thập niên 1990 (được trình bày tổng quan trong Bishop [8], Ormerod và Wand [30]), được chứng minh là mở rộng tổng quát chứa EM như một trường hợp đặc biệt.
  5. Nghiên cứu lựa chọn biến trong GLMM: Groll và đồng sự [19], Schelldorfer và đồng sự [35] đã kết hợp xấp xỉ Laplace với hình thức phạt Lasso dạng $L_1$-norm trên các hệ số cố định: $$Q^{\text{pen}}(\beta, \psi) = l^{\text{Lap}}(\beta, \psi) - \lambda \sum_{j=1}^p |\beta_j|$$ Tuy nhiên, các hạn chế về sai số xấp xỉ Laplace (Joe [20]) và việc phải tinh chỉnh tham số co rút $\lambda$ đơn lẻ đòi hỏi phải có cách tiếp cận thay thế.
  6. Mô hình hồi quy trộn (MRM) và ước lượng mật độ: Các công trình về phân cụm và mô hình hồi quy hỗn hợp hữu hạn của McLachlan và Peel [26], Frühwirth-Schnatter [12], Banfield và Raftery [5]. Việc lựa chọn số thành phần $K$ từng được tiếp cận bởi Biernacki và đồng sự [4], Hastie và đồng sự [21]. Prasad và đồng sự [32] chỉ ra tiêu chuẩn AIC thường ước lượng số thành phần quá cao trong mô hình hồi quy trộn và đề xuất tiêu chuẩn MRC (Mixture Regression Criterion). Tran và đồng sự [40] đề xuất thuật toán VB cho mô hình RDE-MHN(k) giải quyết được hiện tượng cực đại địa phương và xử lý được trường hợp số chiều biến giải thích lớn hơn cỡ mẫu ($p > n$).

Khoảng trống luận án lựa chọn giải quyết:

  • Luận án khắc phục các hạn chế của Groll và Schelldorfer bằng việc xây dựng phương pháp VB ước lượng mode hậu nghiệm kết hợp với kỹ thuật Bayes thích nghi Lasso (Bayesian adaptive Lasso - BaLasso) cho mô hình GLMM.
  • Luận án lấp đầy khoảng trống nghiên cứu của Nott và đồng sự [28], Tran và đồng sự [40], Villani và đồng sự [42] bằng cách tổng quát hóa mô hình RDE-MHN(k) sang trường hợp nhiều chiều MRDE-MN đối với vector đáp ứng $y$, đồng thời thực hiện trọn vẹn việc chọn số thành phần, chọn biến cho cả hai thành phần mean và gating.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và các khái niệm nền tảng

Luận án vận dụng các cơ sở lý thuyết toán học và thống kê:

  1. Hệ thống các phân phối xác suất liên tục và nhiều chiều:

    • Phân phối Beta: $X \sim \text{Beta}(\alpha, \beta)$ trên đoạn $[0, 1]$, kỳ vọng $E[X] = \frac{\alpha}{\alpha + \beta}$, $E[\log X] = \psi(\alpha) - \psi(\alpha + \beta)$ với $\psi(\cdot)$ là hàm digamma.
    • Phân phối Gamma: $X \sim \text{Gamma}(\alpha, \beta)$ với $E[X] = \frac{\alpha}{\beta}$.
    • Phân phối Gamma ngược (Inverse Gamma - IG): $X \sim \text{IG}(\alpha, \beta)$ với $E[X] = \frac{\beta}{\alpha - 1}$ ($\alpha > 1$).
    • Phân phối chuẩn một chiều và nhiều chiều: $X \sim N_d(\mu, \Sigma)$. Khoảng cách Kullback-Leibler giữa hai phân phối chuẩn nhiều chiều $P \sim N_d(\mu_1, \Sigma_1)$ và $Q \sim N_d(\mu_2, \Sigma_2)$ được tính theo công thức: $$\text{KL}(P || Q) = \frac{1}{2} \left{ \text{tr}(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)'\Sigma_2^{-1}(\mu_2 - \mu_1) - d + \log\frac{|\Sigma_2|}{|\Sigma_1|} \right}$$
    • Phân phối Wishart: $X \sim \text{Wishart}_p(n, V)$ trên không gian ma trận đối xứng xác định dương cấp $p \times p$.

  2. Họ phân phối mũ và mô hình hồi quy tuyến tính tổng quát (GLM): Biến ngẫu nhiên $Y$ thuộc họ mũ nếu hàm mật độ có dạng: $$f(y|\eta) = \exp\left( \frac{y\eta - b(\eta)}{a(\phi)} + c(y, \phi) \right)$$ trong đó $\eta$ là tham số chính tắc, $\phi$ là tham số tỷ lệ. Cấu trúc GLM gồm ba thành phần: phân phối thuộc họ mũ, thành phần dự báo tuyến tính $\eta = X\beta$, và hàm liên kết $g(\mu) = \eta$ với $\mu = E[Y|\beta]$.

Dạng hồi quy Phân phối Tham số chính tắc $\eta$ Hàm $b(\eta)$ Tham số tỷ lệ $a(\phi)$ Hàm liên kết $g(\mu)$
Chuẩn $N(\mu, \sigma^2)$ $\mu$ $\frac{1}{2}\eta^2$ $\phi = \sigma^2$ Đồng nhất: $g(\mu) = \mu$
Poisson $\text{Poisson}(\lambda)$ $\log \lambda$ $e^\eta$ $\phi = 1$ Logarit: $g(\mu) = \log(\mu)$
Nhị thức $\text{Binomial}(n, \pi)$ $\text{logit}(\pi)$ $n\log(1 + e^\eta)$ $\phi = 1$ Logit: $g(\mu) = \log\left(\frac{\mu}{n-\mu}\right)$
Gamma $\text{Gamma}(\alpha, \beta)$ $-1/\mu$ $-\log(-\eta)$ $1/\alpha$ Nghịch đảo: $g(\mu) = \mu^{-1}$
Chuẩn nghịch đảo $IG(\mu, \lambda)$ $-1/(2\mu^2)$ $-\sqrt{-2\eta}$ $1/\lambda$ Nghịch đảo bình phương: $g(\mu) = \mu^{-2}$

  1. Mô hình hồi quy tuyến tính hỗn hợp tổng quát (GLMM): Thành phần dự báo tuyến tính mở rộng chứa ảnh hưởng ngẫu nhiên: $\eta = X\beta + Zb$, trong đó $b = (b_1', \dots, b_m')'$ với $b_i \sim N(0, Q)$, độc lập giữa các đối tượng $i = 1, \dots, m$.

  2. Khung lý thuyết Bayes biến phân (Variational Bayes - VB): Xấp xỉ phân phối hậu nghiệm đúng $p(\theta|y)$ bằng phân phối biến phân $q(\theta)$ thuộc một lớp phân phối đơn giản thông qua tối thiểu hóa khoảng cách Kullback-Leibler: $$\text{KL}(q || p) = \int q(\theta) \log \frac{q(\theta)}{p(\theta|y)} d\theta$$ Khai triển logarit của mật độ biên duyên: $$\log p(y) = L(q) + \text{KL}(q || p)$$ trong đó cận dưới biên duyên (Evidence Lower Bound - ELBO) là: $$L(q) = \int q(\theta) \log \frac{p(y, \theta)}{q(\theta)} d\theta$$ Việc cực tiểu hóa $\text{KL}(q || p)$ tương đương với bài toán cực đại hóa $L(q)$. Phân phối $q(\theta)$ được phân rã nhân tử khối: $q(\theta) = \prod_{j=1}^K q_j(\theta_j)$.

    • Bayes biến phân dạng trung bình (MFVB): Áp dụng khi chọn tiên nghiệm liên hợp, công thức cập nhật tối ưu cho từng khối tham số: $$q_j^*(\theta_j) \propto \exp\left( E_{-\theta_j}[\log p(y, \theta)] \right)$$
    • Bayes biến phân dạng cố định (FFVB): Khi phân phối hậu nghiệm đầy đủ không có dạng chuẩn tắc đóng, $q(\theta)$ được cố định thuộc một họ phân phối cụ thể với vector tham số $\lambda$, biến đổi bài toán thành tối ưu hóa hàm mục tiêu theo $\lambda$.

Phương pháp nghiên cứu thực tế

  • Thuật toán tối ưu hóa: Sử dụng thuật toán Newton - Raphson để giải các phương trình đạo hàm; thuật toán xấp xỉ ngẫu nhiên (Stochastic Gradient Descent / Stochastic Approximation) của Salimans và Knowles [33] cho trường hợp FFVB họ mũ; và thuật toán đạo hàm theo hướng (Coordinate Gradient Descent - CGD).
  • Phương pháp Bayesian adaptive Lasso: Kết hợp phân phối tiên nghiệm Laplace/chuẩn kép với các tham số co rút riêng biệt cho từng hệ số nhằm thực hiện chọn biến tự động và giảm chệch ước lượng.
  • Nghiên cứu mô phỏng số (Simulation Studies): Thiết lập các kịch bản số học trên máy tính để so sánh nghiệm xấp xỉ biến phân với nghiệm hậu nghiệm giải tích đúng và nghiệm của các phương pháp cạnh tranh.
  • Nguồn tư liệu và dữ liệu: Dữ liệu mô phỏng do tác giả sinh ngẫu nhiên từ các mô hình xác suất; dữ liệu thực nghiệm từ cuộc khảo sát hộ gia đình HILDA của Úc và các bộ dữ liệu thực tế về GLMM được đề cập trong các chương ứng dụng.

Nội dung chính theo từng chương

Chương 1: Kiến thức chuẩn bị

Chương 1 cung cấp các công cụ toán học và thuật toán nền tảng phục vụ cho các phát triển ở Chương 2 và Chương 3:

  1. Trình bày hệ thống phân phối và tính chất giải tích: Mô tả hàm mật độ, kỳ vọng, phương sai, hàm sinh momen và các đặc trưng đại số của các phân phối Beta, Gamma, Gamma ngược, Chuẩn một chiều, Chuẩn nhiều chiều và Wishart.

  2. Khảo sát họ mũ, GLM và mô hình hồi quy trộn (MRMs): Thiết lập cấu trúc tổng quát của mô hình GLM (Bảng 1.1) và mô hình hồi quy trộn $p(y|z, \theta) = \sum_{k=1}^K \pi_k f(y|\theta_k, \phi_k)$ đối với các phân phối chuẩn, nhị thức và Poisson.

  3. Cơ sở toán học của MFVB và ví dụ minh họa: Xét mẫu độc lập $y = (y_1, \dots, y_n)'$ từ phân phối chuẩn $N(\mu, \sigma^2)$ với tiên nghiệm $\mu \sim N(\mu_0, \sigma_0^2)$ và $\sigma^2 \sim \text{IG}(A_0, B_0)$. Khai triển biến phân $q(\mu, \sigma^2) = q(\mu)q(\sigma^2)$ dẫn đến:

    • $q^*(\mu) \sim N(\mu_\mu, \sigma_\mu^2)$ với $\sigma_\mu^2 = \left( \frac{n}{\sigma^2} + \frac{1}{\sigma_0^2} \right)^{-1}$ và $\mu_\mu = \sigma_\mu^2 \left( \frac{\sum y_i}{\sigma^2} + \frac{\mu_0}{\sigma_0^2} \right)$.
    • $q^*(\sigma^2) \sim \text{IG}(A_{\sigma^2}, B_{\sigma^2})$ với $A_{\sigma^2} = A_0 + \frac{n}{2}$ và $B_{\sigma^2} = B_0 + \frac{1}{2} \sum_{i=1}^n E_\mu[(y_i - \mu)^2]$.

    Tác giả tiến hành mô phỏng với tham số thực $\mu^{(\text{true})} = 0$, $\sigma^{2(\text{true})} = 10$ trên hai kích thước mẫu $n = 100$ và $n = 200$. Kết quả số liệu được tổng hợp trong bảng sau:

Lần thực hiện Cỡ mẫu ($n$) Tham số Hậu nghiệm đúng Hậu nghiệm tối ưu VB
Lần 1 $n = 100$ $\mu$ $\mu^{(\text{true})} = 0.1000$ $\hat{\mu} = \mu_\mu = 0.1000$
$\sigma^2$ $\sigma^{2(\text{true})} = 8.1384$ $\hat{\sigma}^2 = \frac{B_{\sigma^2}}{A_{\sigma^2} + 1} = 8.1384$
Thông số phân phối $\sigma_\mu^2 = 0.0806$ $A_{\sigma^2} = 51$, $B_{\sigma^2} = 406.9188$
Lần 2 $n = 200$ $\mu$ $\mu^{(\text{true})} = -0.0637$ $\hat{\mu} = \mu_\mu = -0.0637$
$\sigma^2$ $\sigma^{2(\text{true})} = 9.8624$ $\hat{\sigma}^2 = \frac{B_{\sigma^2}}{A_{\sigma^2} + 1} = 9.8624$
Thông số phân phối $\sigma_\mu^2 = 0.0491$ $A_{\sigma^2} = 101$, $B_{\sigma^2} = 996.1000$

Đồ thị cận dưới biên duyên $L(q)$ trong nghiên cứu cho thấy thuật toán VB đạt được sự hội tụ chỉ sau vài bước lặp. Khi cỡ mẫu tăng từ $n=100$ lên $n=200$, ước lượng tham số tiến sát giá trị thực.

  1. Cơ sở toán học của FFVB và các thuật toán giải: Xét mô hình phi tuyến $Y = \beta + \exp(\alpha)\epsilon$ với $\epsilon \sim N(0, 1)$, tức $Y \sim N(\beta, e^{2\alpha})$. Tiên nghiệm $\beta \sim N(0, \sigma_\beta^2)$ và $\alpha \sim N(0, \sigma_\alpha^2)$. Phân phối hậu nghiệm của $\alpha$ không thuộc họ chuẩn tắc đóng. Tác giả chọn $q_\alpha(\alpha) \sim N(\mu_\alpha, \sigma_\alpha^2)$ và so sánh hai thuật toán:

    • Thuật toán 1: Sử dụng khai triển Taylor bậc hai và cập nhật $\mu_\alpha, \sigma_\alpha^2$ qua nghiệm $\alpha^$ của phương trình đạo hàm cấp một bằng phương pháp Newton - Raphson: $\mu_\alpha = \alpha^$, $\sigma_\alpha^2 = (-f''(\alpha^*))^{-1}$.
    • Thuật toán 2: Giải trực tiếp hệ điều kiện cực trị bậc nhất $\frac{\partial L(q)}{\partial \mu_\alpha} = 0$ và $\frac{\partial L(q)}{\partial \sigma_\alpha^2} = 0$ bằng Newton - Raphson.

    Thực nghiệm mô phỏng với $\beta^{(\text{true})} = 20$, $\alpha^{(\text{true})} = 1$, $n = 100$ cho kết quả ước lượng tại Bảng 1.3:

Tham số Giá trị thực Thuật toán 1 Thuật toán 2 Hậu nghiệm đúng
$\beta$ $20.0000$ $\hat{\beta} = \mu_\beta = 19.9852$ $\hat{\beta} = \mu_\beta = 19.9852$ $\mu_\beta^{(\text{true})} = 19.0738$
$\alpha$ $1.0000$ $\hat{\alpha} = \mu_\alpha = 1.0425$ $\hat{\alpha} = \mu_\alpha = 1.0345$ $\mu_\alpha^{(\text{true})} = 1.0345$
$\sigma_\beta^2$ — $0.0811$ $0.0811$ —
$\sigma_\alpha^2$ — $0.0050$ $0.0050$ —

Cả hai thuật toán đều cho kết quả gần sát nghiệm hậu nghiệm đúng, trong đó Thuật toán 2 cho giá trị $\mu_\alpha = 1.0345$ trùng khớp với mode hậu nghiệm giải tích.

  1. Phương pháp FFVB họ mũ của Salimans và Knowles [33] (Thuật toán 3): Luận án trình bày phương pháp tham số hóa $q_\lambda(\theta) = \exp[T(\theta)\lambda - U(\lambda)]$, đưa bài toán cực tiểu khoảng cách KL về giải phương trình $\nabla_\lambda \text{KL} = 0$ bằng thuật toán xấp xỉ ngẫu nhiên với cỡ bước $w_t = 1/\sqrt{t}$.

Chương 2: Lựa chọn biến và ước lượng tham số bằng phương pháp VB cho mô hình GLMM

Chương 2 giải quyết bài toán lựa chọn biến cho thành phần ảnh hưởng cố định và ước lượng các tham số trong mô hình hồi quy tuyến tính hỗn hợp tổng quát:

  1. Cấu trúc mô hình GLMM và hàm hợp lý: Hàm mật độ có điều kiện của $y_{ij}$ ($i = 1, \dots, m; j = 1, \dots, n_i$) có dạng họ mũ: $$f(y_{ij}|\beta, b_i) = \exp\left( \frac{y_{ij}\eta_{ij} - b(\eta_{ij})}{\phi} + c(y_{ij}, \phi) \right)$$ với $\eta_{ij} = x_{ij}'\beta + z_{ij}'b_i$. Logarit hàm hợp lý toàn phần: $$l(\beta, \psi) = \sum_{i=1}^m \log\left( \int \prod_{j=1}^{n_i} f(y_{ij}|\beta, b_i) p(b_i|Q) db_i \right)$$
  2. Phương pháp VB mode hậu nghiệm kết hợp Bayes thích nghi Lasso (VBGLMM): Thay vì tích phân số học phức tạp hoặc xấp xỉ Laplace có sai số, tác giả tiếp cận việc tìm mode của phân phối hậu nghiệm thông qua cực đại hóa cận dưới biến phân. Cấu trúc tiên nghiệm Bayes thích nghi Lasso được gán cho hệ số cố định $\beta$: $$p(\beta|\lambda) = \prod_{j=1}^p \frac{\lambda_j}{2} \exp(-\lambda_j |\beta_j|)$$ trong đó mỗi hệ số $\beta_j$ sở hữu một tham số co rút riêng $\lambda_j$, giúp giải quyết hiện tượng ước lượng chệch khi dùng một tham số duy nhất.
  3. Các phân phối hậu nghiệm tối ưu VB: Luận án thiết lập công thức cập nhật lặp cho từng thành phần:
    • Phân phối hậu nghiệm tối ưu cho vector hệ số ảnh hưởng cố định $\beta$.
    • Phân phối hậu nghiệm tối ưu cho vector ảnh hưởng ngẫu nhiên $b = (b_1', \dots, b_m')'$.
    • Phân phối hậu nghiệm tối ưu cho ma trận hiệp phương sai $Q$ (hoặc ma trận độ chính xác $\Omega = Q^{-1}$) thông qua phân phối tiên nghiệm Wishart liên hợp.
    • Phân phối hậu nghiệm tối ưu cho các tham số co rút $\lambda = (\lambda_1, \dots, \lambda_p)'$.
    • Phân phối hậu nghiệm tối ưu cho tham số tỷ lệ $\phi$.
  4. Quy trình lựa chọn siêu tham số và thuật toán VBGLMM: Xây dựng thuật toán lặp phối hợp giữa việc cập nhật các kỳ vọng biến phân và cập nhật hệ số co rút. Tiêu chuẩn dừng dựa trên độ biến thiên của cận dưới $L(q)$ hoặc sự hội tụ của vector tham số.
  5. Đánh giá hiệu năng qua mô phỏng và dữ liệu thực:
    • Mô phỏng hồi quy Poisson (Bảng 2.1): Đánh giá trên dữ liệu đếm với các cụm phụ thuộc.
    • Mô phỏng hồi quy logistic (Bảng 2.2): Đánh giá trên dữ liệu nhị phân với các cấu trúc ma trận hiệp phương sai ngẫu nhiên khác nhau.
    • Ứng dụng trên dữ liệu thực (Mục 2.5, trang 69): So sánh phương pháp VBGLMM với phương pháp xấp xỉ Laplace phạt của Groll và Tutz [19], Schelldorfer và đồng sự [35], khẳng định tốc độ tính toán vượt trội và khả năng chọn đúng các biến có ý nghĩa thống kê mà không cần duyệt lưới tham số co rút.

Chương 3: Lựa chọn biến, số thành phần và ước lượng tham số bằng phương pháp VB cho mô hình MRDE-MN

Chương 3 mở rộng lý thuyết sang lớp mô hình hỗn hợp nhiều chiều:

  1. Định dạng mô hình MRDE-MN: Cho biến đáp ứng đa biến $y \in \mathbb{R}^d$ và vector hiệp biến $x \in \mathbb{R}^p, w \in \mathbb{R}^q$. Mô hình hồi quy mật độ nhiều biến trộn các phân phối chuẩn có phương sai phụ thuộc có dạng: $$p(y|x, w) = \sum_{k=1}^K \pi_k(w) N_d\left( y \Big| B_k' x, \Sigma_k(x) \right)$$ Mô hình gồm hai thành phần cấu trúc:
    • Mean model (Mô hình trung bình): Xác định kỳ vọng có điều kiện qua ma trận hệ số hồi quy $B_k$.
    • Gating model (Mô hình cổng/chọn thành phần): Xác định xác suất trộn $\pi_k(w)$ phụ thuộc vào hiệp biến $w$ thông qua hàm liên kết logit đa thức (multinomial logit).
  2. Thiết lập biến phân cho MRDE-MN: Luận án xác định các phân phối hậu nghiệm tối ưu biến phân cho toàn bộ hệ thống tham số:
    • Phân phối hậu nghiệm tối ưu cho ma trận hệ số hồi quy $B$.
    • Phân phối hậu nghiệm tối ưu cho ma trận hiệp phương sai sai số $\Gamma_y$ (hoặc ma trận chính xác $\Sigma_k^{-1}$).
    • Phân phối hậu nghiệm tối ưu cho vector tham số của gating model $g_w$.
    • Phân phối hậu nghiệm tối ưu cho các biến chỉ số phân cụm tiềm ẩn $\tau_y$.
  3. Thủ tục lựa chọn số thành phần $K$ và lựa chọn biến:
    • Lựa chọn số thành phần $K$: Áp dụng thuật toán VB kết hợp kỹ thuật cắt tỉa các thành phần thừa (trọng số $\pi_k \to 0$), vượt qua bẫy cực đại địa phương mà các thuật toán EM truyền thống thường gặp phải.
    • Lựa chọn biến cho mean model và gating model: Sử dụng cấu trúc phân phối tiên nghiệm phân cấp dạng co rút nhằm đưa các hệ số không quan trọng trong cả hai mô hình về 0 một cách đồng thời.
    • Thiết lập thuật toán tổng thể hoàn chỉnh (Thuật toán đầy đủ, Mục 3.6).
  4. Nghiên cứu mô phỏng và ứng dụng trên dữ liệu thực:
    • Mô phỏng số: Thiết lập trên các bảng giá trị đúng của tham số $\beta$ và $\gamma$ (Bảng 3.1). Đánh giá tính chính xác qua các chỉ số: Tỷ lệ chọn đúng mô hình (Correctly-Fitted Rate - CFR), Sai số bình phương trung bình (Mean Squared Error - MSE), và Điểm dự báo từng phần (Partial Predictive Score - PPS) (Bảng 3.2).
    • Ứng dụng dữ liệu thực tế HILDA (trang 94-96): Phân tích bộ dữ liệu kinh tế - xã hội đa biến HILDA của Úc.
      • Bảng 3.3: Tổng hợp danh sách các biến được lựa chọn cùng các hệ số ước lượng tương ứng trong mean model.
      • Bảng 3.4: Tổng hợp danh sách các biến được lựa chọn và hệ số ước lượng trong gating model. Kết quả phản ánh rõ cấu trúc không đồng nhất của dữ liệu và chỉ ra các nhân tố ảnh hưởng riêng biệt lên từng nhóm đối tượng.

Kết quả và những đóng góp mới

Luận án tự xác định các đóng góp mới về mặt lý luận khoa học và thực tiễn tính toán:

Đóng góp về lý luận

  1. Xây dựng thuật toán VBGLMM: Đề xuất một thuật toán Bayes biến phân mới thực hiện đồng thời lựa chọn biến và ước lượng tham số trong mô hình GLMM. Thuật toán khắc phục được ba hạn chế cơ bản của phương pháp xấp xỉ Laplace kết hợp phạt $L_1$-norm truyền thống (của Groll và Schelldorfer): loại bỏ sai số do xấp xỉ Laplace trên các ảnh hưởng ngẫu nhiên, giải phóng người dùng khỏi việc chạy lặp thuật toán trên lưới tham số co rút $\lambda$, và triệt tiêu độ chệch ước lượng nhờ cơ chế Bayes thích nghi Lasso.
  2. Khái quát hóa phương pháp VB mode hậu nghiệm: Chứng minh phương pháp VB mode hậu nghiệm đề xuất có thể áp dụng mở rộng cho các bài toán thống kê khác, tiêu biểu là bài toán lựa chọn cấu trúc ma trận hiệp phương sai.
  3. Đề xuất mô hình hồi quy trộn đa biến MRDE-MN: Tổng quát hóa thành công mô hình hồi quy mật độ trộn chuẩn có phương sai phụ thuộc từ trường hợp đơn biến của Tran và đồng sự [40] sang trường hợp biến đáp ứng đa biến $y$.
  4. Thuật toán tích hợp đồng thời cho MRDE-MN: Xây dựng quy trình thuật toán Bayes biến phân cho phép thực hiện đồng thời ba tác vụ phức tạp trong một khung tính toán duy nhất: lựa chọn số thành phần $K$, lựa chọn tập biến giải thích cho mean model, lựa chọn tập biến giải thích cho gating model, và ước lượng toàn bộ các tham số.

Đóng góp về thực tiễn và tính toán

  • Cung cấp giải pháp thuật toán có tốc độ tính toán nhanh, giải quyết hiệu quả bài toán dữ liệu lớn, dữ liệu có chiều cao ($p > n$), dữ liệu cụm phụ thuộc và dữ liệu phi chuẩn.
  • Kiểm chứng thực nghiệm thành công trên dữ liệu mô phỏng hồi quy Poisson, hồi quy logistic và dữ liệu thực tế HILDA, cung cấp các bảng tham số tin cậy cho phân tích ứng dụng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

Văn bản luận án nêu rõ phạm vi và các giới hạn nghiên cứu:

  • Các thuật toán biến phân được xây dựng dựa trên các cấu trúc phân phối tiên nghiệm và phân rã khối xác định; hiệu năng xấp xỉ phụ thuộc vào độ phù hợp của giả thiết phân phối đặt ra cho các biến tiềm ẩn và tham số.
  • Nghiên cứu tập trung vào mô hình ảnh hưởng ngẫu nhiên có phân phối chuẩn trong GLMM và phân phối chuẩn nhiều chiều trong các thành phần của MRDE-MN; chưa mở rộng cho các lớp phân phối sai số có đuôi nặng hoặc phi đối xứng phức tạp hơn.

Hướng nghiên cứu tiếp theo

Luận án đề xuất ba hướng phát triển tiếp theo tại phần Kết luận và kiến nghị:

  1. Mở rộng phương pháp VBGLMM cho bài toán lựa chọn nhóm biến trong mô hình GLMM bằng cách sử dụng kỹ thuật phạt Lasso nhóm (Group Lasso) theo hướng tiếp cận của Yuan và Lin [43].
  2. Phát triển thuật toán lựa chọn biến có thứ tự hoặc biến được sắp xếp trong mô hình GLMM bằng cách áp dụng hình thức phạt tuyệt đối tổng hợp (Composite absolute penalties) theo nghiên cứu của Zhao và đồng sự [44].
  3. Mở rộng ứng dụng của phương pháp VB mode hậu nghiệm để thực hiện lựa chọn ma trận hiệp phương sai trong các mô hình dữ liệu phụ thuộc phức tạp khác.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu cho các đối tượng và mục đích nghiên cứu sau:

  1. Nghiên cứu sinh và học viên cao học ngành Toán giải tích, Lý thuyết xác suất và Thống kê toán học, Khoa học dữ liệu:
    • Nắm vững kỹ thuật suy luận Bayes biến phân (cả MFVB và FFVB).
    • Tham khảo chi tiết Chương 1 về kỹ thuật tính giải tích kỳ vọng theo phân phối biến phân, phân rã cận dưới $L(q)$, và các bước thực thi thuật toán Newton - Raphson, xấp xỉ ngẫu nhiên.
  2. Giảng viên và nhà nghiên cứu thống kê ứng dụng, sinh trắc học, kinh tế lượng:
    • Tham khảo Chương 2 về thuật toán VBGLMM để xử lý dữ liệu đo lặp, dữ liệu bệnh nhân hoặc phân tích kinh tế vi mô khi số lượng biến giải thích lớn mà không cần duyệt lưới tham số co rút thủ công.
    • Tham khảo Chương 3 để mô hình hóa các tập dữ liệu không đồng nhất đa chiều thông qua mô hình MRDE-MN, ứng dụng phân cụm mềm kết hợp hồi quy đồng thời.
  3. Các chuyên gia phân tích dữ liệu chính sách và kinh tế - xã hội:
    • Sử dụng phương pháp luận và kết quả phân tích trên bộ dữ liệu thực tế HILDA (Bảng 3.3 và Bảng 3.4) như một nghiên cứu điển hình trong việc bóc tách các yếu tố tác động khác nhau giữa các nhóm đối tượng trong quần thể.

Câu hỏi thường gặp

1. Ba hạn chế chính của phương pháp xấp xỉ Laplace kết hợp phạt Lasso của Groll và đồng sự [19] cùng Schelldorfer và đồng sự [35] trong mô hình GLMM là gì?

Theo luận án, ba hạn chế đó là:

  • Thứ nhất, xấp xỉ Laplace trên các ảnh hưởng ngẫu nhiên trong một số trường hợp cụ thể có thể không đạt độ chính xác (Joe [20]).
  • Thứ hai, hiệu suất thuật toán phụ thuộc vào tham số co rút $\lambda$; người dùng phải chạy lại thuật toán nhiều lần trên một lưới giá trị định trước rồi chọn qua tiêu chuẩn AIC hoặc BIC, làm quy trình tính toán tốn nhiều thời gian và khó xác định phạm vi lưới phù hợp.
  • Thứ ba, việc sử dụng một tham số co rút $\lambda$ duy nhất cho mọi hệ số dẫn tới hiện tượng ước lượng bị chệch.

2. Nguyên lý hoạt động của phương pháp VBGLMM do tác giả đề xuất là gì?

Thuật toán VBGLMM kết hợp phương pháp Bayes biến phân để ước lượng mode hậu nghiệm với phương pháp Bayes thích nghi Lasso (Bayesian adaptive Lasso). Thay vì dùng xấp xỉ Laplace, phương pháp tối ưu hóa cận dưới biên duyên $L(q)$ để xấp xỉ phân phối hậu nghiệm của các ảnh hưởng cố định $\beta$, ảnh hưởng ngẫu nhiên $b$, ma trận hiệp phương sai $Q$, tham số tỷ lệ $\phi$, đồng thời gán cho mỗi hệ số $\beta_j$ một tham số co rút riêng biệt $\lambda_j$ để tự động co rút hệ số về 0 mà không làm chệch các ước lượng quan trọng.

3. Mô hình MRDE-MN ở Chương 3 kế thừa và mở rộng điểm nào từ mô hình RDE-MHN(k) của Tran và đồng sự [40]?

Mô hình RDE-MHN(k) của Tran và đồng sự [40] mô hình hóa hàm mật độ trộn $k$ phân phối chuẩn có phương sai phụ thuộc và đề xuất thuật toán VB để chọn biến, chọn số thành phần $k$, nhưng chỉ áp dụng cho biến đáp ứng $y$ đơn biến ($y \in \mathbb{R}$). Mô hình MRDE-MN của luận án đã tổng quát hóa cấu trúc này sang trường hợp biến đáp ứng đa biến $y \in \mathbb{R}^d$, đồng thời xây dựng quy trình phân phối biến phân cho cả mô hình trung bình (mean model) và mô hình cổng (gating model).

4. Phân biệt phương pháp Bayes biến phân dạng trung bình (MFVB) và dạng cố định (FFVB) theo trình bày của luận án?

  • MFVB (Mean Form Variational Bayes): Áp dụng khi hàm mật độ tiên nghiệm liên hợp được lựa chọn sao cho phân phối hậu nghiệm đầy đủ của tham số thuộc về một họ phân phối đóng nhận biết được. Khi đó, tham số của phân phối biến phân tối ưu $q_j^*(\theta_j)$ được xác định trực tiếp thông qua công thức kỳ vọng $E_{-\theta_j}[\log p(y, \theta)]$.
  • FFVB (Fixed Form Variational Bayes): Áp dụng khi phân phối hậu nghiệm đầy đủ không thuộc họ phân phối quen thuộc đã biết. Người nghiên cứu phải chọn trước một dạng phân phối cố định cho $q(\theta)$ (thường thuộc họ mũ), sau đó áp dụng các kỹ thuật tối ưu hóa toán học (như Newton - Raphson hoặc thuật toán xấp xỉ ngẫu nhiên) để ước lượng các tham số của phân phối đó.

5. Kết quả thực nghiệm mô phỏng phân phối chuẩn ở Chương 1 cho thấy cỡ mẫu ảnh hưởng như thế nào đến ước lượng VB?

Trong Ví dụ 1.1 với giá trị thực $\mu^{(\text{true})} = 0$ và $\sigma^{2(\text{true})} = 10$:

  • Khi cỡ mẫu $n = 100$ (Lần 1), mode của phân phối hậu nghiệm tối ưu VB đạt $\hat{\mu} = 0.1000$ và $\hat{\sigma}^2 = 8.1384$.
  • Khi tăng cỡ mẫu lên $n = 200$ (Lần 2), ước lượng cải thiện rõ rệt, đạt $\hat{\mu} = -0.0637$ và $\hat{\sigma}^2 = 9.8624$ (tiến rất sát giá trị thực 10). Cả hai trường hợp đều cho thấy đường mật độ biến phân bám sát phân phối hậu nghiệm giải tích đúng và cận dưới $L(q)$ hội tụ chỉ sau vài vòng lặp.

Kết luận

Luận án tiến sĩ của Đào Thanh Tùng đã giải quyết bài toán lựa chọn biến, xác định số thành phần và ước lượng tham số trong hai lớp mô hình thống kê phức tạp là GLMM và MRDE-MN bằng phương pháp Bayes biến phân. Tác giả đã xây dựng thành công thuật toán VBGLMM khắc phục các sai số và chi phí tính toán của phương pháp xấp xỉ Laplace phạt trước đây, đồng thời phát triển mô hình hồi quy trộn đa biến MRDE-MN với thuật toán ước lượng đồng thời cho cả mean model và gating model. Các thuật toán đề xuất đều được kiểm chứng chặt chẽ về mặt toán học, thể hiện tốc độ hội tụ nhanh qua mô phỏng số và chứng minh được tính hiệu quả khi áp dụng trên bộ dữ liệu thực tế HILDA.