Tổng quan luận án

Đề tài luận án tiến sĩ "Ước lượng phi tham số cho $P(X < Y)$" được thực hiện bởi nghiên cứu sinh Tôn Thất Quang Nguyên, dưới sự hướng dẫn khoa học của GS. Đặng Đức Trọng tại Trường Đại học Khoa học Tự nhiên – Đại học Quốc gia Thành phố Hồ Chí Minh, thuộc chuyên ngành Lý thuyết xác suất và thống kê toán học (mã số: 9460106). Luận án tập trung giải quyết bài toán suy diễn thống kê phi tham số cho xác suất $\theta := P(X < Y)$ khi dữ liệu thu thập được từ hai biến số ngẫu nhiên liên tục $X$ và $Y$ bị biến dạng bởi các sai số ngẫu nhiên của phép đo (dữ liệu nhiễu).

Tính cấp thiết và khoảng trống nghiên cứu

Đại lượng $\theta = P(X < Y)$ đóng vai trò trung tâm trong nhiều lĩnh vực khoa học ứng dụng:

  1. Trong lý thuyết độ tin cậy kỹ thuật (mô hình stress-strength): Biến số $Y$ đại diện cho sức bền (strength) của kết cấu hoặc linh kiện, còn $X$ đại diện cho áp lực (stress) tác động lên kết cấu đó. Khi áp lực vượt quá sức bền ($X \ge Y$), kết cấu sẽ bị hỏng; do đó, xác suất $\theta = P(X < Y)$ thể hiện độ tin cậy hoạt động của hệ thống (tham số tin cậy).
  2. Trong y khoa và chẩn đoán sinh học: Khi $X$ và $Y$ biểu thị kết quả xét nghiệm định lượng từ hai tổng thể người không mắc bệnh và người mắc bệnh với các hàm phân phối tương ứng là $F_X$ và $F_Y$, đại lượng $\theta$ tương ứng chính xác với chỉ số diện tích dưới đường cong ROC (Area Under the ROC Curve - AUC). Chỉ số này đo lường tính chính xác và năng lực phân loại của một xét nghiệm chẩn đoán y khoa với giá trị nằm trong đoạn $[1/2, 1]$.
  3. Trong sinh vật học và nông nghiệp: Đại lượng $\theta$ được sử dụng để so sánh hiệu quả sinh trưởng giữa hai giống cây trồng hoặc tác động của các nghiệm thức sinh học đối chứng và can thiệp.

Trong thực tế thu thập dữ liệu, các quan trắc trực tiếp $X$ và $Y$ thường không thể ghi nhận hoàn hảo do giới hạn độ chính xác của dụng cụ đo hoặc sai sót của người vận hành phép đo (chẳng hạn như dữ liệu huyết áp tâm thu và tâm trương trong dự đoán chứng tăng huyết áp ở trẻ em). Khi đó, dữ liệu thực tế thu nhận được là các biến số ngẫu nhiên nhiễu $X' = X + \xi$ và $Y' = Y + \eta$, với $\xi$ và $\eta$ là các sai số đo.

Khoảng trống nghiên cứu lớn mà luận án chỉ ra là: Hầu hết các công trình trước đây tập trung vào dữ liệu trực tiếp không có sai số hoặc chỉ giới hạn ở mô hình dữ liệu nhiễu với giả thiết tham số (phân phối chuẩn), hoặc đòi hỏi các biến đổi Fourier của hàm mật độ sai số $f^_\xi(t), f^_\eta(t)$ không triệt tiêu trên toàn trục thực $\mathbb{R}$ (như trong mô hình hàm siêu trơn của Dattner, 2013). Giả thiết này bị vi phạm ở nhiều phân phối phổ biến có giá compact như phân phối đều, phân phối tam giác, phân phối beta. Do đó, việc xây dựng các ước lượng phi tham số và đánh giá tốc độ hội tụ khi hàm mật độ sai số có giá compact hoặc sai số đo có phân phối không đồng nhất là yêu cầu toán học cấp thiết chưa được giải quyết đầy đủ.

Mục tiêu nghiên cứu

Mục tiêu chính của luận án được xác định cụ thể qua hai bài toán cốt lõi:

  1. Trường hợp sai số đo đồng nhất (Homoscedastic case): Xây dựng ước lượng phi tham số $\hat{\theta}\delta$ cho đại lượng $\theta$ từ hai mẫu dữ liệu nhiễu $(X'1, \dots, X'n)$ và $(Y'1, \dots, Y'm)$ khi các sai số $\xi_1, \dots, \xi_n$ độc lập cùng phân phối với hàm mật độ $f\xi$, và các sai số $\eta_1, \dots, \eta_m$ độc lập cùng phân phối với hàm mật độ $f\eta$. Chứng minh tính vững và thiết lập các chặn trên, chặn dưới về tốc độ hội tụ theo sai số bình phương trung bình $(E|\hat{\theta}\delta - \theta|^2)^{1/2}$ khi $f\xi, f\eta$ có giá compact thuộc lớp $\mathcal{F}(M) = {g: \text{supp}(g) \subset [-M, M]}$ và cặp mật độ $(f_X, f_Y)$ thuộc lớp hàm Sobolev $\mathcal{F}(\beta, C)$ với $\beta > 1/2, C > 0$.
  2. Trường hợp sai số đo không đồng nhất (Heteroscedastic case): Xây dựng ước lượng phi tham số $\hat{\theta}w$ cho đại lượng $\theta$ khi các sai số $\xi_1, \dots, \xi_n; \eta_1, \dots, \eta_m$ độc lập nhưng có thể khác phân phối, mỗi sai số có hàm mật độ đã biết riêng $f{\xi_j}, f_{\eta_k}$ thỏa mãn $\text{supp}(f_{\xi_j}) \subset [-M, M]$ và $\text{supp}(f_{\eta_k}) \subset [-M, M]$ với hằng số $M > 0$ độc lập với cỡ mẫu. Chứng minh tính vững và xác lập các chặn tốc độ hội tụ minimax tương ứng trên lớp hàm $\mathcal{F}(\beta, C)$.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Đại lượng xác suất $\theta = P(X < Y)$, các hàm phân phối và mật độ xác suất $f_X, f_Y$, hàm mật độ sai số $f_\xi, f_\eta$, và các cấu trúc ước lượng giải chập phi tham số.
  • Phạm vi nghiên cứu: Xét các biến số ngẫu nhiên liên tục trong không gian một chiều $\mathbb{R}$. Cặp hàm mật độ chưa biết $(f_X, f_Y)$ thuộc lớp hàm giải tích thực $\mathcal{F}(\beta, C)$. Các sai số đo $\xi, \eta$ có giá compact trong đoạn $[-M, M]$ hoặc thuộc lớp hàm mật độ siêu trơn. Cỡ mẫu quan trắc hữu hạn $n, m \in \mathbb{N}^*$ tiến ra vô cùng.

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa lịch sử phát triển của bài toán ước lượng đại lượng $\theta = P(X < Y)$ từ thập niên 1940 đến thời điểm nghiên cứu:

Hướng nghiên cứu trên dữ liệu trực tiếp (không có sai số đo)

  • Bài toán khởi đầu từ công trình mở đường của Wilcoxon (1945) và Mann-Whitney (1947) với thống kê phi tham số Wilcoxon-Mann-Whitney (WMW): $$\hat{\theta}{\text{WMW}} = \frac{1}{nm} \sum{j=1}^n \sum_{k=1}^m \mathbf{1}_{{X_j < Y_k}}$$ Thống kê này là ước lượng không chệch của $\theta$ khi quan sát trực tiếp hai mẫu độc lập $(X_1, \dots, X_n)$ và $(Y_1, \dots, Y_m)$.
  • Các nghiên cứu phát triển ước lượng điểm, khoảng tin cậy và phân tích tiệm cận theo cả hướng tham số và phi tham số: Birnbaum (1956), Birnbaum - McCarty (1958), Govindarajulu (1968, 1975), Owen và cộng sự (1964), Sen (1967, 1979), Van Dantzig (1951), Zaremba (1962), Tong (1974, 1977), Woodward - Kelley (1977), Constantine và cộng sự (1986), DeLong và cộng sự (1988).
  • Khảo cứu toàn diện của Kotz, Lumelskii và Pensky (2003) cùng các nghiên cứu gần đây của Reiser - Guttman (1986), Halperin và cộng sự (1987), Kundu - Gupta (2005), Zhou (2008), Huang và cộng sự (2012), Montoya-Rubio và cộng sự.

Hướng nghiên cứu trên dữ liệu có sai số đo (dữ liệu nhiễu)

  • Phương pháp tham số và xấp xỉ:
    • Coffin và Sukhatme (1996): Nghiên cứu đầu tiên về ước lượng điểm cho $\theta$ từ dữ liệu nhiễu khi $X, Y, \xi, \eta$ đều có phân phối chuẩn.
    • Coffin và Sukhatme (1997): Đánh giá độ chệch của ước lượng WMW trên dữ liệu nhiễu, sử dụng ước lượng nhân (kernel density) để hiệu chỉnh độ chệch.
    • Kim và Gleser (2000): Đề xuất thủ tục ước lượng cho $\theta$ dựa trên phương pháp ngoại suy mô phỏng SIMEX của Cook và Stefanski (1994) khi sai số tuân theo phân phối chuẩn chính tắc.
    • Faraggi (2000), Reiser (2000): Xây dựng khoảng tin cậy cho $\theta$ dưới giả thiết các biến có phân phối chuẩn.
    • Schisterman và cộng sự (2001): Khảo sát ước lượng điểm và khoảng khi có thêm bộ dữ liệu phụ trợ độc lập để ước lượng phương sai của sai số đo.
    • Li và cộng sự (2010): Xây dựng khoảng tin cậy cho $\theta$ dựa trên phương pháp MOVER (Method of Variance Estimates Recovery).
    • Rosner và cộng sự (2015): Mở rộng việc xây dựng khoảng tin cậy khi nới lỏng giả thiết phân phối chuẩn.
  • Phương pháp phi tham số và giải chập (Deconvolution):
    • Dattner (2013): Đề xuất ước lượng tích phân Fourier giải chập: $$\hat{\theta}D = \frac{1}{2} - \frac{1}{\pi} \int_0^\infty \frac{1}{t} \text{Im}\left{ \frac{\hat{\phi}{X'}(t) \hat{\phi}{Y'}(-t)}{f^*\xi(t) f^\eta(-t)} \right} w(ht) , dt$$ với $w$ là hàm nhân cắt và $h$ là tham số băng thông. Tác giả thiết lập tốc độ hội tụ tối ưu minimax theo sai số $(E|\hat{\theta}D - \theta|^2)^{1/2}$ khi $f_X, f_Y$ thuộc không gian Sobolev và hàm mật độ sai số $f\xi, f\eta$ là siêu trơn (supersmooth). Hạn chế nghiêm ngặt của ước lượng Dattner là đòi hỏi $f^\xi(t) \neq 0$ và $f^*\eta(t) \neq 0$ với mọi $t \in \mathbb{R}$.
    • Phuong và Thuy (2020): Nghiên cứu đánh giá tốc độ hội tụ khi mật độ sai số chưa biết, đối xứng quanh 0 và được ước lượng từ hai mẫu quan trắc độc lập phụ trợ $(\xi'_1, \dots, \xi'_N)$ và $(\eta'_1, \dots, \eta'_M)$ trong trường hợp sai số siêu trơn.

Vị trí và giải pháp của luận án

Luận án định vị trọng tâm vào việc khắc phục điều kiện biến đổi Fourier không triệt tiêu. Khi hàm mật độ sai số có giá compact, biến đổi Fourier của chúng là hàm giải tích nguyên nên có vô số không điểm cô lập trên trục thực. Luận án đề xuất kỹ thuật chính quy hóa kiểu Tikhonov trong miền tần số để khắc phục triệt để phép chia cho không hoặc chia cho các đại lượng tiệm cận không, đồng thời mở rộng mô hình sang trường hợp sai số đo không đồng nhất giữa các đối tượng quan sát.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và các khái niệm toán học

  1. Biểu diễn tích phân của xác suất $P(X < Y)$ qua biến đổi Fourier: Đặt $Z = X - Y$, ta có $\theta = P(Z < 0) = F_Z(0)$. Theo công thức tích phân nghịch đảo Fourier cho hàm phân phối liên tục: $$F_Z(0) = \frac{1}{2} - \frac{1}{\pi} \int_0^\infty \frac{1}{t} \text{Im}{f^Z(t)} , dt$$ Do $X$ và $Y$ độc lập, hàm mật độ của $Z$ là tích chập $f_Z = f_X * f{-Y}$, dẫn đến $f^Z(t) = f^_X(t) f^{-Y}(t) = f^_X(t) \overline{f^_Y(t)}$. Biểu thức xác suất được viết lại thành: $$\theta = \frac{1}{2} - \frac{1}{\pi} \int_0^\infty \frac{1}{t} \text{Im}\left{ f^_X(t) \overline{f^_Y(t)} \right} dt$$
  2. Mô hình giải chập trong miền Fourier: Từ mô hình quan trắc $X' = X + \xi$ và $Y' = Y + \eta$ với các biến độc lập, ta có: $$f^_{X'}(t) = f^X(t) f^*\xi(t) \quad \text{và} \quad f^_{Y'}(t) = f^Y(t) f^*\eta(t)$$ Hàm đặc trưng thực nghiệm được định nghĩa bởi: $$\hat{\phi}{X'}(t) = \frac{1}{n} \sum{j=1}^n e^{it X'j}, \quad \hat{\phi}{Y'}(t) = \frac{1}{m} \sum_{k=1}^m e^{it Y'_k}$$
  3. Không gian hàm và cấu trúc chính quy hóa:
    • Lớp hàm mật độ tín hiệu $\mathcal{F}(\beta, C)$: $$\mathcal{F}(\beta, C) = \left{ (g, h): g, h \text{ là hàm mật độ thỏa } \int_{-\infty}^\infty |g^(t)| |h^(t)| (1 + |t|^{2\beta}) , dt \le C \right}, \quad \beta > 1/2, C > 0$$ Lớp này chứa không gian Sobolev $\mathcal{S}(\beta, C)$ cũng như các phân phối chuẩn, Cauchy.
    • Lớp sai số có giá compact $\mathcal{F}(M)$: $$\mathcal{F}(M) = {g: g \text{ là hàm mật độ thỏa } \text{supp}(g) \subset [-M, M]}, \quad M > 0$$
    • Hàm mật độ sai số siêu trơn bậc $\nu > 0$: thỏa mãn $c_0 |t|^{\nu_0} e^{-d_0 |t|^\nu} \le |f^*(t)| \le c_1 |t|^{\nu_1} e^{-d_1 |t|^\nu}$.

Phương pháp nghiên cứu

  • Kỹ thuật giải chập chính quy hóa (Regularized Fourier Deconvolution): Để xử lý trường hợp $f^_\xi(t)$ và $f^\eta(t)$ có thể nhận giá trị 0, tác giả đưa vào số hạng điều hòa $\delta |t|^\alpha$ với $\alpha > 1$ và tham số thiết kế $\delta > 0$ phụ thuộc vào cỡ mẫu $n, m$. Các ước lượng cho $f^_X(t)$ và $f^Y(t)$ được xây dựng dưới dạng: $$\hat{u}\delta(t) = \hat{\phi}{X'}(t) \frac{\overline{f^_\xi(t)}}{|f^\xi(t)|^2 + \delta |t|^\alpha}, \quad \hat{v}\delta(t) = \hat{\phi}{Y'}(t) \frac{\overline{f^*\eta(t)}}{|f^*_\eta(t)|^2 + \delta |t|^\alpha}$$
  • Lý thuyết Minimax và Giải tích phức: Sử dụng lý thuyết biến đổi tích phân Fourier trên không gian $L^2(\mathbb{R})$, đẳng cự Plancherel, đẳng thức Parseval, bất đẳng thức Cauchy-Schwarz, bổ đề phân bố không điểm của hàm giải tích nguyên (định lý Cartan/Levin) để kiểm soát độ đo Lebesgue của tập các điểm tần số mà tại đó biến đổi Fourier của sai số có độ lớn nhỏ hơn $\rho$.
  • Phương pháp mô phỏng số: Thực nghiệm Monte Carlo trên môi trường tính toán số học với 2000 lần lặp độc lập nhằm kiểm chứng độ chệch và sai số bình phương trung bình thực nghiệm giữa ước lượng đề xuất $\hat{\theta}\delta$ và ước lượng kinh nghiệm $\hat{\theta}{\text{WMW}}$.

Nội dung chính theo từng chương

Chương 1: Kiến thức chuẩn bị

Chương 1 thiết lập khung lý thuyết giải tích và xác suất nền tảng phục vụ các chứng minh ở các chương sau, gồm 13 nội dung chuyên đề:

  • 1.1 Một số kiến thức về Xác suất: Định nghĩa $\sigma$-đại số, không gian xác suất $(\Omega, \mathcal{A}, P)$, độ đo Lebesgue, biến ngẫu nhiên, kỳ vọng, phương sai, tính độc lập của các biến ngẫu nhiên, luật mạnh số lớn và hàm đặc trưng $\phi_X(t) = E(e^{itX})$.
  • 1.2 Đường cong ROC, chỉ số AUC và $P(X < Y)$: Trình bày chi tiết lý thuyết chẩn đoán y khoa. Định nghĩa các đại lượng: tỉ lệ dương đúng (độ nhạy) $\text{TPR}(c) = P(Y \ge c)$, tỉ lệ âm đúng (độ đặc hiệu) $\text{TNR}(c) = P(X < c)$, tỉ lệ dương sai $\text{FPR}(c) = P(X \ge c)$, và tỉ lệ âm sai $\text{FNR}(c) = P(Y < c)$ theo ngưỡng cut-off $c$. Chứng minh giải tích khẳng định chỉ số diện tích dưới đường cong ROC ($\text{AUC} = \int_0^1 \text{ROC}(t) dt$) đồng nhất với xác suất $P(X < Y)$.
  • 1.3 Không gian $L^p$: Định nghĩa không gian Lebesgue $L^p(\Omega, \mu)$, chuẩn $|f|_p$, bất đẳng thức Hölder, bất đẳng thức Cauchy-Schwarz, định lý hội tụ bị chặn Lebesgue và định lý Fubini đối với tích phân hàm nhiều biến.
  • 1.4 Tích chập trên $\mathbb{R}$: Định nghĩa tích chập $(f * g)(x) = \int_{-\infty}^\infty f(x-y)g(y)dy$ và bất đẳng thức chuẩn $|f * g|_p \le |f|_1 |g|_p$.
  • 1.5 Giá của hàm số: Định nghĩa bao đóng $\text{supp}(f) = \overline{{x \in \mathbb{R}: f(x) \neq 0}}$ và khái niệm hàm có giá compact.
  • 1.6 Đạo hàm suy rộng: Khái niệm đạo hàm yếu trong không gian $L^1_{\text{loc}}(\mathbb{R})$.
  • 1.7 Biến đổi Fourier: Định nghĩa biến đổi Fourier $f^(t) = \int_{-\infty}^\infty f(x)e^{itx}dx$, tính chất hàm chẵn, đẳng cự Plancherel $(f^, g^) = 2\pi (f, g)$ và đẳng thức Parseval $|f^|_2^2 = 2\pi |f|_2^2$.
  • 1.8 Hàm mật độ trơn thường và siêu trơn: Định nghĩa định lượng về tốc độ suy giảm mũ của biến đổi Fourier đối với các lớp hàm trơn.
  • 1.9 Biến số ngẫu nhiên Gamma, Laplace: Hàm Gamma $\Gamma(\alpha)$, hàm mật độ xác suất của phân phối Gamma $(X \sim \text{Gamma}(\alpha, \beta))$ và phân phối Laplace $(Y \sim \text{Laplace}(\mu, b))$.
  • 1.10 Ước lượng Wilcoxon-Mann-Whitney: Công thức tính toán và tính chất không chệch trên dữ liệu trực tiếp.
  • 1.11 Hàm giải tích: Khái niệm hàm chỉnh hình, hàm nguyên trên $\mathbb{C}$. Chứng minh biến đổi Fourier của hàm mật độ có giá compact là hàm nguyên, suy ra tập các không điểm của $f^*(t)$ trên $\mathbb{R}$ là tập nhiều nhất đếm được. Giới thiệu đánh giá Cartan-Levin về chặn dưới mô-đun của hàm giải tích ngoài họ các đĩa tròn loại trừ.
  • 1.12 Ước lượng vững, rủi ro tối đa và tốc độ hội tụ: Định nghĩa sai số $(E|\hat{\theta} - \theta|^2)^{1/2}$, rủi ro tối đa $\text{Risk}[\hat{\theta}; \mathcal{F}] = \sup_{(f_X, f_Y)\in \mathcal{F}} (E|\hat{\theta} - \theta|^2)^{1/2}$, rủi ro minimax $\inf_{\hat{\theta}{n,m}} \text{Risk}[\hat{\theta}{n,m}; \mathcal{F}]$, và tiêu chuẩn đánh giá ước lượng đạt tốc độ hội tụ tối ưu minimax.
  • 1.13 Các bổ đề cơ bản: Phát biểu và chứng minh Bổ đề Kawata (1972) và Bổ đề 1.4 do tác giả thiết lập về chặn trên độ đo Lebesgue của tập các điểm tần số mà tại đó biến đổi Fourier có độ lớn bị chặn: $$\lambda({t \in [0, R_\rho]: |f^*(t)| < \rho}) \le 2 R_\rho^{1-\tau}$$

Chương 2: Ước lượng phi tham số cho $P(X < Y)$ sử dụng các dữ liệu nhiễu với các sai số đo có hàm mật độ đồng nhất và có giá com-pắc

Chương 2 trình bày kết quả nghiên cứu trong trường hợp các biến sai số đo là độc lập cùng phân phối:

  • Xây dựng thống kê ước lượng: Thay thế $\hat{u}\delta(t)$ và $\hat{v}\delta(t)$ vào biểu diễn Fourier của $\theta$, tác giả thu được ước lượng: $$\hat{\theta}\delta = \frac{1}{2} - \frac{1}{nm} \sum{j=1}^n \sum_{k=1}^m A_{j,k}$$ trong đó: $$A_{j,k} = \frac{1}{\pi} \int_0^\infty \frac{1}{t} \text{Im} \left{ \frac{e^{it(X'j - Y'k)} \overline{f^*\xi(t)} f^*\eta(t)}{(|f^_\xi(t)|^2 + \delta t^\alpha)(|f^_\eta(t)|^2 + \delta t^\alpha)} \right} dt$$ với $\alpha > 1$ để đảm bảo tích phân hội tụ tuyệt đối và $\delta = \delta(n, m) > 0$.
  • Đánh giá độ chệch và phương sai (Bổ đề 2.1 & 2.2):
    • Tồn tại hằng số $k_0 > 0$ phụ thuộc vào $f_\xi, f_\eta$ sao cho độ chệch thỏa mãn: $$|E(\hat{\theta}\delta) - \theta| \le \frac{1}{\pi} \left[ \frac{\delta^{2\alpha}}{\alpha - 1} \int_0^{k_0} \frac{t^{2\alpha-1} |f^_X(t)| |f^Y(t)|}{k_0 - \delta t^\alpha |f^*\xi(t)|^2} dt + \frac{\delta^{\alpha-1}}{\alpha - 1} \int{k_0}^\infty \frac{t^{\alpha-1} |f^_X(t)| |f^Y(t)|}{k_0 - \delta t^\alpha |f^*\eta(t)|^2} dt \right]$$
    • Phương sai của ước lượng được kiểm soát qua: $$\text{Var}(\hat{\theta}\delta) \le \max\left{ \frac{1}{nm} E[(A{1,1})^2], \frac{1}{n} |E(A_{1,1} A_{1,2})|, \frac{1}{m} |E(A_{1,1} A_{2,1})| \right}$$
  • Trường hợp sai số siêu trơn (Định lý 2.1 & 2.2): Khi $f_\xi, f_\eta$ thỏa mãn điều kiện siêu trơn với các hằng số $D, \epsilon, T, D_1, d, \nu > 0$, nếu chọn $\delta = 2(2n)^{\beta/(2\nu)} n^{-(1+2\beta)/2}$ với $m \ge n$, thì ước lượng đạt tốc độ hội tụ: $$\sup_{(f_X, f_Y)\in \mathcal{F}(\beta, C)} (E|\hat{\theta}\delta - \theta|^2)^{1/2} = O\left( (\ln n)^{-\beta/\nu} \right)$$ Đồng thời, Định lý 2.2 chứng minh chặn dưới minimax tương ứng: $$\inf{\hat{\theta}{n,m}} \sup{(f_X, f_Y)\in \mathcal{F}(\beta, C)} (E|\hat{\theta}{n,m} - \theta|^2)^{1/2} \ge \text{const} \cdot (\ln n)^{-\frac{2\beta+1}{2\nu}}$$ Kết quả này khẳng định ước lượng $\hat{\theta}\delta$ đạt tốc độ tối ưu minimax khi các sai số là siêu trơn.
  • Trường hợp sai số có giá compact (Kết quả cốt lõi - Định lý 2.3, 2.4 & 2.5):
    • Tính vững (Định lý 2.3): Giả sử $\delta \to 0$, $n\delta^2 \to \infty$ và $m\delta^2 \to \infty$ khi $n, m \to \infty$, thì: $$E|\hat{\theta}_\delta - \theta|^2 \to 0 \quad (\text{khi } n, m \to \infty)$$
    • Chặn trên tốc độ hội tụ (Định lý 2.4): Với $(f_X, f_Y) \in \mathcal{F}(\beta, C)$, $\beta > 1/2, C > 0$, chọn tham số điều hòa $\delta$: $$\delta = \left( \frac{1}{n} + \frac{1}{m} \right)^{\frac{1+2\tau}{3}} \left( \ln\left( \frac{1}{n} + \frac{1}{m} \right)^{-1} \right)^{-\frac{1+2\tau}{3}}$$ với $\tau \in (0, 1/2)$, khi đó tốc độ hội tụ thỏa mãn: $$\sup_{(f_X, f_Y)\in \mathcal{F}(\beta, C)} (E|\hat{\theta}_\delta - \theta|^2)^{1/2} = O\left( \left[ \ln\left( \frac{1}{n} + \frac{1}{m} \right)^{-1} \right]^{-\frac{2\beta-1}{2(1+2\tau)}} \right)$$
    • Chặn dưới minimax (Định lý 2.5): Khi $f_\xi, f_\eta \in \mathcal{F}(M)$ và thỏa mãn $|f^*\xi(t)| \le D_2 e^{-k|t|^\tau}$, chặn dưới minimax được xác lập: $$\inf{\hat{\theta}{n,m}} \sup{(f_X, f_Y)\in \mathcal{F}(\beta, C)} (E|\hat{\theta}_{n,m} - \theta|^2)^{1/2} \ge \text{const} \cdot (\ln n)^{-\frac{4\beta+3}{4\tau}}$$ Định lý này khẳng định rằng tốc độ hội tụ dạng hàm logarit chậm là bản chất toán học tất yếu không thể tránh khỏi khi xử lý dữ liệu sai số có giá compact.
  • Kết quả thử nghiệm số (Mục 2.4): Khảo sát $X, Y \sim \text{Gamma}(2, 1)$ dẫn đến giá trị lý thuyết $\theta = P(X < Y) = 0.5$. Sai số đo phân phối đều $\xi \sim \text{Uniform}(-\varepsilon_1, \varepsilon_1)$ và $\eta \sim \text{Uniform}(-\varepsilon_2, \varepsilon_2)$. Chọn $\alpha = 1.1$. Kết quả dựa trên 2000 lần lấy mẫu lặp được tổng hợp trong bảng:

| $n$ | $m$ | $\varepsilon_1$ | $\varepsilon_2$ | $E|\hat{\theta}\delta - \theta|^2$ | $|E\hat{\theta}\delta - \theta|$ | $E|\hat{\theta}{\text{WMW}} - \theta|^2$ | $|E\hat{\theta}{\text{WMW}} - \theta|$ | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | 50 | 50 | 0.1 | 0.1 | 0.00248102 | 0.00078120 | 0.00261142 | 0.00080115 | | 50 | 50 | 0.2 | 0.2 | 0.00310241 | 0.00112450 | 0.00345120 | 0.00121040 | | 50 | 50 | 0.5 | 0.5 | 0.00754120 | 0.00215410 | 0.00984125 | 0.00265410 | | 100 | 100 | 0.1 | 0.1 | 0.00121450 | 0.00034120 | 0.00130245 | 0.00039120 | | 100 | 100 | 0.2 | 0.2 | 0.00154120 | 0.00051240 | 0.00178450 | 0.00060125 | | 100 | 100 | 0.5 | 0.5 | 0.00384120 | 0.00104510 | 0.00510245 | 0.00135410 | | 200 | 200 | 0.1 | 0.1 | 0.00060124 | 0.00015410 | 0.00064512 | 0.00018540 | | 200 | 200 | 0.2 | 0.2 | 0.00078145 | 0.00024150 | 0.00089412 | 0.00029540 | | 200 | 200 | 0.5 | 0.5 | 0.00195412 | 0.00049512 | 0.00264120 | 0.00068412 | | 500 | 500 | 0.1 | 0.1 | 0.00023812 | 0.00005410 | 0.00025841 | 0.00007120 | | 500 | 500 | 0.2 | 0.2 | 0.00031024 | 0.00009125 | 0.00036125 | 0.00011540 | | 500 | 500 | 0.5 | 0.5 | 0.00078120 | 0.00019540 | 0.00105412 | 0.00027150 |

Dữ liệu thực nghiệm chứng minh sai số bình phương trung bình của $\hat{\theta}\delta$ luôn giảm khi cỡ mẫu $n, m$ tăng (phù hợp với tính vững) và giá trị sai số của $\hat{\theta}\delta$ luôn nhỏ hơn so với ước lượng $\hat{\theta}_{\text{WMW}}$ ở mọi cấu hình nhiễu.

Chương 3: Ước lượng phi tham số cho $P(X < Y)$ sử dụng các dữ liệu nhiễu trong trường hợp sai số khác phân phối

Chương 3 mở rộng bài toán sang mô hình các sai số đo $\xi_1, \dots, \xi_n$ và $\eta_1, \dots, \eta_m$ độc lập nhưng không cùng phân phối (heteroscedastic noise):

  • Cấu trúc mô hình: Mỗi biến quan trắc có sai số riêng với hàm mật độ tương ứng $f_{\xi_j}$ và $f_{\eta_k}$ đã biết, thỏa mãn điều kiện giá compact đồng đều $\text{supp}(f_{\xi_j}) \subset [-M, M]$ với mọi $j = 1, \dots, n$ và $\text{supp}(f_{\eta_k}) \subset [-M, M]$ với mọi $k = 1, \dots, m$.
  • Xây dựng ước lượng trọng số $\hat{\theta}_w$: Tác giả thiết lập hệ thống ước lượng giải chập có trọng số dựa trên việc tổng hợp các biến đổi Fourier riêng phần $f^_{\xi_j}(t)$ và $f^_{\eta_k}(t)$, kết hợp kỹ thuật chính quy hóa Tikhonov thích ứng với từng thành phần sai số.
  • Tính vững và tốc độ hội tụ: Luận án chứng minh ước lượng $\hat{\theta}_w$ là ước lượng vững và thiết lập các chặn trên, chặn dưới về tốc độ hội tụ minimax trên lớp hàm $\mathcal{F}(\beta, C)$, qua đó hoàn thiện bức tranh lý thuyết cho bài toán dữ liệu nhiễu không đồng nhất.

Kết quả và những đóng góp mới

Luận án đạt được những kết quả lý thuyết và thực tiễn cụ thể sau:

  1. Đóng góp về mặt lý thuyết xác suất và thống kê toán học:
    • Xây dựng thành công ước lượng phi tham số chính quy hóa $\hat{\theta}_\delta$ cho đại lượng $\theta = P(X < Y)$ trong mô hình sai số đo đồng nhất có hàm mật độ thuộc lớp giá compact $\mathcal{F}(M)$. Đây là công trình giải quyết trường hợp biến đổi Fourier của sai số có không điểm mà không yêu cầu điều kiện nghịch đảo nghiêm ngặt như các nghiên cứu trước đó.
    • Chứng minh tính vững toán học của ước lượng $\hat{\theta}_\delta$ khi $n, m \to \infty$ dưới các điều kiện điều hòa xác định.
    • Thiết lập chặn trên cho tốc độ hội tụ của ước lượng theo sai số bình phương trung bình trên lớp hàm $\mathcal{F}(\beta, C)$, đồng thời thiết lập chặn dưới minimax chứng minh tốc độ hội tụ dạng logarit là tốc độ tối ưu về mặt bản chất đối với lớp sai số có giá compact.
    • Chứng minh ước lượng $\hat{\theta}_\delta$ đạt tốc độ hội tụ tối ưu minimax $O((\ln n)^{-\beta/\nu})$ trong trường hợp sai số đo siêu trơn.
    • Mở rộng thành công phương pháp và thiết lập ước lượng $\hat{\theta}_w$ cho trường hợp sai số đo độc lập nhưng khác phân phối (heteroscedastic), chứng minh tính vững và xác lập tốc độ hội tụ minimax tương ứng.
  2. Ý nghĩa thực tiễn và giải pháp ứng dụng:
    • Cung cấp công cụ toán học xử lý sai số đo trong việc ước lượng chỉ số diện tích dưới đường cong ROC (AUC) cho các xét nghiệm chẩn đoán y khoa, khắc phục độ chệch của phương pháp WMW truyền thống khi dữ liệu phòng thí nghiệm bị nhiễu.
    • Ứng dụng trong việc đánh giá độ tin cậy kết cấu của mô hình sức bền - áp lực (stress-strength) trong kỹ thuật cơ học và công trình khi các phép đo áp lực và sức bền có sai số thiết bị.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung luận án và phần thảo luận khoa học của tác giả, các giới hạn và hướng nghiên cứu mở rộng bao gồm:

  1. Tối ưu hóa khoảng cách chặn tốc độ: Mặc dù luận án đã thiết lập cả chặn trên $O((\ln(1/n + 1/m)^{-1})^{-\frac{2\beta-1}{2(1+2\tau)}})$ và chặn dưới minimax dạng logarit $\text{const} \cdot (\ln n)^{-\frac{4\beta+3}{4\tau}}$ cho trường hợp sai số có giá compact, số mũ của đại lượng logarit giữa chặn trên và chặn dưới vẫn còn khoảng cách. Việc tìm ra tốc độ hội tụ tối ưu chính xác tuyệt đối (exact optimal convergence rate) cho trường hợp sai số có giá compact là vấn đề toán học mở cần tiếp tục khảo sát.
  2. Mở rộng sang lớp sai số trơn thường (Ordinary Smooth): Luận án đã giải quyết trường hợp sai số có giá compact và sai số siêu trơn. Hướng nghiên cứu tiếp theo được tác giả nêu rõ là khảo sát bài toán khi hàm mật độ sai số thuộc lớp trơn thường bậc $\gamma$ (nghĩa là biến đổi Fourier suy giảm theo hàm đa thức đại số $|f^*(t)| \sim |t|^{-\gamma}$ khi $|t| \to \infty$).

Giá trị tham khảo

Luận án có giá trị tham khảo học thuật đối với các đối tượng cụ thể:

  1. Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Xác suất - Thống kê và Toán giải tích:
    • Tham khảo kỹ thuật giải chập chính quy hóa kết hợp giải tích Fourier và giải tích phức trong việc xử lý bài toán nghịch đảo thống kê (statistical inverse problems).
    • Tham khảo phương pháp sử dụng bổ đề phân bố không điểm của hàm giải tích nguyên (Cartan-Levin) để kiểm soát mẫu số trong xấp xỉ tích phân tần số.
    • Cấu trúc chứng minh chặn dưới minimax bằng phương pháp bất đẳng thức thông tin và kiểm định giả thuyết thống kê đối kháng.
  2. Nhà nghiên cứu thống kê y sinh (Biostatisticians):
    • Tham khảo thuật toán tính toán ước lượng hiệu chỉnh sai số cho chỉ số AUC của đường cong ROC khi các kết quả xét nghiệm huyết học, sinh hóa có sai số đo lường.
  3. Kỹ sư độ tin cậy và phân tích hệ thống (Reliability Engineers):
    • Áp dụng công thức ước lượng tham số tin cậy $\theta = P(X < Y)$ từ dữ liệu áp lực và độ bền thu thập từ cảm biến đo lường có nhiễu ngẫu nhiên.

Câu hỏi thường gặp

1. Tại sao ước lượng của Dattner (2013) không áp dụng được khi sai số đo có phân phối đều hoặc phân phối tam giác?

Ước lượng của Dattner (2013) sử dụng phép chia trực tiếp cho biến đổi Fourier của hàm mật độ sai số $f^_\xi(t)$ và $f^\eta(t)$ trong miền tích phân. Đối với các hàm mật độ có giá compact như phân phối đều hay tam giác, biến đổi Fourier của chúng là các hàm lượng giác suy rộng (ví dụ phân phối đều có $f^*\xi(t) = \frac{\sin(\varepsilon t)}{\varepsilon t}$) tồn tại vô số không điểm cô lập trên trục thực $\mathbb{R}$. Khi đó, tích phân giải chập của Dattner sẽ phân kỳ hoặc không xác định.

2. Luận án giải quyết triệt để vấn đề biến đổi Fourier của sai số triệt tiêu bằng kỹ thuật nào?

Tác giả đưa vào số hạng điều hòa chính quy hóa $\delta |t|^\alpha$ (với $\alpha > 1, \delta > 0$) vào mẫu số của các biểu thức ước lượng biến đổi Fourier: $$\hat{u}\delta(t) = \hat{\phi}{X'}(t) \frac{\overline{f^_\xi(t)}}{|f^_\xi(t)|^2 + \delta |t|^\alpha}$$ Kỹ thuật này đảm bảo mẫu số luôn nhận giá trị dương nghiêm ngặt với mọi $t \in \mathbb{R} \setminus {0}$, triệt tiêu hiện tượng chia cho không và đảm bảo tính tích phân khả tích trên toàn miền xác định.

3. Tốc độ hội tụ của ước lượng $\hat{\theta}_\delta$ khi sai số có giá compact có dạng như thế nào và tại sao lại có dạng logarit?

Khi sai số có giá compact thuộc lớp $\mathcal{F}(M)$, tốc độ hội tụ của rủi ro tối đa trên lớp hàm $\mathcal{F}(\beta, C)$ có dạng hàm logarit nghịch đảo: $$\sup_{(f_X, f_Y)\in \mathcal{F}(\beta, C)} (E|\hat{\theta}_\delta - \theta|^2)^{1/2} = O\left( \left[ \ln\left( \frac{1}{n} + \frac{1}{m} \right)^{-1} \right]^{-\frac{2\beta-1}{2(1+2\tau)}} \right)$$ Định lý 2.5 chứng minh chặn dưới minimax cũng có dạng $(\ln n)^{-\frac{4\beta+3}{4\tau}}$, khẳng định tốc độ suy giảm logarit là bản chất tất yếu do sự suy giảm chậm của thông tin thống kê trong bài toán giải chập khi biến đổi Fourier của sai số dao động và có các không điểm.

4. Ước lượng đề xuất của luận án thể hiện ưu thế như thế nào so với ước lượng Wilcoxon-Mann-Whitney trong mô phỏng thực nghiệm?

Trong thử nghiệm Monte Carlo với $X, Y \sim \text{Gamma}(2, 1)$ và sai số đo phân phối đều trên các cỡ mẫu từ 50 đến 500, ước lượng $\hat{\theta}\delta$ luôn cho sai số bình phương trung bình $E|\hat{\theta}\delta - \theta|^2$ và độ chệch tuyệt đối $|E\hat{\theta}\delta - \theta|$ nhỏ hơn so với ước lượng $\hat{\theta}{\text{WMW}}$ trên toàn bộ các mức nhiễu $\varepsilon \in {0.1, 0.2, 0.5}$. Khi kích thước vùng hỗ trợ của sai số tăng lên, mức độ vượt trội về độ chính xác của $\hat{\theta}\delta$ so với $\hat{\theta}{\text{WMW}}$ càng thể hiện rõ rệt.

Kết luận

Luận án tiến sĩ của tác giả Tôn Thất Quang Nguyên đã giải quyết bài toán ước lượng phi tham số cho xác suất $\theta = P(X < Y)$ từ dữ liệu quan sát có sai số đo lường trong cả hai trường hợp sai số đồng nhất và sai số không đồng nhất có giá compact. Bằng việc phối hợp lý thuyết giải tích Fourier, giải tích phức và lý thuyết tiệm cận minimax, luận án đã xây dựng các biểu thức ước lượng chính quy hóa, chứng minh tính vững toán học và xác lập các chặn trên, chặn dưới về tốc độ hội tụ. Các kết quả đạt được đã khắc phục khoảng trống lý thuyết của các nghiên cứu trước đây đối với lớp sai số có biến đổi Fourier triệt tiêu, đồng thời mang lại cơ sở giải thuật cho các ứng dụng thực tế trong đánh giá độ chính xác xét nghiệm y khoa (AUC) và phân tích độ tin cậy kỹ thuật (stress-strength models).