MỞ ĐẦU Lựa chọn mô hình là một bài toán cơ bản trong thống kê cũng như trong nhiều lĩnh vực khoa học khác. Fisher, có ba khía cạnh của một bài toán tổng quát về suy luận thống kê và dự báo: (1) mô tả và xây dựng mô hình, (2) ước lượng các tham số mô hình, và (3) ước tính độ chính xác. Về cơ bản, bài toán lựa chọn mô hình liên quan đến yếu tố (1) và (3) ở trên. Mục tiêu quan trọng trong phân tích dữ liệu là hiểu cấu trúc cơ bản trong dữ liệu.
Giả sử rằng chúng ta được cho một tập hợp các mô hình phản ánh một loạt các cấu trúc tiềm năng trong dữ liệu và nhiệm vụ là chọn trong số đó một mô hình giải thích tốt nhất hoặc phù hợp nhất với dữ liệu. Giả sử tập dữ liệu D = {(x1 , y1 ), (x2 , y2 ), ., (xn , yn )} được rút ra từ một mối quan hệ hàm y = ftrue (x) + nhiễu vấn đề là ta không biết biểu thức toán học của hàm ftrue , nó như một hộp đen, biến đổi x thành y và có sự tác động của nhiễu. Tìm hiểu về ftrue chính là tìm hiểu về cơ chế sinh ra dữ liệu y khi có x. Thông thường, ta không thể xác định được chính xác ftrue mà cần chọn trong một lớp hàm Fc nào đó một hàm fc phản ánh tốt nhất mối quan hệ của y theo x hay giải thích được y nhiều nhất theo một tiêu chuẩn nào đó.
Lớp hàm để chọn fc được hiểu là một lớp mô hình. Chỉ số "c" trong ký hiệu Fc ngụ ý tính phức tạp của lớp hàm (c viết tắt của chữ "complexity"). Việc chọn hàm fc như vậy là lựa chọn mô hình, bao gồm các vấn đề lựa chọn biến, ước lượng tham số của mô hình và đánh giá fc là tốt nhất 1 theo tiêu chuẩn nào đó. Trước khi nhà phân tích dữ liệu tiến hành lựa chọn một mô hình, họ cần phải biết tiêu chuẩn thế nào là một mô hình tốt.
Nói cách khác, mục tiêu của bài toán lựa chọn mô hình cần phải được xác định rõ ràng. Các mục tiêu khác nhau có thể dẫn đến các mô hình khác nhau. Các dạng mô hình Fc cũng cần được xác định trước, với c thuộc một tập hợp C nào đó. Lựa chọn mô hình sẽ là lựa chọn một chỉ số c ∈ C tốt nhất.
Với c được lựa chọn đó, ký hiệu fˆDc ∈ Fc là hàm hồi quy tốt nhất xấp xỉ ftrue. Có rất nhiều phương pháp lựa chọn mô hình nổi tiếng như phương pháp hợp lý cực đại phạt, phương pháp Bayes, phương pháp thực nghiệm. Để ước lượng tham số của mô hình có thể sử dụng phương pháp bình phương tối thiểu (Least Squares: LS) hoặc phương pháp hợp lý cực đại (Maximum Likelihood: ML). Giả sử D có phân phối mẫu là P(D|f ) thường gọi là hàm hợp lý.
Để ước lượng tham số của mô hình, phương pháp ML sẽ chọn fˆD c = arg max P(D|f ). f ∈Fc Chẳng hạn xét mô hình hồi quy tuyến tính thông thường y = βX + , khi đó Fc là lớp hàm tuyến tính hay mô hình hồi quy tuyến tính của X với c biến độc lập. Khi đó fˆDc = f c (β̂) trong đó β̂ là ước lượng hợp lý cực đại của β. Đối với việc chọn mô hình thì phương pháp hợp lý cực đại phạt (Penalized Maximum Likelihood: PML) chọn ĉ = arg min{−logP(D|fˆD c ) + pen(Fc )}.
c Đại lượng −logP(D|fˆDc ) + pen(Fc ) được xem là tiêu chuẩn để chọn lựa mô hình, số hạng phạt pen(Fc ) phụ thuộc vào cách tiếp cận được dùng. Trong tiêu chuẩn AIC thì pen(Fc ) = c, hoặc tiêu chuẩn BIC thì pen(Fc ) = c log2 n trong đó c là số tham số tự do của mô hình. Trong thực hành, hai tiêu chuẩn AIC và BIC là các tiêu chuẩn thông dụng nhất được sử dụng để lựa chọn mô hình. Trong nhiều 2 trường hợp, chúng dễ dàng sử dụng và mang lại kết quả tốt.
Một số phiên bản mở rộng của AIC cũng đã được đề xuất trong [6]. Lớp phương pháp lựa chọn mô hình thứ hai là các phương pháp lựa chọn mô hình Bayes (Bayesian Model Selection: BMS), các phương pháp này tỏ ra rất hiệu quả và ngày càng được sử dụng nhiều. Thông thường, BMS bao gồm việc xây dựng một công thức Bayes phân cấp và sử dụng phương pháp MCMC hoặc một số thuật toán tính toán khác để ước lượng xác suất hậu nghiệm của mô hình. Mô hình có xác suất hậu nghiệm cao nhất sẽ được chọn.
Với một lớp mô hình M , giả sử chúng ta có niềm tin nào đó về phân phối tiên nghiệm p(M ), trong trường hợp không có thông tin gì thì có thể chọn p(M ) có phân phối đều. Theo quy tắc Bayes, ta có p(D|M )p(M ) p(M |D) = , P (D) mô hình được chọn là mô hình có xác suất hậu nghiệm cao nhất, nghĩa là MM P = arg max p(M |D). M Sự mở rộng BMS được giới thiệu trong [22], [29] và [34]. BMS đã được mở rộng bằng cách xây dựng mô hình Bayes phân cấp với các biến tiềm ẩn được sử dụng để xác định việc chọn tập con các biến.
Bằng cách này, sẽ tránh được việc tính xác suất hậu nghiệm của 2p tập con, trong đó p là số lượng tất cả các biến độc lập có thể đưa vào mô hình hồi quy. Một lớp các phương pháp lựa chọn mô hình khác được ứng dụng rộng rãi trong thực tế là các phương pháp thực nghiệm như bootstrap của Efron và Tibshirani [14], kiểm tra chéo (cross-validation) và các biến thể của nó trong [1], [10], [16] và [37]. Các phương pháp này thường dựa trên một bộ dữ liệu kiểm tra D0 được sử dụng để chọn c sao cho fˆDc có sai số nhỏ nhất trên D0. Thông thường D0 được cắt ra hoặc lấy lại từ D.
Nghĩa là họ sử dụng D để ước lượng các tham số cho 3 từng mô hình sau đó sẽ chọn mô hình nào có sai số nhỏ nhất trên D0. Các tiêu chuẩn thực nghiệm dễ hiểu và dễ sử dụng, nhưng độ chính xác sẽ giảm khi kích thước mẫu giảm, có thể là một vấn đề nghiêm trọng nếu cỡ mẫu n nhỏ. Ngoài ra, chúng đôi khi tốn thời gian, đặc biệt là trong các trường hợp nhiều biến và phức tạp. Cùng với sự phát triển của khoa học và công nghệ, nhu cầu thực hiện các bài toán lớn và phức tạp ngày càng được nâng cao, đòi hỏi cần phải phát triển những thuật toán nhanh phù hợp với các bài toán đó.
Phương pháp Bayes biến phân ra đời nhằm giải quyết nhu cầu thiết yếu đó. Phương pháp ước lượng hợp lý cực đại là một trong những phương pháp phổ biến được sử dụng để xử lý các bài toán thống kê hiện đại. Thuật toán tối đa hóa kỳ vọng (Expectation Maximization: EM), là một thuật toán lặp đệ quy để ước lượng ML, có một số lợi thế và đã trở thành một phương pháp tiêu chuẩn để giải quyết các vấn đề xử lý thống kê. Tuy nhiên, thuật toán EM chứa đựng những yêu cầu làm hạn chế khả năng ứng dụng của nó trong những bài toán phức tạp.
Gần đây, phương pháp Bayes biến phân (Variational Bayes: VB) đã xuất hiện giải quyết một số yêu cầu hạn chế của thuật toán EM và đang được phát triển và ứng dụng rộng rãi từ giữa những năm 1990. Hơn nữa, người ta đã chỉ ra rằng thuật toán EM là một trường hợp đặc biệt của thuật toán VB. Trong nhiều trường hợp ta đã biết dạng mô hình hoặc đã xác định được cấu trúc của mô hình. Khi đó vấn đề cần quan tâm là chọn biến cho mô hình.
Lựa chọn biến là bài toán cơ bản nhất trong thống kê và các lĩnh vực liên quan như học máy và kinh tế lượng. Nó là trường hợp đặc biệt (nhưng thông dụng nhất) của bài toán lựa chọn mô hình. Giả sử Y là biến được quan tâm và X1 , X2 , ., Xp là tập các biến độc lập có thể giải thích hay dự đoán Y. Vấn đề đặt ra là cần chọn lựa các biến quan trọng, tức là lựa chọn một tập con từ p biến đó, có ảnh hưởng nhất đến Y để đưa ra mô hình biểu diễn tốt nhất mối quan hệ giữa Y và các biến được chọn.
4 Bài toán lựa chọn biến là bài toán quen thuộc trong ngữ cảnh hồi quy tuyến tính thông thường. Ký hiệu γ là vector các chỉ số các tập con của p biến X1 , X2 , ., Xp tức là γ = (i1 , i2 , ., ip ) trong đó ij = 1 nếu biến Xj được chọn, ij = 0 nếu ngược lại. Ký hiệu qγ là số các biến được chọn trong tập con γ , tức là Pp qγ = j=1 ij. Ta cần chọn tập con phù hợp nhất với mô hình có dạng Y = Xγ βγ + trong đó Xγ là ma trận cỡ n × qγ có các cột là các biến được chọn ứng với các thành phần có giá trị bằng 1 của vector γ , βγ là vector hệ số hồi quy qγ -chiều và ∼ Nn (0; σ 2 I).
Khi hàm mật độ có điều kiện p(y|x) không có phân phối chuẩn nhưng vẫn thuộc họ phân phối mũ (chẳng hạn như phân phối nhị thức, Possion) thì khi đó mô hình hồi quy tuyến tính thông thường được mở rộng thành mô hình hồi quy tuyến tính tổng quát (Generalized Linear Models: GLMs). Một mô hình GLM sẽ bao gồm ba thành phần như sau: 1. Hàm mật độ có điều kiện p(y|x) thuộc họ phân phối mũ có dạng yi ηi − ζ(ηi ) f (yi |β) = exp + c(yi , φ). Thành phần dự báo tuyến tính η = Xβ.
Hàm liên kết g(·) sao cho Ey = µ = g −1 (η). Trong thực tế có nhiều tình huống không phù hợp với mô hình hồi quy tuyến tính thông thường mà phải sử dụng mô hình khác tổng quát hơn. Chẳng hạn, khi nghiên cứu trên n bệnh nhân ung thư, bệnh nhân thứ i được theo dõi khảo sát ni lần tại các thời điểm khác nhau. Trong trường hợp này, các bệnh nhân là độc lập với nhau còn các kết quả khảo sát được trên mỗi bệnh nhân lại phụ thuộc nhau.
Vì vậy không thể sử dụng mô hình hồi quy tuyến tính thông thường được mà cần sử dụng các mô hình hồi quy tuyến tính hỗn hợp tổng quát (Generalized 5 Linear Mixed Model: GLMM), còn gọi là mô hình hồi quy tuyến tính hỗn hợp tổng quát với yếu tố ảnh hưởng ngẫu nhiên hoặc mô hình dữ liệu theo dõi lặp lại.