MỞ ĐẦU Lựa chọn mô hình là một bài toán cơ bản trong thống kê cũng như trong nhiều lĩnh vực khoa học khác. Fisher, có ba khía cạnh của một bài toán tổng quát về suy luận thống kê và dự báo: (1) mô tả và xây dựng mô hình, (2) ước lượng các tham số mô hình, và (3) ước tính độ chính xác. Về cơ bản, bài toán lựa chọn mô hình liên quan đến yếu tố (1) và (3) ở trên. Mục tiêu quan trọng trong phân tích dữ liệu là hiểu cấu trúc cơ bản trong dữ liệu.
Giả sử rằng chúng ta được cho một tập hợp các mô hình phan ánh một loạt các cấu trúc tiềm năng trong dữ liệu và nhiệm vụ là chọn trong số đó một mô hình giải thích tốt nhất hoặc phù hợp nhất với dữ liệu. Giả sử tập dữ liệu D = {(a1, 1), (22, 9a),., (an, Yn)} được rút ra từ một mối quan hệ hàm U= firue (x) + nhiéu van đề là ta không biết biểu thức toán học của ham fire, nó như một hộp den, biến đổi x thành y và có sự tác động của nhiễu. Tìm hiểu về firye chính là tìm hiểu về cơ chế sinh ra dit liệu y khi có x. Thông thường, ta không thể xác định được chính xác ƒ„„¿ mà cần chon trong một lớp hàm F, nào đó một hàm f, phan ánh tốt nhất mối quan hệ của theo x hay giải thích được y nhiều nhất theo một tiêu chuẩn nào đó.
Lớp hàm để chọn f, được hiểu là một lớp mô hình. Chỉ số "c" trong ký hiệu Z, ngụ ý tính phức tạp của lớp ham (c viết tắt của chữ "complexity"). Việc chọn hàm f, như vay là lựa chọn mô hình, bao gồm các van đề lựa chọn biến, ước lượng tham số của mô hình và đánh giá f, là tốt nhất A 2 ` Z theo tiêu chuẩn nào đó. Trước khi nhà phân tích dit liệu tiến hành lựa chọn một mô hình, ho cần phải biết tiêu chuẩn thế nào là một mô hình tốt.
Noi cách khác, mục tiêu của bài toán lựa chọn mô hình cần phải được xác định rõ ràng. Các mục tiêu khác nhau có thể dan đến các mô hình khác nhau. Các dạng mô hình F, cũng cần được xác định trước, với c thuộc một tập hợp C nào đó. Lua chon mô hình sẽ là lựa chọn một chỉ số e € C tốt nhất.
Với e được lựa chọn đó, ký hiệu ƒÿ € F là hàm hồi quy tốt nhất xấp xỉ ƒ¡„„¿. Có rất nhiều phương pháp lựa chọn mô hình nổi tiếng như phương pháp hợp lý cực đại phạt, phương pháp Bayes, phương pháp thực nghiệm. Để ước lượng tham số của mô hình có thể sử dụng phương pháp bình phương tối thiểu (Least Squares: LS) hoặc phương pháp hợp lý cực dai (Maximum Likelihood: ML). Giả sử D có phân phối mẫu là P(D|ƒ) thường gọi là hàm hợp ly.
Dé ước lượng tham số của mô hình, phương pháp ML sẽ chọn fe = arg max Ip ax P(D|f). (D\f) Chang hạn xét mô hình hồi quy tuyến tính thong thường y = 6X +e, khi đó F, là lớp hàm tuyến tính hay mô hình hồi quy tuyến tính của X với e biến độc lập. Khi đó fs = ƒ°(8) trong đó ô là ước lượng hợp lý cực đại của đ. Đối với việc chọn mô hình thì phương pháp hợp lý cực đại phạt (Penalized Maximum Likelihood: PML) chon ê = arg min{—logP(D|f%) + pen(Z.
l6 Đại lượng —logP(D|fS) + pen(Z¿) được xem là tiêu chuẩn để chọn lựa mô hình, số hạng phạt pen(F,) phụ thuộc vào cách tiếp cận được dùng. Trong tiêu chuẩn AIC thì pen(Z,) = e, hoặc tiêu chuẩn BIC thì pen(F,) = c®8" trong đó e là số tham số tự do của mô hình. Trong thực hành, hai tiêu chuẩn AIC và BIC là các tiêu chuẩn thông dụng nhất được sử dụng để lựa chọn mô hình. Trong nhiều trường hợp, chúng dễ dàng sử dụng và mang lại kết quả tốt.
Một số phiên bản mở rộng của AIC cũng đã được đề xuất trong [6]. Lóp phương pháp lựa chọn mô hình thứ hai là các phương phấp lựa chon mô hình Bayes (Bayesian Model Selection: BMS), các phương pháp này tổ ra rất hiệu quả và ngày càng được sử dụng nhiều. Thông thường, BMS bao gồm việc xây dựng một công thức Bayes phân cấp và sử dụng phương pháp MCMC hoặc một số thuật toán tính toán khác để ước lượng xác suất hậu nghiệm của mô hình. Mô hình có xác suất hậu nghiệm cao nhất sẽ được chọn.
Với một lớp mô hình M, giả sử chúng ta có niềm tin nào đó về phân phối tiên nghiệm p(M), trong trường hợp không có thông tin gì thì có thể chọn p(M) có phân phối đều. Theo quy tắc Bayes, ta có p(DỊM)p(M) p(M|D) = PT mô hình được chọn là mô hình có xác suất hậu nghiệm cao nhất, nghĩa là Mup = arg max p(M|D). Su mở rong BMS được giới thiệu trong [22], [29] va [34]. BMS đã được mở rộng bằng cách xây dựng mô hình Bayes phân cấp với các biến tiềm an được sử dụng để xác định việc chọn tập con các biến.
Bằng cách này, sẽ tránh được việc tính xác suất hậu nghiệm của 2? tập con, trong đó p là số lượng tất cả các biến độc lập có thể đưa vào mô hình hồi quy. Một lớp các phương pháp lựa chọn mô hình khác được ứng dụng rộng rãi trong thực tế là các phương pháp thực nghiệm như bootstrap của Efron và Tibshirani [14], kiểm tra chéo (cross-validation) và các biến thể của nó trong [1], [LO], [16] và [37]: Các phương pháp này thường dựa trên một bộ dữ liệu kiểm tra 7“ được sử dụng để chọn c sao cho ƒÿ có sai số nhỏ nhất trên D’. Thông thường 7 được cắt ra hoặc lấy lại từ 2. Nghia là họ sử dụng D để ước lượng các tham số cho 3 từng mô hình sau đó sẽ chọn mô hình nào có sai số nhỏ nhất trên D’.
Các tiêu chuẩn thực nghiệm dễ hiểu và dễ sử dụng, nhưng độ chính xác sẽ giảm khi kích thước mẫu giảm, có thể là một van đề nghiêm trọng nếu cỡ mẫu ø nhỏ. Ngoài ra, chúng đôi khi tốn thời gian, đặc biệt là trong các trường hợp nhiều biến và phức tạp. Cùng với sự phát triển của khoa học và công nghệ, nhu cầu thực hiện các bài toán lớn và phức tạp ngày càng được nâng cao, đòi hỏi cần phải phát triển những thuật toán nhanh phù hợp với các bài toán đó. Phương pháp Bayes biến phân ra đời nhằm giải quyết nhu cầu thiết yếu đó.
Phương pháp ước lượng hợp lý cực đại là một trong những phương pháp phổ biến được sử dụng để xử lý các bài toán thống kê hiện đại. Thuật toán tối đa hóa kỳ vọng (Expectation Maximization: EM), là một thuật toán lặp đệ quy để ước lượng ML, có một số lợi thế và đã trở thành một phương pháp tiêu chuẩn để giải quyết các van đề xử lý thống kê. Tuy nhiên, thuật toán EM chứa đựng những yêu cầu làm hạn chế khả năng ứng dụng của nó trong những bài toán phức tạp. Gần đây, phương pháp Bayes biến phân (Variational Bayes: VB) đã xuất hiện giải quyết một số yêu cầu hạn chế của thuật toán EM và đang được phát triển và ứng dụng rộng rãi từ giữa những năm 1990.
Hơn nữa, người ta đã chỉ ra rằng thuật toán EM là một trường hợp đặc biệt của thuật toán VB. Trong nhiều trường hợp ta đã biết dạng mô hình hoặc đã xác định được cấu trúc của mô hình. Khi đó vấn đề cần quan tâm là chọn biến cho mô hình. Lựa chọn biến là bài toán cơ bản nhất trong thống kê và các lĩnh vực liên quan như học máy và kinh tế lượng.
Nó là trường hợp đặc biệt (nhưng thông dụng nhất) của bài toán lựa chon mô hình. Giả sử Y là biến được quan tâm và X\, Xa,., Xp là tập các biến độc lập có thể giải thích hay dự đoán Y. Vấn đề đặt ra là cần chọn lựa các biến quan trọng, tức là lựa chọn một tập con từ p biến đó, có ảnh hưởng nhất đến Y để đưa ra mô hình biểu diễn tốt nhất mối quan hệ giữa Y và các biến được chọn. Bài toán lựa chọn biến là bài toán quen thuộc trong ngữ cảnh hồi quy tuyến tính thông thường.
Ký hiệu + là vector các chỉ số các tập con của p biến Xy, Xa,., Xp tức là + = (ñ,í2,.,í„) trong đó i; = 1 nếu biến X; được chọn, i; = 0 nếu ngược lại. Ký hiệu q, là số các biến được chon trong tập con +, tức là d;=33;—¡¡;- Ta cần chọn tập con phù hợp nhất với mô hình có dạng Y= X,B8,+€ trong đó X, là ma trận cỡ n x qy có các cột là các biến được chọn ứng với các thành phần có giá trị bằng 1 của vector 7, 3, là vector hệ số hồi quy q,-chiéu và c~ W„(0;ø?]). Khi hàm mật độ có điều kiện p(/|+) không có phân phối chuẩn nhưng vẫn thuộc họ phân phối mũ (chẳng hạn như phân phối nhị thức, Possion) thì khi đó mô hình hồi quy tuyến tính thông thường được mở rộng thành mô hình hồi quy tuyến tính tổng quát (Generalized Linear Models: GLMs). Một mô hình GLM sẽ bao gồm ba thành phần như sau: 1.
Hàm mật độ có điều kiện p(z|z) thuộc họ phân phối mũ có dạng ƒ(w|8) = exp Ñ — +4 ci) ; 2. Thanh phan dự báo tuyến tính ạ= Xổ. Hàm liên kết ø(-) sao cho Ey=p=g~1(n). Trong thực tế có nhiều tình huống không phù hợp với mô hình hồi quy tuyến tính thông thường mà phải sử dụng mô hình khác tổng quát hơn.
Chẳng hạn, khi nghiên cứu trên ø bệnh nhân ung thư, bệnh nhân thứ i được theo dõi khảo sát n¡ lần tại các thời điểm khác nhau. Trong trường hợp này, các bệnh nhân là độc lập với nhau còn các kết quả khảo sát được trên mỗi bệnh nhân lại phụ thuộc nhau. Vì vậy không thể sử dụng mô hình hồi quy tuyến tính thông thường được mà cần sử dụng các mô hình hồi quy tuyến tính hỗn hợp tổng quát (Generalized b Linear Mixed Model: GUMM), còn gọi là mô hình hồi quy tuyến tính hỗn hợp tổng quát với yếu tố ảnh hưởng ngẫu nhiên hoặc mô hình dữ liệu theo dõi lặp lại. Mô hình hồi quy tuyến tính hỗn hợp tổng quát cũng là một mở rộng từ mô hình tuyến tính tổng quát, trong đó thành phần dự báo tuyến tính chứa các ảnh hưởng ngẫu nhiên (hay ảnh hưởng mang tính cá thể) ngoài các ảnh hưởng cố định thông thường (hay ảnh hưởng mang tính tổng thể).
Nghĩa là 7 = X + Zb trong đó b = (bị,.,bạ)“ là vector yếu tố ảnh hưởng ngẫu nhiên, đối tượng thứ i được đặc trưng bởi b; với i = 1,.