Chương 1. Kiến thức chuẩn bị mô hình hồi quy logistic. Trong mô hình hồi quy logistic người ta giả sử rằng π log( ) = β T X, 1−π trong đó: π là xác suất nhận giá trị 1 của biến phụ thuộc Y, tức ( 1 xác suất π Y = 0 xác suất 1 − π β = (β0 , β1 ,. , xk )T Dựa trên các quan sát (Yi , Xi ) = (yi , xi1 , xi2 ,.
, xik ) = (yi , xiT ) người ta cần ước lượng β. Hàm xác suất đồng thời là: n Y n Y g(y1 ,. , yn ) = fi (Yi ) = πiYi (1 − πi )1−Yi , i=1 i=1 trong đó T i eβ xi πi = P (Yi = 1 | x ) = T i 1 + eβ x Do đó n n T i X X T i ln[g(Y1 ,. , Yn )] = Yi β X − ln[1 + eβ X ] i=1 i=1 = `(β) Ước lượng hợp lý cực đại của β là β̂ = argmax`(β) β 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2 Một số tiêu chuẩn lựa chọn mô hình Dữ liệu có thể được mô phỏng bằng những cách khác nhau.
Có thể có những phương pháp đơn giản hơn mà cũng có thể có nhiều tham số hơn. Khi có nhiều covarian được đo chúng ta có thể sử dụng tất cả chúng trong mô hình, hoặc chỉ một vài trong số chúng. Với một danh sách các mô hình ứng cử viên, lựa chọn mô hình nào là tốt nhất? Để lựa chọn mô hình tốt nhất người ta đưa ra các tiêu chuẩn thông tin. Trong chương này sẽ trình bày hai tiêu chuẩn thông tin quan trọng là tiêu chuẩn thông tin của Akaike và tiêu chuẩn thông tin Bayesian.1 Tiêu chuẩn thông tin Akaike 2.1 Khoảng cách Kullback- Leibler Trong lý thuyết xác suất và lý thuyết thông tin, khoảng cách Kullback- Leibler là một ”độ đo” không đối xứng dùng để đo sự khác nhau giữa hai phân bố P và Q.
Cụ thể hơn, độ lệch Kullback- Leibler của Q khỏi P ký hiệu là KL(P k Q) là độ đo lượng thông tin mất đi khi dùng Q để xấp xỉ P. Chính xác hơn khoảng cách Kullback- Leibler đo số bit trung bình dư ra để mã hóa một mẫu khi dùng Q thay vì dùng P. Khái niệm này xuất hiện trong lý thuyết thông tin và được đưa ra bởi Solomon Kullback và Richard Leibler năm 1951. (i) Cho các phân phối xác suất rời rạc P và Q.
Khoảng cách Kullback- Leibler của Q từ P được định nghĩa là X P (i) KL(P k Q) = P (i) ln Q(i) i (ii) Cho các phân phối xác suất liên tục P và Q. Khoảng cách Kullback- Leibler của Q từ P được định nghĩa là tích phân 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2. Một số tiêu chuẩn lựa chọn mô hình Z +∞ p(x) KL(P k Q) = p(x) ln dx −∞ q(x) ở đó p và q là kí hiệu mật độ của P và Q. (iii) Tổng quát hơn, nếu P và Q là các độ đo xác suất trên một tập X và Q liên tục tuyệt đối theo P, khi đó khoảng cách Kullback- Leibler từ P tới Q được định nghĩa là Z dP KL(P k Q) = ln dP X dQ dP ở đó dQ là đạo hàm Radon-Nikodym của Q theo P.
dQ Nếu µ là một độ đo nào đó trên X mà p = dP dµ và q = dµ tồn tại, khi đó khoảng cách Kullback- Leibler từ P tới Q là Z p KL(P k Q) = p ln dµ X q Tính chất (i) KL(P k Q) ≥ 0 KL(P k Q) = 0 ⇔ P = Q hầu khắp nơi. (ii) Khoảng cách Kullback- Leibler là định nghĩa tốt cho phân phối liên tục và bất biến dưới các phép biến đổi tham số. (iii) Khoảng cách Kullback- Leibler là cộng tính đối với các phân phối độc lập. Nếu P1 , P2 là các phân phối độc lập với P (x, y) = P1 (x).Q2 (y) khi đó KL(P k Q) = KL(P1 k Q1 ) + KL(P2 k Q2 ) (iv) Khoảng cách Kullback- Leibler của phân phối Q từ phân phối P không phải là khoảng cách thông thường, mà là độ đo lượng thông tin mất đi khi dùng Q để xấp xỉ P.2 Ước lượng hợp lý cực đại và khoảng cách Kullback- Leibler Mục tiêu của phần này là tìm hiểu về mối liên hệ giữa phương pháp hợp lý cực đại và khoảng cách Kullback- Leibler trong hai trường hợp độc lập cùng 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2.
Một số tiêu chuẩn lựa chọn mô hình phân bố và trường hợp hồi quy. Trước hết, chúng ta bắt đầu với một minh họa đơn giản để thấy được cách hoạt động của phương pháp hợp lý cực đại, nó sử dụng dữ liệu và một mô hình tham số để cung cấp một mô hình ước lượng. Ước lượng dữ liệu trọng lượng sinh thấp Trong bộ dữ liệu về trọng lượng sinh thấp (Hosmer and Lemeshow, 1999) có một tổng của n = 189 phụ nữ và những đứa trẻ mới sinh. Ở đây chúng ta chỉ ra cách mà phương pháp hợp lý cực đại sử dụng để ước lượng các tham số của mô hình đưa ra.
Các biến kết quả Y1 ,. , Yn độc lập là các biến ngẫu nhiên nhị phân (0-1), tức cho giá trị là 1 khi đứa trẻ có trọng lượng sinh thấp và 0 trong trường hợp ngược lại. Các biến khác x2,i là trọng lượng của người mẹ; x3,i là tuổi của người mẹ; x4,i chỉ chủng tộc đen; x5,i chỉ các chủng tộc khác. Chúng ta có xi = (1, x2,i , x3,i , x4,i , x5,i )t.
Hầu hết mô hình thông thường cho các tình huống như vậy là mô hình hồi quy logistic, cho công thức exp(xti θ) P (Yi = 1 | xi ) = pi = 1 + exp(xti θ) với i = 1,. , n; θ là một vectơ tham số 5 chiều. Hàm hợp lý Ln (θ) là tích của các số hạng pyi i (1 − pi )1−yi , dẫn đến loga hàm hợp lý có dạng n X `n (θ) = {yi ln pi + (1 − yi ) ln(1 − pi )} i=1 n X = [yi xti θ − ln{1 + exp(xti θ)}] i=1 Một ước lượng hợp lý cực đại cho θ được tìm thấy bằng cách cực đại `n (θ) theo θ, θ̂ = (1. Nhìn chung các mô hình mà chúng ta xây dựng cho các quan sát Y = (Y1 ,. , Yn ) chứa một số các tham số θ = (θ1 ,.
, θp )T , kí hiệu f (y, θ) là hàm mật độ đồng thời cho Y. Khi đó hàm hợp lý sẽ là Ln (θ) = f (yobs , θ), với yobs là giá trị dữ liệu quan sát. Chúng ta thường làm việc với loga hàm hợp lý `n (θ) = log Ln (θ) thay vì hàm hợp lý. Ước lượng hợp lý cực đại của θ làm cực đại Ln (θ) 12 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2.
Một số tiêu chuẩn lựa chọn mô hình θ̂ = θ̂ML = argmax(Ln ) = argmax(`n ). Trường hợp độc lập và cùng phân phối Hàm hợp lý và loga hàm hợp lý có thể được viết là Qn Pn Ln (θ) = i=1 f (yi , θ) và `n (θ) = i=1 log f (yi , θ) Khoảng cách gắn liền với phương pháp hợp lý cực đại là khoảng cách Kullback- Leibler Z g(y) KL(g, f (.1) = g(y) log g(y)dy − g(y) log f (y, θ)dy nó là khoảng cách từ mật độ đúng g tới xấp xỉ của nó là f (. Áp dụng luật số lớn Z 1 a. `n (θ) −−→ g(y) log f (y, θ)dy = Eg log f (Y, θ) n Ước lượng hợp lý cực đại θ̂ mà cực đại `n (θ) có xu hướng hội tụ hầu chắc chắn tới θ0 là giá trị cực tiểu của khoảng cách Kullback- Leibler từ mô hình thật tới mô hình xấp xỉ., θ))}, θ giá trị θ0 gọi là sai số nhỏ nhất hoặc xấp xỉ tốt nhất.
Nhận xét: Như vậy ước lượng hợp lý cực đại nhằm cung cấp xấp xỉ tham số tốt nhất với mật độ đúng g trong lớp tham số f (. Nếu mô hình tham số là thật sự đầy đủ và chính xác, khi đó g(y) = f (y, θ0 ) và cực tiểu của khoảng cách Kullback- Leibler là bằng 0. Ta xác định ∂log f (y,θ) ∂ 2 log f (y,θ) u(y, θ) = ∂θ và I(y, θ) = ∂θ∂θt u(y, θ) là một hàm vectơ p-chiều thường gọi là vectơ điểm số của mô hình với các thành phần ∂log∂θf (y,θ) j với j = 1,. , p; I(y, θ) là một ma trận cỡ p × p gọi là hàm ma trận thông tin của mô hình, các thành phần của nó là các đạo hàm cấp 13 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2.
Một số tiêu chuẩn lựa chọn mô hình 2 hai ∂ log f (y,θ) ∂θj ∂θk với j, k = 1,. Chú ý rằng vì tham số sai số nhỏ nhất cực tiểu khoảng cách Kullback- Leibler nên Z Eg u(Y, θ0 ) = g(y)u(y, θ0 )dy = 0. Chúng ta cũng cần xác định J = −Eg I(Y, θ0 ) và K = Varg u(Y, θ0 ) (2.2) Các ma trận cỡ p × p là giống nhau khi g(y) bằng với f (y, θ0 ), ∀y. Trong các trường hợp như vậy, ma trận Z Z t J(θ0 ) = f (y, θ0 )u(y, θ0 )u(y, θ0 ) dy = − f (y, θ0 )I(y, θ0 )dy (2.3) được gọi là ma trận thông tin Fisher của mô hình.
Dưới các điều kiện chính quy và cơ bản khác nhau, có thể chứng minh rằng θ̂ = θ0 + J −1 U n + Op (n−1/2 ), ở đó, U n = n−1 ni=1 u(Yi , θ0 ). P √ Ký hiệu Zn = Op (n−1/2 ), nghĩa là nZn = Op (1) hội tụ tới 0 theo xác suất. Từ định lý giới hạn trung tâm có sự hội tụ theo phân phối √ d − U 0 ∼ Np (0, K). nU n → Kết hợp với trên suy ra √ d − J −1 U 0 = Np (0, J −1 KJ −1 ).
Trường hợp hồi quy Các mô hình hồi quy bao gồm các quan sát (xi , Yi ). Ký hiệu g(y | x) là mật độ thật cho Y | x. Mô hình tham số sử dụng mật độ f (y | x, θ), khi đó loga hàm hợp lý sẽ là n X `n (θ) = log f (yi | xi , θ). i=1 Giả sử xa hơn rằng có một số phân phối covarian cơ sở C mà tạo ra các vectơ covarian x1 ,.
Khi đó n1 ni=1 a(xi ) hội tụ tới a(x)dC(x), với một hàm a P R 14 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 2.