Chương 1 HỒI QUY LOGISTIC 1.1 Mô hình hồi quy logistic Phân tích hồi quy nghiên cứu mối quan hệ phụ thuộc của một biến (gọi là biến phụ thuộc hoặc biến được giải thích) với một hay nhiều biến khác (được gọi là (các) biến độc lập hay biến giải thích). Ta sử dụng các ký hiệu * Y là biến phụ thuộc (hay biến được giải thích), * Xi là biến độc lập (hay biến giải thích thứ i). Một trong các vấn đề phân tích hồi quy giải quyết là ước lượng giá trị trung bình của biến phụ thuộc ứng với giá trị đã cho của biến độc lập E(Y/Xi). Nói chung, E(Y/Xi) là một hàm của Xi: E(Y/Xi) = f(Xi), trong đó f(Xi) được gọi là hàm hồi quy tổng quát.
Khi đó • Nếu hàm hồi quy tổng quát có một biến độc lập thì được gọi là hàm hồi quy đơn. • Nếu hàm hồi quy tổng quát có nhiều hơn một biến độc lập thì được gọi là hàm hồi quy bội. Nếu hàm hồi quy tổng quát có dạng f(Xi)= β0 + β1Xi trong đó β0,β1 là các hệ số chưa biết nhưng cố định, thì f(Xi) được gọi là hàm hồi quy tuyến tính đơn và β0,β1 gọi là hệ số hồi quy. Trong các mô hình hồi quy quen biết, biến phụ thuộc thường là biến dịnh lượng (biến liên tục).
Tuy nhiên trong thực tế người ta hay bắt gặp những trường hợp mà biến được giải thích lại không phải là biến liên tục. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Do vậy cần xây dựng các mô hình hồi quy thích hợp cho các trường hợp đó. Phổ biến nhất là mô hình với biến phụ thuộc là một biến định tính chỉ nhận hai giá trị đối lập nhau (có – không có, đau ốm – khỏe mạnh, thất nghiệp – được tuyển dụng, …) Mô hình hồi quy logictis là một trong những mô hình được xây dựng tương ứng với biến phụ thuộc là biến định tính nhận hai giá trị, còn các biến độc lập có thể là các biến định lượng hoặc / và các biến định tính. Để thuận tiện trong tính toán, ta thường mã hoá hai giá trị của biến phụ thuộc là 1 và 0.
Lúc ấy, biến đó được gọi là biến nhị phân. Nếu không có ghi chú gì đặc biệt, trong luận văn này chúng ta luôn xét biến phụ thuộc là biến nhị phân. Mô hình hồi quy logistic là một mô hình hồi quy phi tuyến, trong đó các biến độc lập là định tính hoặc định lượng, đồng thời biến phụ thuộc là một biến định tính nhị phân. Hàm hồi quy logistic đơn dùng để ước lượng giá trị của biến phụ thuộc nhị phân Y theo một biến độc lập X có dạng e 0 1 X E (Y / X ) (1.1) 1 e0 1 X Trong đó * β0 là hệ số tự do (hay hệ số chặn), * β1 là hệ số dốc.
Hàm e0 1x ( x) E (Y / x) 1 e0 1 X LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com là kỳ vọng có điều kiện của biến phụ thuộc Y cho bởi giá trị x của biến độc lập X.1) ta có ( x)(1 e x ) e x , 0 1 0 1 ( x) 1 ( x) e x , 0 1 ( x) e x 0 1 1 ( x) Định nghĩa 1. Phép biến đổi sau được gọi là phép biến đổi logit ( x) g(x)= ln (1. (ii) 0 π(x) 1 với mọi giá trị của X. Khi đó nhận hai giá trị sau: * Nếu y =1 thì =1 − π(x) với xác suất π(x).
Từ đó, có phân phối nhị thức với E()=0 và Var()= Var(Y)= π(x)[1 − π(x)].1 Ước lượng các tham số của mô hình hồi quy logistic Để xác định được mô hình, ta cần ước lượng các tham số của mô hình qua số liệu thu được trong mẫu quan sát. Có nhiều phương pháp ước lượng tham số. Ta hãy xét phương pháp ước lượng hợp lý cực đại. Giả sử mẫu có n quan sát độc lập (xi,yi),i = 1, n ,với yi là giá trị của biến phụ thuộc và xi là giá trị của biến độc lập tại quan sát thứ i.
Việc ước lượng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com các tham số của mô hình bằng phương pháp hợp lý cực đại được thực hiện theo quy trình như sau: a. Như vậy Y nhận giá trị 1 với xác suất bằng π(xi) và nhận giá trị 0 với xác suất bằng 1 − π(xi), i = 1, n ,. Với mỗi cặp (xi,yi), i = 1, n , đặt ( xi ) ( xi ) y 1 ( xi ) 1 yi i b. Với mẫu n quan sát độc lập (xi,yi),i = 1, n , ta thành lập hàm hợp lý có dạng.3) i 1 i 1 Lấy logarit hàm hợp lý (1.3) ta nhận được hàm số có dạng n L( ) {yi ln ( xi ) (1 yi ) ln 1 ( xi ) } (1.
Lấy đạo hàm hàm L(β) theo β0 và β1 ta có hệ phương trình hợp lý n yi ( x1 ) 0 i 1 n (1.5) ta có nghiệm của hệ phương trình hợp lý là ước lượng hợp lý cực đại của các tham số β =(β0,β1). Ta ký hiệu ˆ là ước lượng hợp lý cực đại của β.2 Kiểm định sự phù hợp của mô hình hồi quy logistic Việc kiểm định sự phù hợp của mô hình, nhằm trả lời câu hỏi: "Mô hình chứa biến độc lập cho chúng ta thông tin về biến phụ thuộc nhiều hơn một cách đáng kể (có ý nghĩa thống kê) so với mô hình không chứa biến độc lập hay không?" a. Kiểm định tỷ lệ hàm hợp lý LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Đánh giá ý nghĩa sự có mặt của biến độc lập trong mô hình ta đi xét sự thay đổi độ lệch của hai mô hình khi không có biến độc lập và khi có biến độc lập. Độ lệch của mô hình hồi quy logistic, ký hiệu là D, có dạng Hµm hîp lý logisstic D 2ln (1.
Hiệu độ lệch của hai mô hình không có và có biến độc lập được gọi là tiêu chuẩn tỷ lệ hợp lý, ký hiệu là G: G = D(Mô hình không có biến độc lập) − D(Mô hình có biến độc lập). Vì hai mô hình này có chung hàm hợp lý bão hòa nên ta có: Hµm hîp lý logistic kh«ng cã biÕn ®éc lËp G 2ln (1.7) Hµm hîp logistic cã biÕn ®éc lËp Ta kiểm tra sự phù hợp của mô hình hồi quy logistic đơn bằng cách kiểm định giả thuyết H: β1 =0, với đối thuyết K: β1 0, tức là ta xét xem biến độc lập X thực sự có tác động tới biến phụ thuộc Y hay không. Xét mẫu có n quan sát, giải phương trình hợp lý khi mô hình không có biến độc lập (tức là β1 =0) ta có LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com n yi ˆ0 ln n i 1 1 y i 1 i n n n Đặt n1 yi , n0 1 yi ta có 0 1. Khi đó giá trị của G có dạng i 1 i 1 n0 n1 n1 n0 n0 G 2 ln n n n (1 yi ) , i ˆ ˆ yi (1 i ) i 1 hay n G 2{[yi ln(ˆi ) (1 yi ) ln(1 ˆi )] [n1 ln(n1 ) n0 ln(n0 ) n ln(n)]} i 1 Định lý 1.
[8] Với giả thuyết β1 = 0 thì tiêu chuẩn thống kê G có phân phối tiệm cận phân phối 𝜒2 với bậc tự do bằng 1. Với hiệu lực của định lý trên, để thực hiện kiểm định sự phù hợp của mô hình hồi quy logistic đơn ta có thể tiến hành các bước như sau: • Tính tiêu chuẩn tỷ lệ hợp lý G và giá trị -2logarit hàm hợp lý của mô hình có 1 0, đặt giá trị ấy bằng -2l. • So sánh α với mức ý nghĩa α0 cho trước (thường được ấn định bằng 0. * Nếu α α0, ta bác bỏ H (với mức ý nghĩa α0).
* Nếu α > α0, ta chấp nhận H (với độ tin cậy 100(1 − α0)%). Kiểm định theo tiêu chuẩn Wald Bên cạnh phương pháp kiểm định tỷ lệ hàm hợp lý ta có thể sử dụng phép kiểm định thống kê Wald (đơn). LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Định nghĩa 1. Tiêu chuẩn thống kê Wald là tỷ số ˆ1 W SE ( ˆ1 ) với ˆ1 là giá trị ước lượng của tham số 1 theo phương pháp ước lượng hợp lý cực đại, SE (ˆ1 ) là sai số chuẩn của ước lượng 1.
Với định lý trên, phép kiểm định theo tiêu chuẩn Wald với giả thuyết H: 1 = 0 và đối thuyết K: 1 0 thì tiêu chuẩn thống kê W có phân phối tiệm cận chuẩn N(0,1). • Tính tiêu chuẩn thông kê W. • Với Z là biến ngẫu nhiên có phân phối chuẩn N(0,1), tính xác suất ý nghĩa = P[|Z| > |W|]. • So sánh với mức ý nghĩa 0 cho trước * Nếu α α0, ta bác bỏ H (với mức ý nghĩa α0).
* Nếu α > α0, ta chấp nhận H (với độ tin cậy 100(1 − α0)%).2 Mô hình hồi quy logistic bội Xét tập p biến độc lập X1,X2,. Xác suất điều kiện của biến phụ thuộc Y theo các giá trị của biến độc lập X có dạng P(Y =1/x)= π(x) P(Y =0/x)=1 − π(x). Khi đó hàm logit của mô hình hồi quy logistic bội được biểu diễn qua các biến độc lập bằng phương trình g(x)= β0 + β1x1 + β2x2 + .8) trong đó βi,i = 1, p , là các hệ số chưa biết còn β0 là số hạng chắn. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Định nghĩa 1.
Mô hình hồi quy logistic bội có dạng eg ( x) ( x) (1.9) 1 eg ( x) Trong một số trường hợp, biến độc lập là rời rạc hoặc là biến định tính, ví dụ như địa chỉ, nghề nghiệp của sản phụ, sản phụ sinh vào mùa nào trong năm, v. Để đưa những biến này vào mô hình ta sử dụng phương pháp thiết kế biến (lập biến giả).