Chương 1: CÁC MÔ HÌNH TUYẾN TÍNH TRONG PHAN TÍCH THONG KE 1.1 Mô hình Hồi quy tuyến tính cỗ điển 1. Hài quy tuyến tính đơn Mô hình hồi quy tuyến tính giữa 2 biến Y và X có dạng sau: Y= bạ + b,X +e (1.1) trong đó e là sai số ngẫu nhiên của mô hình. Y được gọi biến phụ thuộc hay biến được giải thích hay đáp ứng. X được gọi biến độc lập hay biến giải thích.
Hãy tìm một đường thang Y =b, +b,X (1.2) dé xấp xi dam mây điểm trên. Tai quan sat thứ i, (1.2) có dang: Y;=bo+ b)X; + ếj Y:=b,+b),X, Sai lệch hay phan du (residual) do dùng hồi quy Y thay cho Y là: ei =ŸY—Yi =(b+bX,) Ta muốn tìm &,,4, là các giá trị ước lượng của b,,b, sao cho tổng bình phương các sai lệch: S=§(b„b)=)2?=3`Œ,—by—b,X,)° i=l i=l đạt cực tiêu. Lay đạo hàm riêng của S theo b,và b, rồi gan băng 0, ta được hai phương trình: > .Œ,—b,—b,X,)=0 i=l > Œ,—bạ—b,X,)X,=0 i=l hay hai phuong trinh chuan sau: bạn +hX, = vy i=l i=l b, ` X, + vx? = xy i=l i=l i=l Nghiém cua chung 1a A bo =Y —b,X (1. >XY- nXY Dee xan Š'{x,~)Œ,~Ÿ) b= — i=l —_XY DX? nk Dx? (LX? yin Ÿ(x_#) 3 i=l Thay (1.n (14) Phương trình (1.4) được gọi là hồi quy tuyến tính đơn trong đó các hệ số được xác định theo phương pháp bình phương bé nhất.
b, là các điểm dừng. Dé khang định ô;› b, làm cực tiêu S, cần A lay đạo hàm riêng bậc 2 của S theo b,,b,, ta có ma tran Hessian: as as 6?b, — Ob Ob, 2n 2X, H= os os “(2°x, 25x? ôb,Ôb, Ob, Do |H|=4(+3_x?—(>_.X,)=4n(3`X?~— OX z2 4n>)\(X,-X) >0 nên H là ma trận xác đinh dương va điểm dừng chính là điểm cực tiểu của S. Các giả thiết của mô hình hồi quy tuyến tính đơn 1) — Các giá trị của biến độc lập X là không ngẫu nhiên (tất định) và được xác định từ trước. 2) Sai số ngẫu nhiên có kỳ vọng bằng 0: E(e)=0 3) _ Sai số ngẫu nhiên có phương sai cô định: Var(e)= ơ” 4) _ Các sai số không tương quan với nhau: cov(e,„e,) =0, Vỉ # j 5) Sai số là đại lượng ngẫu nhiên có phân bố chuẩn: e, € N(0,07) Các tinh chat của ước lượng a) Trung bình của các sai lệch bằng 0 : b) _ Đường thăng hồi quy luôn đi qua điểm trung bình mẫu Y =b,+b,X c) Trung bình các giá trị dự báo bằng trung bình mẫu của Y: =1s = 1 P= == n d) Cac giá trị dự báo không tương quan với các sai lệch: cov(ê, Ÿ) =0 e) Sai lệch không tương quan với biến độc lập: cov(é, X)=0 Định lý Gaus-Markov Với các giả thiết từ 1 đến 5 của mô hình HOTT đơn, ước lượng BPBN của các hệ số hoi quy là các ước lượng - Tuyến tính - Không chệch - Có phương sai bé nhất (wéc lượng hiệu quả) trong lớp các ước lượng tuyến tinh không chệch của các hệ số hoi quy.
Hệ số xác định Tại mỗi quan sát của mẫu, ta xét sai lệch giữa giá trị quan sát và giá trị ước lượng: Y.—-Y}= SST, tổng bình phương này thể hiện sự biến động của Y. > -¥) = SSR thé hiện sự biến động được giải thích bằng hồi quy. S0 -Ÿ#)? =SSE thé hiện sự biến động không được giải thích bằng hồi quy. Đây chính là độ biến động ngẫu nhiên của sai số.5) trở thành SST=SSR+SSE Từ những khái niệm trên, ta có thé định nghĩa hệ số xác định R° như sau: R?= Biến động được giải thích bằng hồi quy/ Biến động tổng cộng _ SSR _ SST —SSE R= = SST SST 10 R’ càng gần 1 càng tốt vì khi đó mô hình hồi quy tuyến tinh sẽ phù hợp (có ý nghĩa) vì nó giải thích hầu hết các biến động của Y; phần biến động không được giải thích bởi hồi quy (SSE) sẽ nhỏ.
Các tổng bình phương trên đều gắn với một số gọi là bậc tự do (viết tắt là df). Vi dụ để tính SST, chi cần biết n-1 quan sát độc lập, lúc đó bậc tự do của SST là n-I. Để tính SS&=?Š"(x,—X}” chỉ cần 1 số hạng, bậc tự do của SSR là 1. Bằng phép trừ, ta suy ra dé tính biến động không được giải thích băng hồi quy, cần (n-1) —1 = n-2 số hạng độc lập, bậc tự do của sai số ngẫu nhiên là n- 2.
Với các khái niệm như trên, ta có thé thiết lập bang phân tích phương sai đối với hồi quy tuyến tính đơn như sau: Nguôn biến | Bậc tự | Tổng bình phương | Trung bình bình phương | F _ động do (dÐ Hồi quy 1 SSR=S_ Œ, -yy MSR=S' Œ, ¬ MSR Sai lệch n-2 , , MSE SSE=)°(Y, -Y,)° MSE=`(Œ, -Y,)° (n-2) Tong cong n-1 SST=5_Œ,—Y)? Ta có thé sử dung bảng phân tích phương sai dé kiểm tra tính phù hợp của dit liệu với mô hình. Cu thé dữ liệu được coi là phù hợp với mô hình (hay nói cách khác, mô hình Hỏi quy tuyến tính đơn có ý nghĩa đối với số liệu), nếu _ MSR F= >F[1-@;1;n-2] * MSE Khoảng tin cậy va kiểm định giả thuyết và trong phân tích hồi quy a) Ta muốn kiêm định giả thuyết H,: b, =0 (đường hồi quy song song với trục X) so với đối thuyết H,: b +0 dựa trên giá trị 5, va phân phối của nó. Độ lệch chuẩn của ô, được ký hiệu là S(6,) và được cho bởi Sô)=———Š—— Sx, - XY 1 11 trong đó Khoảng tin cậy (1~øz)% của b, là:(bị, bị} Trong đó, S. b =b, —Í_/2;„_2) : == JŠ(X,—X) S bi =b,+t1-/2;n—2) a,x với í¿_„„;„ „là giá tri phân vi có được bằng cách tra bảng phân phối Student với (n-2) bậc tự do và với mức ý nghĩa a.
Liên quan đến việc kiểm định H,, Ta có thé dùng khoảng tin cậy trên đây: Nếu 0e(Jj, b;') thì chấp nhận giả thiết b,=0. Nêu ngược lại, ta bác bỏ giả thiết. Ta cũng có thể kiểm định H, bang cách tính thống kê ^ t= b, s5) TÔI solrc | với í„. „ là (l-a@/2;n-2) gia trị* thu được H băng cách tra bang.Néult,|€ <t(-a/2;n-2) thi chấp nhận giả thuyết Hạ: b,= 0.
Nếu ngược lại, ta bac bỏ giả thuyết Ho. b) Tương tự, ta tìm khoảng tin cậy của b, va kiêm định giả thuyết H,:),=0 so với đối thuyết: H,:b, #0. Độ lệch chuẩn của 4, được ký hiệu là S(ô,) và được cho bởi S(bo) = mm n> (X,-X) Khoảng tin cậy của b, được xác định bang (bị. 12 Trong đó, bạ =b, -t1-z/2:n-2) h_ by ~~ bạ + Í—&12;n—2) Liên quan đến việc kiểm định H,, Ta có thé dùng khoảng tin cậy trên đây: Nếu 0e(b;, bj) thì chấp nhận giả thiết bạ=0.
Nếu ngược lại thì bác bỏ giả thiết. Ta cũng có thé kiểm định giả thuyết H, :"b, =0" so với đối thuyết H, :"b, #0", băng cách tính giá trị của thống kê roi so sánh|:| với giá tri tới hạn ¡„ „„;„;„có được qua tra bảng. <fq „„ 2; thi chấp nhận giả thuyết Ho: bạ= 0. Nếu ngược lại, ta bác bỏ giả thuyết Hạ.
c) Xác định độ lệch chuan của Y,. Ta đã chứng minh Ÿ=Y+ñ(x-X). Với P một gia tri mới X = X,„, ta có —X). Độ lệch chuẩn của dự báo đối với một quan sát mới là Giá trị trên đạt cực tiểu khi x „=X va tang dan khi X „ dịch chuyền xa dần X theo cả 2 hướng.
Như vậy, khi khoảng cách giữa X,và X càng lớn, sai số ước lượng càng lớn (xem Hình 1. Các bước cần thực hiện khi dùng mô hình hồi quy tuyến tính đơn 13. Xác định mô hình: ˆ _>xr-năy _>(X¡-X)(-Y). Phân tách các nguồn biến động: SST= SSR+SSE SSR = SST-SSE.
Tinh hệ số xác định: “? _ssr_ssr-sse_, pene sse_, = |- Se = 1- X(%-%) SST SST SST- S(y-rŸ và hệ sô xác định hiệu chỉnh R, =i--#)( =5) n—p. Xac dinh bac tu do cua cac nguồn biến động: Các tổng bình phương sai số SST, SSR va SSE sẽ có các bậc tự do tương ứng là (n-1), 1 và (n-2). Tính độ lệch chuân của sai sô: _ {SSE So “n-2. Tính độ lệch chuân của các tham sô: _ 1⁄2 Shy 5,14 Fa | _e fi xX?.
Tính độ lệch chuẩn của dự báo: 14 sp _ = XI 1 (x,-X} 1+= | = Ví dụ 1: Số lần vào/ ra đĩa và thời gian sử dụng CPU của 7 chương trình máy tính được thống kê như sau: (14,2) (16,5), (27,7), (42,9) (39,10), (50,13), (83,20). Hãy lập một mô hình tuyến tính dé dự đoán thời gian sử dụng CPU theo số lần vào/ra đĩa.và ^ > XY-nXY 3315-7x38.71 = ~0,0083 Mô hình hồi quy tuyến tinh dự báo thời gian sử dụng CPU có dang: Thời gian sử dụng CPU = -0,0083 + 0,2438( số lan vào/ra dia) Hình 1 cho ta đồ thị của dữ liệu và đường thăng hồi quy với độ dốc 0,2438 va hệ số chặn -0. Hệ số xác định rR” =0,9715 chứng tỏ mô hình hồi quy tuyến tính đơn là tốt và có ý nghĩa. ‘ Trung bin Giới han / tin cay tren.
9 “ aN Gidi han tin cây đướ.1: Hoi quy tuyên tinh don Hình 1.2: Khoảng tin cậy của dự báo 15 i X, Y,=b,+bX, é =Y,-Y, 6° 2 14 3,4043 -1,4043 1,9721 5 16 3,8918 1,1082 1,2281 7 27 6,5731 0,4269 0,1822 9 42 10,2295 -1,2295 0,1516 10 39 9,4982 0,5018 0,2518 13 50 12.2 Hồi quy tuyén tinh bội Mô hình va ước luợng BPBN Mô hình héi quy tuyến tính bội cho phép ta dự báo một biến đáp ứng Y nhờ một ham tuyến tính của k biến dự báo X, X;.b, } là k+1 tham số và e là sai số ngẫu nhiên. Giả sử ta có một mẫu gồm n quan sát {(X 1s Xạ. Mô hình bao gồm zø phương trình sau: ï.+ bX, +e, Dùng ký hiệu véc tơ và ma trận, các phương trình trên được viết gộp lại thành Y, [1 Xi, Xy. Xp lla] Je = + LY, l1 Xi, X>, Xụ | | by 4 en Ä hay 16 Y=Xb + e, (1.6) trong đó Y là véc tơ cột gồmn giá trị quan sát được của Y ={f.Y}; X là ma trận n hàng k+1 cột, với các giá tri của cột 1 luôn bằng 1; Z2_ là véc tơ cột gồm k+l phần tử {z„,b,.”,} e là véc to cột gôm n sô hang sai sô {e,,¢,,.,e,} Ta có thể giả thiết E(e)=0 và D(e)= Iø? (1.7) trong đó I là ma trận đơn vị cấp n với n phan tử trên đường chéo bang 1, các phần tử còn lại bằng 0.
Với giả thiết (1.6) có thể viết lại như sau: EŒ)=Xb (1.8) Đặt véc tơ Ÿ = Xb. Phan tử thứ i của phương trình véc tơ ê=Y—Ÿ=Y-— Xb có dạng é, =Y, —(b, +b,X,, +b, X,, +. +B, Xy) Véc to é=(6,,é,,.,6,) là véc tơ các sai số.