CHƯƠNG 1. KIẾN THỨC CHUẨN BỊ 1.5 Hồi quy tuyến tính đa biến 1.1 Mô hình đa biến Trong mô hình hồi quy tuyến tính đơn, chúng ta chỉ đơn thuần xây dựng mối quan hệ tuyến tính của hai biến X và Y. Nhưng trong thực tế, chúng ta thường gặp không chỉ biến X ảnh hưởng đến Y mà còn các biến khác cũng ảnh hưởng đến Y. Khi để dự báo Y được tốt nhất chúng ta cần xây dựng mô hình hồi quy bội của Y qua tất cả các biến.
Giả sử Y phụ thuộc vào k biến độc lập Xk , mỗi giá trị quan sát của Y có thể được biểu diễn theo mô hình Y = β0 + β1 X1 + β2 X2 + .3) trong đó, β0 là hệ số tung độ gốc, β1 là hệ số dốc của Y theo biến X1 khi các biến X2 , X3 ,. , Xk không đổi, β2 là hệ số dốc của Y theo biến X2 khi các biến X1 , X3 ,. , Xk không đổi,. βk là hệ số dốc của Y theo biến Xk khi các biến X1 , X2 ,.
, Xk−1 không đổi, ε là thành phần ngẫu nhiên với E(ε) = 0 và var(ε) = σ 2. Nếu ε là biến ngẫu nhiên không tương quan thì mô hình (1.3) được gọi là mô hình hồi quy tuyến tính bội.2 Ước lượng các tham số của mô hình đa biến Giả sử chúng ta có n quan sát, mỗi quan sát có k giá trị (yi , x1i , x2i ,. + βk xki + εi Cụ thể hơn ta có: y1 = β0 + β1 x11 + β2 x21 +. + βk xkn + εn Hệ phương trình trên được viết dưới dạng ma trận: y = Xβ + ε trong đó, 15 CHƯƠNG 1.
KIẾN THỨC CHUẨN BỊ ⎡y ⎤ ⎡β ⎤ ⎡ε ⎤ ⎢ 1⎥ ⎢ 1⎥ ⎡ 1 x11 x21. xkn ⎦⎥ ⎢ ⎥ ⎢ yn ⎥ ⎢ βk ⎥ ⎣ ⎢ εn ⎥ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ Khi đó, tổng bình phương các sai số là n L (β) = ∑ ε2i = (y − Xβ) (y − Xβ) ′ i=1 trong đó, ký hiệu X ′ nghĩa là ma trận chuyển vị của X. Chúng ta vẫn dùng phương pháp bình phương tối tiểu để ước lượng các tham số β0 , β1 , ., βk bằng các hệ số β̂0 , β̂1 ,. Ta được −1 β̂ = (X ′ X) X ′ y trong đó, ⎡ n n n ⎤ ⎢ n ∑ x 1i ∑ x 2i.
⎥ ⎢ n n n n ⎥ ⎢ ⎥ ⎢ ∑ xki ∑ xki x1i ∑ xki x2i. 2 ⎢ ∑ xki ⎥⎥ ⎣ i=1 i=1 i=1 i=1 ⎦ ⎡ n ⎤ ⎡ n ⎤ ⎢ ∑ yi ⎥ ⎢ ∑ yi ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ i=1 ⎥ ⎢ i=1 ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ x y + x y + .xkn yn ⎥ ⎢ Sky ⎥ ⎣ ⎦ ⎣ ⎦ Mặc khác, ta cũng có thể tìm hệ số của đường hồi quy tuyến tính bội từ phương trình (X ′ X) β̂ = X ′ y. Cuối cùng, mô hình hồi quy tuyến tính bội của mẫu được sử dụng để ước lượng mô hình hồi quy tổng thể là y = β̂0 + β̂1 X1 + .4) ̂ Phương trình (1.4) cũng được viết dưới dạng ma trận: ŷ = X β, 1.3 Kiểm định mô hình đa biến a/ Kiểm định ý nghĩa của hồi quy * Sử dụng kiểm định t Xét bài toán kiểm định H0 ∶ βj = 0 { H1 ∶ βj ≠ 0, j = 1, k. KIẾN THỨC CHUẨN BỊ Thống kê kiểm định β̂j β̂j Tj = =√ se (β̂j ) ̂σ 2 cjj n 1 2 σ 2 = n−p trong đó, ̂ ∑ (yi − ŷi ) với p = k + 1 = Rank (X) ⩽ n, và cjj là phần tử i=1 −1 thứ j trên đường chéo chính của ma trận C = (X ′ X) ứng với βj.
Vì Tj ∼ T (n − p) nên giả thiết bị bác bỏ nếu ∣TJ ∣ > t α2 (n − p) * Sử dụng phân tích phương sai – ANOVA Xét bài toán kiểm định: H0 ∶ β1 = β2 =. Nếu H0 bị bác bỏ thì có nghĩa là có ít nhất một trong các biến hồi quy có ý nghĩa đối với mô hình. Thống kê kiểm định: SSR /k M SR F= = ∼ F (k, n − p) SSE /(n − p) M SE Giả thuyết bị bác bỏ với mức ý nghĩa α nếu F > fα (k; n − p). 2 b/ Hệ số xác định bội R2 và hệ số xác định bội hiệu chỉnh Radj Hệ số xác định bội R2 được xác định tương tự hồi quy đơn như sau SSR SSE R2 = =1−.
SST SST Hệ số xác định R2 là không giảm khi tăng số biến của hồi quy. Khi đó, R2 khó cho ta biết được việc tăng số biến có lợi gì hay không. Vì thế nhiều nhà phân 2 tích thích dùng hệ số xác định bội hiệu chỉnh Radj sau 2 SSE /(n − p) Radj =1− SST /(n − 1) Mẫu ở vế phải là hằng số, còn tử là ước lượng của sai số: nó bé nhất khi và chỉ 2 khi Radj lớn nhất. Vì thế, một quy tắc lựa chọn biến hồi quy là chọn một trong 2 số các biến hồi quy x1 ,.
, xk để Radj lớn nhất. c) Kiểm tra hiện tượng đa cộng tuyến (Colinearity) Chúng ta cần chú ý khi sử dụng hồi quy tuyến tính bội, một trong những giả định là các biến độc lập không có tương quan với nhau. Ngược lại, nếu chúng 17 CHƯƠNG 1. KIẾN THỨC CHUẨN BỊ tương quan, tức là giữa chúng có tồn tại mối quan hệ tuyến tính hoàn hảo hoặc chính xác giữa một số hoặc tất cả các biến độc lập trong một mô hình hồi quy (chẳng hạn X1 = λX2 ), thì ta có hiện tượng đa cộng tuyến xảy ra.
Việc phát hiện và xử lý đa cộng tuyến thì có cả một lý thuyết về nó. Ở đây, chúng ta chỉ nêu ra một số cách: R2 cao nhưng tỉ số t thấp: Trong trường hợp R2 cao (thường R2 > 0.8 ) mà tỉ số t thấp thì đó chính là dấu hiệu của hiện tượng đa cộng tuyến. Tương quan cặp giữa các biến giải thích cao: Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt ) thì có khả năng có tồn tại đa cộng tuyến. Tuy nhiên tiêu chuẩn này thường không chính xác.
Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến. Hồi quy phụ Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ. Hồi quy phụ là hồi quy mỗi một biến giải thích Xi theo các biến giải thích còn lại. Thực hiện phân tích theo các bước của một hồi quy thông thường.
Sử dụng nhân tố phóng xạ phương sai (VIF) Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến Xi , ký hiệu là V IF (Xi ). VIF(Xi ) được thiết lập trên cơ sở của hệ số xác định R2 trong hồi quy của biến Xi với các biến khác nhau như sau: 1 V IF (Xi ) = 1 − Ri2 Đối với hàm hồi qui có hai biến giải thích X2 và X3 , VIF được định nghĩa là: 1 V IF = 2 1 − r23 + Khi có đa cộng tuyến r23 = 1 thì VIF tiến đến vô hạn. + Nếu không có đa cộng tuyến giữa X2 và X3 thì V IF = 1. Kinh nghiệm: Nếu VIF của 1 biến vượt quá 10 (điều này xảy ra nếu R2 > 0.9) thì biến này được coi là có cộng tuyến cao.
Khi gặp phải hiện tượng đa cộng tuyến, cách giải quyết đơn giản nhất có lẽ là bỏ bớt một trong các biến có cộng tuyến với nhau. Cách làm này có thể làm cho hệ số hồi quy của những biến còn lại trong mô hình từ kết quả ban đầu khác 0 không có ý nghĩa chuyển thành khác 0 có ý nghĩa về mặt thống kê. KIẾN THỨC CHUẨN BỊ Bước 1: Xem cặp biến độc lập nào có quan hệ chặt chẽ với nhau., Xk là các biến độc lập,Y là biến phụ thuộc và X1 , X2 có tương quan chặt chẽ với nhau. Bước 2: Tính R2 đối với các hàm hồi qui: có mặt cả hai biến; không có mặt một trong hai biến.
Bước 3: Ta loại biến mà giá trị R2 tính được khi không có mặt biến đó là lớn hơn. Sau khi trải qua các bước kiểm định và thấy rằng mô hình có ý nghĩa thống kê thì chúng ta có thể tiến hành các dự báo.4 Dự báo quan sát tương lai Ước lượng điểm của dự báo tương lai tại x01 , .5 Ví dụ Khảo sát giá bán của 20 căn nhà ở Milwaukee, Wilconsin. Gọi Y = giá bán - selling price (đơn vị 1000$) X1 = Diện tích căn nhà - total dwelling size (đơn vị f t2 ) X2 = Giá trị tài sản được thẩm định - assessed value (đơn vị 1000$) i) Xây dựng mô hình và ước lượng các tham số hồi quy. ii) Kiểm định lại mô hình.
iii) Giả sử một căn nhà có X1 = 20, X2 = 70. Tiên lượng giá bán của căn nhà này. KIẾN THỨC CHUẨN BỊ Chúng ta sẽ thực hiện hồi quy này bằng code trên R.choose()) #Đọc file > head(homeprice) #Xem trước dữ liệu V1 V2 V3 1 15.1: Xem xét mối quan hệ phụ thuộc tuyến tính Ta thấy rằng cả biến z1 và z2 đều có quan hệ tuyến tính với Y. Chúng ta sẽ thực hiện 3 mô hình hồi quy: từng biến và cả 2 biến để so sánh và lựa chọn mô hình tốt nhất.
> model1=lm(Y ~ z1) # Mô hình đơn biến z1 > summary(model1) # Kết quả ước lượng mô hình 1 Call: lm(formula = Y ~ z1) Residuals: Min 1Q Median 3Q Max -5.3948 Coefficients: 20 CHƯƠNG 1. KIẾN THỨC CHUẨN BỊ Estimate Std. Error t value Pr(>|t|) (Intercept) 31.1 ‘ ’ 1 Residual standard error: 3.377 on 18 degrees of freedom Multiple R-squared: 0.53 on 1 and 18 DF, p-value: 1.909e-08 > model2=lm(Y ~ z2) #Mô hình đơn biến z2 > summary(model2) # Kết quả ước lượng mô hình 2 Call: lm(formula = Y ~ z2) Residuals: Min 1Q Median 3Q Max -5.4400 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 17.1 ‘ ’ 1 Residual standard error: 4.35 on 18 degrees of freedom Multiple R-squared: 0.42 on 1 and 18 DF, p-value: 1.933e-06 > model3=lm(Y ~ z1 + z2) #Mô hình đa biến z1 và z2 > summary(model3) # Kết quả ước lượng mô hình 3 Call: lm(formula = Y ~ z1 + z2) Residuals: Min 1Q Median 3Q Max -5.4605 Coefficients: Estimate Std.
Error t value Pr(>|t|) (Intercept) 30.1 ‘ ’ 1 Residual standard error: 3.473 on 17 degrees of freedom Multiple R-squared: 0.83 on 2 and 17 DF, p-value: 2.