MỤC LỤC Tiêu đề Trang MỤC LỤC .2 DANH MỤC BẢNG. Hồi quy tuyến tính bội. Hàm hồi quy tổng thể (PRF- Population Regression Function). Hàm hồi quy mẫu (SRF - Sample Regression Function).
Các giả thiết của phương pháp bình phương nhỏ nhất cho mô hình hồi quy tuyến tính bội. Độ phù hợp của mô hình. Khoảng tin cậy và kiểm định các hệ số hồi quy. Kiểm định mức độ ý nghĩa chung của mô hình (trường hợp đặc biệt của kiểm định WALD) .2 Phân tích phương sai một yếu tố .1 Lý thuyết về ANOVA (Phân tích phương sai) .2 Phân tích phương sai một yếu tố .1 Đọc dữ liệu (Impost data) .2 Làm sạch sữ liệu (Data cleaning) .3 Làm rõ dữ liệu (Data visualization).
ANOVA một nhân tố: đánh giá sự khác biệt trong việc lệch giờ bay (dep_delay) giữa các hãng bay .28 TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 2 2. Mô hình hồi quy tuyến tính: Sử dụng một mô hình hồi quy phù hợp để phân tích các yếu tố ảnh hưởng đến việc lệch giờ đến (arr_delay) của các chuyến bay. Đọc dữ liệu:. Làm sạch dữ liệu:.
Làm rõ dữ liệu:. Xây dựng mô hình hồi quy tuyến tính: Sử dụng một mô hình hổi quy tuyến tính phù hợp để đánh giá các nhân tố tác động đến chi phí bán chung cư thực tế. 60 TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 3 DANH MỤC BẢNG Bảng 1. Bảng tóm tắt giả thuyết và miền bác bỏ tương ứng.
Bảng số liệu tổng quát thực hiện phân tích phương sai. Bảng kết quả tổng quát của ANOVA khi phân tích bằng Excel hay SPSS….15 TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 4 I. Hồi quy tuyến tính bội Hồi quy tuyến tính bội là phần mở rộng của hồi quy tuyến tính đơn. Nó được sử dụng khi chúng ta muốn dự đoán giá trị của một biến phản hồi dựa trên giá trị của hai hoặc nhiều biến giải thích.
Biến chúng ta muốn dự đoán gọi là biến phản hồi (hoặc biến phụ thuộc). Các biến mà chúng ta đang sử dụng để dự đoán giá trị của biến phản hồi được gọi là các biế giải thích (hoặc biến dự báo, biến phụ thuộc). Mô hình hồi quy tuyến tính bội có dạng tổng quát như sau: Y = β1 + β2X2 + β3X3 +. + βkXk + u Trong đó: + βi: Hệ số hồi quy riêng +Y: Biến phụ thuộc + Xi: Biến độc lập + β1:Hệ số tự do (hệ số chặn) Như vậy, "Hồi quy tuyến tính" là một phương pháp để dự đoán giá trị biến phụ thuộc (Y) dựa trên giá trị của biến độc lập (X).
Hàm hồi quy tổng thể (PRF- Population Regression Function) Với Y là biến phụ thuộc X2, X3,.,Xk là biến độc lập, Y là ngẫu nhiên và có một phân phối xác suất nào đó. Suy ra: Tồn tại E(Y | X2,X3,.,Xk) = giá trị xác định.,Xk) là hàm hồi quy tổng thể của Y theo X2, X3,. Với một cá thể i, tồn tại (X2,i,X3,i,.,Xk,i,Yi) Ta có: Yi ≠ F(X2,X3,.,Xk) ⇒ ui = Yi – F Do vậy: Yi = E(Y | X2,X3,.,Xk)+ui Hồi quy tổng thể PRF: + Y = E(Y| X)+ U + E(Y | X) =F(X) 1. Hàm hồi quy mẫu (SRF - Sample Regression Function) TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 5 Do không biết tổng thể, nên chúng ta không biết giá trị trung bình tổng thể của biến phụ thuộc là đúng ở mức độ nào.
Do vậy chúng ta phải dựa vào dữ liệu mẫu để ước lượng. Trên một mẫu có n cá thể, gọi 𝑌̂ = 𝐹̂ (𝑋2 , 𝑋3 , … 𝑋𝑘 ) là hồi quy mẫu. Với một cá thể mẫu 𝑌𝑖 ≠ 𝐹̂ (𝑋2,𝑖 , 𝑋3,𝑖 , … 𝑋𝑘,𝑖 ) sinh ra 𝑒𝑖 − 𝑌𝑖 − 𝐹̂ (𝑋2 , 𝑋3 , … 𝑋𝑘 ); 𝑒𝑖 gọi là phần dư SRF. Ta có hàm hồi quy mẫu tổng quát được viết dưới dạng như sau: ̂1 + 𝛽 𝑦̂𝑖 = 𝛽 ̂2 𝑥2,𝑖 + 𝛽 ̂3 𝑥3,𝑖 +.
… 𝛽 ̂𝑘 𝑥𝑘,𝑖 Phần dư sinh ra: 𝑒𝑖 = 𝑦𝑖 − 𝑦̂𝑖 Ký hiệu: 𝛽̂ ̂ 𝑚 là ước lượng của 𝛽𝑚. Chúng ta trông đợi 𝛽𝑚 là ước lượng không chệch của 𝛽𝑚 , hơn nữa phải là một ước lượng hiệu quả. Ước lượng SRF: chọn một phương pháp nào đó để ước lượng các tham số của F qua việc tìm các tham số của 𝐹̂ và lấy giá trị quan sát của các tham số này làm giá trị xấp xỉ cho tham số của F. Các giả thiết của phương pháp bình phương nhỏ nhất cho mô hình hồi quy tuyến tính bội Trong khi xây dựng mô hình hồi quy đa biến cần kiểm tra các giả thiết như sau: a.
Hàm hồi quy là tuyến tính theo các tham số. Điều này có nghĩa là quá trình thực hành hồi quy trên thực tế được miêu tả bởi mối quan hệ dưới dạng: y = β1 + β2x2 + β3x3 + β4x4 +. + βkxk + u hoặc mối quan hệ thực tế có thể được viết lại ví dụ như dưới dạng lấy loga cả hai vế. Kỳ vọng của các yếu tố ngẫu nhiên ui bằng 0.
Trung bình tổng thể sai số là bằng 0. Điều này có nghĩa là có một số giá trị sai số mang dấu dương và một số sai số mang dấu âm. Do hàm xem như là đường trung bình nên có thể giả định rằng các sai số ngẫu nhiên trên sẽ bị loại trừ nhau, ở mức trung bình, trong tổng thể. Các sai số độc lập với nhau.
Các sai số có phương sai bằng nhau. Tất cả giá trị u được phân phối giống nhau với cùng phương sai 𝜎 2 , sao cho: 𝑉𝑎𝑟(𝑢𝑖 ) = 𝐸 (𝑢𝑖2 ) = 𝜎 2. Các sai số có phân phối chuẩn. Điều này rất quan trọng khi phát sinh khoảng tin cậy và thực hiện kiểm định giả thuyết trong những phạm vi mẫu là nhỏ.
Nhưng phạm vi mẫu lớn hơn, điều này trở nên không mấy quan trọng. Độ phù hợp của mô hình TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 6 Để có thể biết mô hình giải thích được như thế nào hay bao nhiêu % biến động của biến phụ thuộc, người ta sử dụng 𝑅2. Ta có: +∑(𝑦𝑖 − 𝑦)2 : TSS – Total Sum of Squares + ∑(𝑦̂𝑖 − 𝑦)2 : ESS – Explained Sum of Squares +∑ 𝑒𝑖2 : RSS – Residual Sum of Squares Ta có thể viết: TSS = ESS + RSS Ý nghĩa của các thành phần: + TSS là tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Yi và giá trị trung bình. + ESS là tổng bình phương của tất cả các sai lệch giữa các giá trị của biến phụ thuộc Y nhận được từ hàm hồi quy mẫu và giá trị trung bình của chúng.
Phần này đo độ chính xác của hàm hồi quy. + RSS là tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Y và các giá trị nhận được từ hàm hồi quy. + TSS được chia thành 2 phần: một phần do ESS và một phần do RSS gây ra. 𝑅2 được xác định theo công thức: 𝐸𝑆𝑆 𝑅𝑆𝑆 𝑅2 = =1− 𝑇𝑆𝑆 𝑇𝑆𝑆 Tỷ số giữa tổng biến thiên được giải thích bởi mô hình cho tổng bình phương cần được giải thích được gọi là hệ số xác định, hay là trị thống kê “good of fit”.
Từ định nghĩa 𝑅2 chúng ta thấy 𝑅2 đo tỷ lệ hay số % của toàn bộ sai lệch Y với giá trị trung bình được giải thích bằng mô hình. Khi đó người ta sử dụng 𝑅2 để đo sự phù hợp của hàm hồi quy: + 0 ≤ 𝑅2 ≤ 1. + 𝑅2 cao nghĩa là mô hình ước lượng được giải thích được một mức độ cao biến động của biến phụ thuộc. + Nếu 𝑅2 = 1, nghĩa là đường hồi quy giải thích 100% thay đổi của y.
+ Nếu 𝑅2 = 0, nghĩa là mô hình không đưa ra thông tin nào về sự thay đổi của biến phụ thuộc y. Khoảng tin cậy và kiểm định các hệ số hồi quy a. Ước lượng khoảng tin cậy đối với các hệ số hồi quy: TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 7 Mục đích của phân tích hồi quy không phải chỉ suy đoán về 𝛽1 , 𝛽1 , …. 𝛽𝑘 mà còn phải kiểm tra bản chất sự phụ thuộc.
Do vậy cần phải biết phân bố xác suất của 𝛽1 , 𝛽1 , …. Các phân bố này phụ thuộc vào phân bố của các 𝑢𝑖. Với các giả thiết OLS, 𝑢𝑖 có phân phối 𝑁(0, 𝜎 2 ). Các hệ số ước lượng tuân theo phân phối chuẩn: 𝛽̂𝑗 ~𝑁 (𝛽̂𝑗 , 𝑆𝑒(𝛽̂𝑗 )) 𝛽̂𝑗 − 𝛽𝑗 ~𝑇(𝑛 − 𝑘) 𝑆𝑒(𝛽̂𝑗 ) Ước lượng phương sai sai số dựa vào các phần dư bình phương tối thiểu.
Trong đó k là số hệ số có trong phương trình hồi quy đa biến: ∑ 𝑒𝑖2 𝜎̂ 2 = 𝑛−𝑘 + Ước lượng 2 phía, ta tìm được 𝑡𝛼 (𝑛 − 𝑘) thỏa mãn: 2 𝛽̂𝑗 − 𝛽𝑗 𝑃 (−𝑡𝛼 (𝑛 − 𝑘 )) ≤ ≤ 𝑃 (𝑡𝛼 (𝑛 − 𝑘 )) = 1 − 𝛼 2 𝑆𝑒(𝛽̂𝑗 ) 2 + Khoảng tin cậy 1− 𝛼 của 𝛽𝑗 là: [𝛽̂𝑗 − 𝑡𝛼 (𝑛 − 𝑘 )𝑆𝑒(𝛽̂𝑗 ); 𝛽̂𝑗 + 𝑡𝛼 (𝑛 − 𝑘 )𝑆𝑒(𝛽̂𝑗 )] 2 2 b. Kiểm định giả thiết đối với 𝜷𝒋 Kiểm định ý nghĩa thống kê của các hệ số hồi quy có ý nghĩa hay không: kiểm định rằng biến giải thích có thực sự ảnh hưởng đến biến phụ thuộc hay không. Nói cách khác là hệ số hồi quy có ý nghĩa thống kê hay không. Có thể đưa ra giả thiết nào đó đối với 𝛽𝑗 , chẳng hạn 𝛽𝑗 = 𝛽𝑗 ∗.
Nếu giả thiết này đúng thì: 𝛽̂𝑗 − 𝛽𝑗 ~𝑇(𝑛 − 𝑘) 𝑆𝑒(𝛽̂𝑗 ) TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM 8 Ta có bảng 1: Bảng 1. Bảng tóm tắt giả thuyết và miền bác bỏ tương ứng Loại giả thiết Giả thiết 𝐇𝟎 Giả thiết 𝐇𝟏 Miền bác bỏ Hai phía 𝛽1 = 𝛽𝑖∗ 𝛽𝑖 ≠ 𝛽𝑖∗ |𝑡 | > 𝑡𝛼/2 ; 𝑛 − 𝑘 Phía phải 𝛽1 ≤ 𝛽𝑖∗ 𝛽𝑖 > 𝛽𝑖∗ 𝑡 > 𝑡𝛼 ; 𝑛 − 𝑘 Phía trái 𝛽1 ≥ 𝛽𝑖∗ 𝛽1 < 𝛽𝑖∗ 𝑡 < −𝑡𝛼 ; 𝑛 − 𝑘 Ta có thể sử dụng giá trị P-value: P-value < mức ý nghĩa thì bác bỏ giả thiết H0 Kiểm định βj: Giả thuyết H0 : 𝛽𝑗 = 0 ⇔ xj không tác động Giả thuyết H1 : 𝛽𝑗 ≠ 0 ⇔ xj có tác động. 𝛽𝑗 < 0 ⇔ xj có tác động ngược 𝛽𝑗 > 0 ⇔ xj có tác động thuận 1. Kiểm định mức độ ý nghĩa chung của mô hình (trường hợp đặc biệt của kiểm định WALD) a.
Khái quát về kiểm định WALD.