TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH BÀI TẬP LỚN MÔN XÁC SUẤT THỐNG KÊ Đề Tài: Hồi Quy Tuyến Tính Bội Và Anova Ứng Dụng Mô Hình Hồi Quy Tuyến Tính Và Hàm Anova Trong Phân Tích Lưu Lượng Giao Thông HK221 _ Lớp L09 _ Nhóm 8 Thành viên nhóm: 1. Phó Vạn Thông – 2114920 ( NT) 2. Lê Chí Trung – 2115113 4. Trần Quốc Vương – 2115339 Sinh viên thực hiện: Phó Vạn Thông (NT) Giảng viên hướng dẫn: TS.
NGUYỄN BÁ THI Thành phố Hồ Chí Minh – 2022 Mục lục LỜI NÓI ĐẦU. Hồi quy tuyến tính bội. Phân tích phương sai một yếu tố. Hoạt động 1: Hồi quy tuyến tính bội.
Hoạt động 2: Anova. Thực hiện phân tích hồi quy tuyến tính bội. 63 1 LỜI NÓI ĐẦU Thống kê là nghiên cứu của tập hợp nhiều lĩnh vực khác nhau, bao gồm phân tích, giải thích, trình bày và tổ chức dữ liệu. Trong thực tiễn, thống kê có rất nhiều ứng dụng vào nhiều lĩnh vực khác nhau, đặc biệt rất cần thiết cho sinh viên các ngành khoa học, kỹ thuật.
Môn học Xác suất & thống kê cung cấp kiến thức cơ bản về lý thuyết, giới thiệu một số hàm phân phối xác suất thông dụng, kiểm định giả thuyết, ước lượng khoảng tin cậy, v. Thông qua thống kê, các dữ liệu thu thập được phân tích theo nhiều tiêu chí khác nhau giúp người sử dụng có cái nhìn tổng quan về dữ liệu của họ, đưa ra được ước lượng về tổng thể lớn hơn hay dự đoán mô hình và kiểm định lại giả thuyết theo các mức ý nghĩa khác nhau. Báo cáo của nhóm tập trung vào việc tìm hiểu hai phương pháp được sử dụng phổ biến trong Thống kê là Phân tích phương sai và Hồi quy tuyến tính bội. Từ đó vận dụng chúng vào việc xử lý tệp dữ liệu cho sẵn, đưa ra những giá trị thống kê mô tả, đánh giá đặc điểm, tính chất của đối tượng thống kê, vẽ các đồ thị để có cái nhìn trực quan, v.v bằng phần mềm R/Rstudio.
Hồi quy tuyến tính bội Hồi quy tuyến tính bội là phần mở rộng của hồi quy tuyến tính đơn. Nó đượcsử dụng khi chúng ta muốn dự đoán giá trị của một biến phản hồi dựa trên giá trị của hai hoặc nhiều biến giải thích. Biến chúng ta muốn dự đoán gọi là biến phản hồi (hoặc biến phụ thuộc). Các biến mà chúng ta đang sử dụng để dự đoán giá trị của biến phản hồi được gọi là các biến giải thích (hoặc biến dự báo, biến phụ thuộc).
Mô hình hồi quy tuyến tính bội có dạng tổng quát như sau: Y = β1 + β2X2 + β3X3 +. + βkXk + u Trong đó: + βi: Hệ số hồi quy riêng +Y: Biến phụ thuộc + Xi: Biến độc lập + β1:Hệ số tự do (hệ số chặn) Như vậy, "Hồi quy tuyến tính" là một phương pháp để dự đoán giá trị biến phụ thuộc (Y) dựa trên giá trị của biến độc lập (X). Hàm hồi quy tổng thể (PRF-Population Regression Function) Với Y là biến phụ thuộc X2, X3,…, là biến độc lập, Y ngẫu nhiên và có một phân phối xác suất nào đó Suy ra: Tồn tại E(Y | X2,X3,.,Xk) = giá trị xác định.,Xk) là hàm hồi quy tổng thể của Y theo X2, X3,.,Xk Với một cá thể i, tồn tại (X2,i,X3,i,.,Xk,i,Yi) Ta có: Yi ≠ F(X2,X3,.,Xk) ⇒ ui = Yi – F Do vậy: Yi = E(Y | X2,X3,.,Xk)+ui Hồi quy tổng thể PRF: 3 + Y = E(Y| X)+ U + E(Y | X) =F(X) 2. Hàm hồi quy mẫu (SRF-Sample Regression Function) Do không biết tổng thể, nên chúng ta không biết giá trị trung bình tổng thể của biến phụ thuộc là đúng ở mức độ nào.
Do vậy chúng ta phải dựa vào dữ liệu mẫu để ước lượng. Trên một mẫu có n cá thể, gọi 𝑌̂ = 𝐹̂ (𝑋2 , 𝑋3 , … 𝑋𝑘 ) là hồi quy mẫu.Với một cá thể mẫu 𝑌𝑖 ≠ 𝐹̂ (𝑋2,𝑖 , 𝑋3,𝑖 , …. 𝑋𝑘 ); 𝑒𝑖 gọi là phần dư SRF. Ta có hàm hồi quy mẫu tổng quát được viết dưới dạng như sau: ̂1 + 𝛽 𝑦̂𝑖 = 𝛽 ̂2 𝑥2,𝑖 + 𝛽 ̂3 𝑥3,𝑖 +… 𝛽 ̂𝑘 𝑥𝑘,𝑖 Phần dư sinh ra: 𝑒𝑖 = 𝑦𝑖 − 𝑦̂𝑖 Ký hiệu: 𝛽̂ 𝑚 là ước lượng của 𝛽𝑚.
Chúng ta trông đợi 𝛽̂ 𝑚 là ước lượng không chệch của 𝛽𝑚, hơn nữa phải là một ước lượng hiệu quả. Ước lượng SRF: chọn một phương pháp nào đó để ước lượng các tham số của F qua việc tìm các tham số của F̂ và lấy giá trị quan sát của các tham số này làm giá trị xấp xỉ cho tham số của F. Các giả thiết của phương pháp bình phương nhỏ nhất cho mô hình hồi quy tuyến tính bội Trong khi xây dựng mô hình hồi quy đa biến cần kiểm tra các giả thiết như sau: 3. Hàm hồi quy là tuyến tính theo các tham số Điều này có nghĩa là quá trình thực hành hồi quy trên thực tế được miêu tả bởi mối quan hệ dưới dạng: y = β1 + β2x2 + β3x3 + β4x4 +.
Kỳ vọng của các yếu tố ngẫu nhiên ui bằng 0 Trung bình tổng thể sai số là bằng 0. Điều này có nghĩa là có một số giá trị sai số mang dấu dương và một số sai số mang dấu âm. Do hàm xem như là đường trung 4 bình nên có thể giả định rằng các sai số ngẫu nhiên trên sẽ bị loại trừ nhau, ở mức trung bình, trong tổng thể. Các sai số độc lập với nhau 3.
Các sai số có phương sai bằng nhau Tất cả giá trị u được phân phối giống nhau với cùng phương sai 𝜎 2 , sao cho: 𝑉𝑎𝑟(𝑢𝑖 ) = 𝐸 (𝑢𝑖 2 ) = 𝜎 2 3. Các sai số có phân phối chuẩn Điều này rất quan trọng khi phát sinh khoảng tin cậy và thực hiện kiểm định giả thuyết trong những phạm vi mẫu là nhỏ. Nhưng phạm vi mẫu lớn hơn, điều này trở nên không mấy quan trọng. Độ phù hợp của mô hình Để có thể biết mô hình giải thích được như thế nào hay bao nhiêu % biến động của biến phụ thuộc, người ta sử dụng 𝑅2.
Ta có: +∑(𝑦𝑖 − 𝑦̅)2 : TSS - Total Sum of Squares +∑(𝑦̂𝑖 − 𝑦̅)2 : ESS - Explained Sum of Squares +∑ 𝑒𝑖 2 : RSS - Residual Sum of Squares Ta có thể viết: TSS = ESS + RSS Ý nghĩa của các thành phần: + TSS là tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Yi và giá trị trung bình. + ESS là tổng bình phương của tất cả các sai lệch giữa các giá trị của biến phụ thuộc Ynhận được từ hàm hồi quy mẫu và giá trị trung bình của chúng. Phần này đo độ 5 chính xác của hàm hồi quy. + RSS là tổng bình phương của tất cả các sai lệch giữa các giá trị quan sát Y và các giátrị nhận được từ hàm hồi quy.
+ TSS được chia thành 2 phần: một phần do ESS và một phần do RSS gây ra. 𝑅2 được xác định theo công thức: 𝐸𝑆𝑆 𝑅𝑆𝑆 𝑅2 = =1− 𝑇𝑆𝑆 𝑇𝑆𝑆 Tỷ số giữa tổng biến thiên được giải thích bởi mô hình cho tổng bình phương cần đượcgiải thích được gọi là hệ số xác định, hay là trị thống kê “good of fit”. Từ định nghĩa 𝑅2 chúng ta thấy 𝑅2 đo tỷ lệ hay số % của toàn bộ sai lệch Y với giá trị trung bình được giải thích bằng mô hình. Khi đó người ta sử dụng 𝑅2 để đo sự phù hợp của hàm hồi quy: + 0 ≤ 𝑅2 ≤ 1.
+ 𝑅2 cao nghĩa là mô hình ước lượng được giải thích được một mức độ cao biến động của biến phụ thuộc. + Nếu 𝑅2 = 1, nghĩa là đường hồi quy giải thích 100% thay đổi của y. + Nếu 𝑅2 = 0, nghĩa là mô hình không đưa ra thông tin nào về sự thay đổi của biến phụ thuộc y. Khoảng tin cậy và kiểm định các hệ số hồi quy 5.
Ước lượng khoảng tin cậy đối với các hệ số hồi quy: Mục đích của phân tích hồi quy không phải chỉ suy đoán về 𝛽1, 𝛽1, …. 𝛽𝑘 mà còn phải kiểm tra bản chất sự phụ thuộc. Do vậy cần phải biết phân bố xác suất của 𝛽1, 𝛽1, … .Các phân bố này phụ thuộc vào phân bố của các 𝑢𝑖. Với các giả thiết OLS, 𝑢𝑖 có phân phối 𝑁(0, 𝜎2).
Các hệ số ước lượng tuân theo phân phối chuẩn: 𝛽̂𝑗 ~𝑁 (𝛽̂𝑗 , 𝑆𝑒(𝛽̂𝑗 )) 6 𝛽̂𝑗 − 𝛽𝑗 ~𝑇(𝑛 − 𝑘 ) 𝑆𝑒(𝛽̂𝑗 ) Ước lượng phương sai sai số dựa vào các phần dư bình phương tối thiểu. Trong đó k là số hệ số có trong phương trình hồi quy đa biến: 2 ∑ 𝑒𝑖2 𝜎̂ = 𝑛−𝑘 + Ước lượng 2 phía, ta tìm được 𝑡𝛼:2 (𝑛 − 𝑘 ) thỏa mãn: 𝛽̂𝑗 − 𝛽𝑗 𝑃(−𝑡𝛼:2 (𝑛 − 𝑘 ) ≤ ≤ 𝑃(𝑡𝛼:2 (𝑛 − 𝑘 ) = 1 − 𝛼 𝑆𝑒(𝛽̂𝑗 ) + Khoảng tin cậy 1 − 𝛼 của 𝛽𝑗 là: [𝛽̂𝑗 − 𝑡𝛼:2 (𝑛 − 𝑘 )𝑆𝑒(𝛽̂𝑗 ); 𝛽̂𝑗 + 𝑡𝛼:2 (𝑛 − 𝑘 )𝑆𝑒(𝛽̂𝑗 )] 5. Kiểm định giả thiết đối với Qj Kiểm định ý nghĩa thống kê của các hệ số hồi quy có ý nghĩa hay không: kiểm định rằngbiến giải thích có thực sự ảnh hưởng đến biến phụ thuộc hay không. Nói cách khác là hệ số hồi quy có ý nghĩa thống kê hay không.
Có thể đưa ra giả thiết nào đó đối với 𝛽𝑗,chẳng hạn 𝛽𝑗 = 𝛽𝑗∗. Nếu giả thiết này đúng thì: Ta có bảng 1: Giả thiết Giả thiết H0 Giả thiết H1 Giả thiết H2 Hai phía 𝛽1 = 𝛽𝑖∗ 𝛽1 ≠ 𝛽𝑖∗ |𝑡 | > 𝑡𝛼/2 ; 𝑛 − 𝑘 Phía phải 𝛽1 ≤ 𝛽𝑖∗ 𝛽1 > 𝛽𝑖∗ 𝑡 > 𝑡𝛼 ; 𝑛 − 𝑘 Phía trái 𝛽1 ≥ 𝛽𝑖∗ 𝛽1 < 𝛽𝑖∗ 𝑡 < 𝑡𝛼 ; 𝑛 − 𝑘 Bảng 1 Ta có thể sử dụng giá trị P-value: P-value < mức ý nghĩa thì bác bỏ giả thiết H0 Kiểm định 𝛽𝑗 7 Giả thuyết H0: 𝛽𝑗 = 0 < => 𝑥𝑗 không tác động Giả thuyết H0: 𝛽𝑗 ≠ 0 < => 𝑥𝑗 không tác động 𝛽𝑗 < 0 < => 𝑥𝑗 có tác động ngược 𝛽𝑗 < 0 < => 𝑥𝑗 có tác động thuận 6. Kiểm định mức độ ý nghĩa chung của mô hình (trường hợp đặc biệt của kiểm định WALD) 6. Khái quát về kiểm định WALD Giả sử chúng ta có 2 mô hình dưới đây: (U) : Y = 𝛽1 + 𝛽2𝑋2 + 𝛽3𝑋3 + 𝛽4𝑋4 + 𝑢 (R) : Y = 𝛽1 + 𝛽2𝑋2 + 𝑣 Mô hình U được gọi là mô hình không giới hạn (Unrestrict), và mô hình R được gọi là mô hình giới hạn (Restrict).
Đó là do 𝛽3 và 𝛽4 buộc phải bằng 0 trong mô hình R.