ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KỸ THUẬT HOÁ HỌC BÁO CÁO BÀI TẬP LỚN MÔN XÁC SUẤT THỐNG KÊ HỌC KỲ 212 Nhóm 2 – L18 GVHD: Thầy Nguyễn Bá Thi SVTH : Lâm Thuỳ Dương 2012882 Hồ Chí Minh, 05/04/2022 MỤC LỤC A. PHẦN C CH HUNG. Hồi qu quy ttuuyến tí tính bbộội. Đọc Đọc dữ liệu liệu (I (Imp mpor ortt ddat ata) a).
Là Làm m ssạc ạchh ddữ ữ liệ liệuu (Da (Data ta cl clea eani ning ng)). Là Làm m rõ dữ li liệu ệu (D (Dat ataa vvis isua uali liza zati tion on)). Xâ Xâyy ddựn ựngg m môô hìn hìnhh hhồi ồi qu quyy ttuy uyến ến tí tính nh. Nhậ Nhậpp và làm sạ sạch ch dữ liệ liệu, u, tthực hực hiệ hiệnn cá cácc th thống ống kê m môô tả.
Ph Phân ân tí tích ch ph phươ ương ng sa saii m một ột nhân nhân tố.47 Đề bài và yêu cầu:. Đọc dữ liệu:. Làm sạch dữ liệu:. Làm rrõõ dữ liệu:.
Xây ddựng ựng m môô hìn hìnhh hồi quy: P Phân hân ttích ích cácácc nhân tố ảnh hưởng đến llương ương ccủa ủa kỹ sư sa sauu khi tốt nghiệp ĐH.test est:: So sán sánhh lương lương tru trung ng bìn bìnhh gi giữa ữa Nam và Nữ. Xây ddựng ựng m môô hìn hìnhh anov anova: a: So sánh mức llương ương ttrungrung bbình ình ggiữaiữa các các ứng cử vi viênên đạt các bằng cấp khác nhau. 65 TÀI LIỆU THAM KHẢO. Hồi qu quyy tuy tuyến ến tí tính nh bộ bộii Câu 1: Tập tin "gia_nha.csv" chứa thông tin về giá bán ra thị trường (đơn vị đô la) của 21613 5/2015.ngôi nhà ởgiáquận Bên cạnh nhà,King nước dữ liệu cònMỹ bao trong khoảng gồm các thuộc thời giantảtừchất tính mô tháng 5/2014 lượng đến ngôi nhà.
Dữ liệu gốc được cung cấp tại: https://www https://www.com/harlfoxem/housesalespre em/housesalesprediction diction. Các biến chính trong bộ dữ liệu: • price: Giá nhà được bán ra. • sqft_living15: Diện tích trung bình của 15 ngôi nhà gần nhất trong khu dân cư. • floors: Số tầng của ngôi nhà được phân loại từ 1 - 3.
• condition: Điều kiện kiến trúc của ngôi nhà từ 1 - 5, 1: rất tệ và 5: rất tốt. • sqft_above: Diện tích ngôi nhà. • sqft_living: Diện tích khuôn viên nhà. Đọc dữ liệu (Import data): Hãy dùng lênh read.csv() để đọc tệp tin.
Làm sạch dữ liệu (Data cleaning): (a) Hãy trích ra một dữ liệu con đặt tên là new_DF chỉ bao gồm các biến chính mà ta quan tâm như đã trình bày trong phần giới thiệu dữ liệu. Từ câu hỏi này về sau, mọi yêu cầu xử lý đều dựa trên tập dữ liệu con new_DF này. (b) Kiểm tra các dữ liệu bị khuyết trong tập tin. (Các câu lênh tham khảo: is.
Nếu có dữ liệu bị khuyết, hãy đề xuất phương pháp thay thế cho những dữ liệu bị khuyết này. Làm rõ dữ liệu (Data visualization): (a) Chuyển đổi các biến price, sqft_living15, sqft_above, sqft_living lần lượt thành log(price), log(sqft_living15), log(sqft_above), và log(sqft_living). Từ đây mọi sự tính toán với các biến trên được hiểu là đã qua đổi biến dạng log. (b) Đối với các biến liên tục, hãy tính các giá trị thống kê mô tả bao gồm: trung bình, trung vị, độ lệch chuẩn, giá trị lớn nhất và giá trị nhỏ nhất.
Xuất kết quả dưới dạng 3 bảng. (d) Hãy dùng hàm hist() để vẽ đồ thị phân phối của biến price. (e) Hãy dùng hàm boxplot() vẽ phân phối của biến price cho từng nhóm phân loại của biến floors và biến condition. (f) Dùng lệnh pairs() vẽ các phân phối của biến price lần lượt theo các biến sqft_living15, sqft_above, và sqft_living.
Xây dựng các mô hình hồi quy tuyến tính (Fitting linear regression models): Chúng ta muốn khám phá rằng có những nhân tố nào và tác động như thế nào đến giá nhà ở quận King. (a) Xét mô hình hồi quy tuyến tính bao gồm biến price là một biến phụ thuộc, và tất quycảtuyến các biến còn lại đều là biến độc lập. Hãy dùng lệnh lm() để thực thi mô hình hồi tính bội. (b) Dựa vào kết quả của mô hình hồi quy tuyến tính trên, những biến nào bạn sẽ loại khỏi mô hình tương ứng với mức tin cậy 5%? (c) Xét 2 mô hình tuyến tính cùng bao gồm biến price là biến phụ thuộc nhưng: + mô hình M1 chứa tất cả các biến còn lại là biến độc lập.
+ mô hình M2 là loại bỏ biến condition từ mô hình M1. Hãy dùng lệnhh anova() để đề xuất mô hình hồi quy hợp lý hơn. (d) Chọn mô hình hợp lý hơn từ câu (c) hãy suy luận sự tác động của các biến lên giá nhà. Nêu ý nghĩa và nhận xét đồ thị.
Dự báo (Predictions): (a) Từ mô hình bạn chọn trong câu (c), hãy dùng lệnh predict() để dự báo giá nhà tại 2 thuộc tính như sau: X1: sqft_living15 = mean(sqft_living15), sqft_above = mean(sqft_above), sqft_living = mean(sqft_living), floor = 2, condition = 3 4 X2: sqft_living15 = max(sqft_living15), sqft_above = max(sqft_above), sqft_living = max(sqft_living), floor = 2, condition = 3. (b) So sánh khoảng tin cậy cho 2 giá trị dự báo này. Đọc Đọc dữ dữ lliệ iệuu ((Im Impo port rt da data ta)) Đọc dữ liệu “gia_nha. Làm Làm sạc sạchh dữ liệu liệu (D (Dat ataa clea cleani ning ng)) (a) Tạo một dữ liệu con new_DF chỉ bao gồm các biến chính mà ta quan tâm.
Vì vậy, ta cần xử lý các dữ liệu bị khuyết đó. Phương pháp thay thế cho các dữ liệu bị khuyết: xoá các quan sát chứa dữ liệu bị khuyết. 7 Sau khi thực hiện phương pháp, nhận thấy không còn dữ liệu bị khuyết. Làm Làm rõ dữ dữ liệu liệu (Dat (Dataa visu visual aliz izat atio ion) n) (a) Chu Chuyển biến price yển đổi các biến price,, sqft_living15 sqft_living15,, sqft_above sqft_above,, sqft_living lần lượt thành log(price), log(sqft_living15), log(sqft_above), và log(sqft_living).
Từ đây mọi sự tính toán với các biến trên được hiểu là đã qua đổi biến dạng log. Giải thích lý do chuyển sang dạng log(x): + Cải thiện sự phù hợp của mô hình: giả định khi ta xây dựng mô hình hồi quy thì các sai số hồi quy (phần dư) phải có phân phối chuẩn, do đó trong trường hợp sai số hồi quy (phần dư) không có phân phối chuẩn thì việc lấy log của của một biến giúp thay đổi tỉ lệ và làm cho biến đó có phân phối chuẩn. Ngoài ra, trong trường hợp phần dư (phương sai thay đổi) do các biến độc lập gây ra, ta cũng có thể chuyển đổi các biến đó sang dạng log. + Diễn giải: đây là lý do giúp ta có thể diễn giải mối quan hệ giữa 2 biến thuận tiện hơn.
Nếu ta lấy log của biến phụ thuộc Y và biến độc lập X, khi đó hệ số hồi quy β sẽ là hệ số co giãn và diễn giải sẽ như sau: X tăng 1% sẽ dẫn đến tăng việc ta sẽ kỳ vọng Y tăng lên β% (về mặt trung bình của Y),. + Ước lượng mô hình phi tuyến: việc lấy log cho phép ta ước lượng các mô hình này bằng hồi quy tuyến tính. 8 (b) Tính các giá trị thống kê mô tả (trung bình, trung vị độ lệch chuẩn, giá trị lớn nhất, giá trị nhỏ nhất) cho các biến log.sqft_above log.sqft_above,, log.sqft_living log.sqft_living,, log. Xuất kết quả dưới dạng bảng.
(c) Lập một bảng thống kê số lượng cho từng chủng loại của biến floors và condition condition. 9 (d) Vẽ biểu đồ histogram thể hiện phân phối của log. Dựa trên biểu đồ histogram của biến log.price, ta nhận thấy đồ thị có hình dạng phân phối chuẩn. (e) Vẽ biểu đồ boxplot thể hiện phân phối của biến log.price cho từng nhóm phân loại của biến floors và biến condition condition.
- Vẽ biểu đồ boxplot thể hiện phân phối của biến log.price cho từng nhóm phân loại của biến floors floors. 10 - Vẽ biểu đồ boxplot thể hiện phân phối của biến log.price cho từng nhóm phân loại của biến condition condition. 11 (f) Vẽ biểu đồ phân tán thể hiện phân phối của biến log.price theo theo biến biến log.sqft_living15, log.sqft_above log.sqft_living15, log.sqft_above,, log.sqft_living log. - Vẽ biểu đồ phân tán thể hiện phân phối của biến log.price theo biến log.sqft_living15 - Vẽ biểu đồ phân tán thể hiện phân phối của biến log.price theo biến log.sqft_above log.
12 - Vẽ biểu đồ phân tán thể hiện phân phối của biến log.price theo biến log. 13 Nhận xét: Dựa trên các đồ thị phân tán, ta nhận thấy log.price có quan hệ tuyến tính với các biến log.sqft_living15 log.sqft_living15,, log.sqft_above log.sqft_above,, log. Nhìn vào các đồ thị trên, ta nhận thấy việc chuyển đổi các biến sang dạng log(x) sẽ hiệu quả hơn trong việc phân tích mối quan hệ tuyến tính giữa các biến độc lập với biến phụ thuộc (giá nhà). Câu hỏi đặt ra lúc này là mối quan hệ giữa các biến với giá nhà là ngẫu nhiên hay thực sự cómối quan hệ tuyến tính giữa các biến với giá nhà.
Mô hình hồi quy tuyến tính sẽ giúp ta kiểm tra điều này thông qua các khoảng tin cậy và các phép kiểm định. Hơn nữa, nó còn cho phép ta ước lượng giá trị của biến phụ thuộc (giá nhà) theo các biến độc lập (số tầng, điều kiện ngôi nhà, diện tích nhà,. Xây Xây dựng dựng mô mô hình hình hhồi ồi qu quyy tuyế tuyếnn tính tính Chúng ta muốn khám phá rằng có những nhân tố nào và tác động như thế nào đến giá nhà ở quận King. (a) Xét mô hình hồi quy tuyến tính bao gồm biến log.price là biến phụ thuộc.
Biến độc lập: floors, condition, log.sqft_living15, log.sqft_above, log. Mô hình được biểu diễn như sau: log.price ice = β + β × log.sqft_ 1 ft_liv living ing15 15 + β × floor floors1 s1.sqft_above + β × log.sqft_living + ε i 12 Trước khi ước lượng các hệ số β i, ta cần chuyển các biến floors và condition sang dạng factor. Ta thực hiện ước lượng các hệ số β i, i = 0, ., 12: 14 Nhận xét: Từ kết quả phân tích, ta thu được: được: ^β = 5.670249 Như vậy, đường thẳng hồi quy ước lượng cho bởi phương ttrình rình sau: log. (b) Kiểm định các hệ số hồi quy Giả thuyết H0: Hệ số hồi quy không có ý nghĩa thống kê ( β i = 0) Giả thuyết H1: Hệ số hồi quy có ý nghĩa thống kê ( β i ≠ 0) 15 Ta nhận thấy Pr(>|t|) của các hệ số ứng với biến condition2 lớn hơn mức ý nghĩa α = 0.05 nên ta chưa bác bỏ được giả thuyết H0.
Do đó hệ số ứng với các biến này không có ý nghĩa với mô hình hồi quy ta xây dựng. Ta có thể cân nhắc loại bỏ biến condition ra khỏi mô hình. (c) Xét 2 mô hình tuyến tính cùng bao gồm biến log.price là biến phụ thuộc nhưng: + Mô hình M1 chứa tất cả các biến còn lại là biến độc lập. + Mô hình M2 là loại bỏ biến condition từ mô hình M1.