ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC HỒI QUY TUYẾN TÍNH VÀ ỨNG DỤNG TRONG DỰ BÁO GIÁ NHÀ ĐỒ ÁN I Chuyên ngành: HỆ THỐNG THÔNG TIN QUẢN LÝ Chuyên sâu: Toán ứng dụng Giảng viên hướng dẫn: TS. NGÔ THỊ HIỀN Sinh viên thực hiện: Họ và tên ĐỖ VĂN HÙNG Mã số sinh viên 20206283 Lớp Hệ thống thông tin quản lý 01 K65 Hà Nội, 7 - 2023 Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Lời nói đầu Giá nhà đất là giá cả và giá trị nhà đất. Giá cả là biểu hiện tiền tệ của giá trị, hình thành thông qua quan hệ cung cầu của thị trường nhà đất. Giá trị là nội dung của giá cả, bao gồm giá trị hữu hình và vô hình, được cấu thành từ chất lượng tự nhiên và vị thế xã hội của nhà đất.
Tuy nhiên từ trước đến nay, giá trị nhà đất đều được hiểu theo nghĩa hữu hình là chi phí đầu tư phát triển nhà đất mà chưa tính tới yếu tố con người, văn hóa, kinh tế, chính trị… Vì vậy việc xác định giá nhà đất chưa phù hợp với thực tế mặc dù pháp luật quy định xác định giá nhà đất phải sát với thực tế. Mặt khác, trong việc xác định giá nhà đất hiện nay thì không công nhận phương pháp sử dụng phương trình toán học giá nhà đất. Tuy nhiên, ít nhiều nhà khoa học đã sử dụng tư duy toán học trong việc xác định hệ số điều chỉnh giá nhà đất của các yếu tố tác động nhưng mới chỉ là cục bộ (so sánh cặp) mà chưa được xác định ở quy mô lớn theo các tiêu chuẩn của thống kê (càng nhiều thì càng chính xác). Chính vì vậy, việc áp dụng toán thống kê trong xây dựng phương trình xác định giá nhà đất phụ thuộc vào các yếu tố đặc điểm nhà đất là hết sức cần thiết và được nghiên cứu rất nhiều trong thời gian gần đây.
Tuy nhiên, vấn đề đặt ra là cần phải xác định dạng phương trình toán học cũng như các phương pháp phân tích hồi quy để xác định các biến số độc lập phản ánh được các đặc điểm cấu thành giá trị nhà đất. Đặc điểm hữu hình? Đặc điểm vô hình? Phương pháp xác định các tham số của phương trình hồi quy là phương pháp hồi quy tuyến tính hay hồi quy cây quyết định? Đây chính là vấn đề cần được làm rõ. Xuất phát từ thực tế trên, em lựa chọn đề tài “Hồi quy tuyến tính và ứng dụng trong dự báo giá nhà” để thực hiện đồ án. Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Ngoài phần Lời nói đầu và Tổng kết, báo cáo của em gồm 3 chương: 1.
Kiến thức cơ sở 2. Hồi quy tuyến tính 3. Ứng dụng của hồi quy tuyến tính trong dự báo giá nhà Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Lời cảm ơn Em xin chân thành gửi lời cảm ơn tới các Thầy Cô tại Viện Toán ứng dụng và Tin học. Thầy cô đã truyền đạt cho em những kiến thức và giúp đỡ em hoàn thành được đồ án này.
Đặc biệt em xin gửi lời cảm ơn sâu sắc tới TS. Ngô Thị Hiền. Cô là người đã trực tiếp hướng dẫn em nghiên cứu đề tài này. Cô đã định hướng và truyền đạt những kinh nghiệm quý giá để em có thể hoàn thành đồ án này một cách tốt nhất.
Em xin chân thành cảm ơn! Hà Nội, Tháng 7 Năm 2023 Tác giả đồ án Đỗ Văn Hùng Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Mục lục 1. KIẾN THỨC CƠ SỞ. Các thuật toán và ứng của học máy (Machine Learning). Hồi quy tuyến tính trong học máy.
HỒI QUY TUYẾN TÍNH. Ứng dụng của hồi quy tuyến tính. Hồi quy tuyến tính đơn biến. Ước lượng các hệ số.
Đánh giá độ chính xác của các hệ số. Hồi quy tuyến tính đa biến. Ước lượng các hệ số hồi quy. Một số câu hỏi quan trọng.
Ngôn ngữ R hỗ trợ xây dựng và phân tích hồi quy tuyến tính. ỨNG DỤNG CỦA HỒI QUY TUYẾN TÍNH TRONG DỰ BÁO GIÁ NHÀ. Mô tả bài toán. Xây dựng mô hình hồi quy tuyến tính.
Đánh giá mô hình hồi quy tuyến tính. Dự báo về giá nhà. 41 TÀI LIỆU THAM KHẢO. 42 1 Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Danh mục hình vẽ Hình 2.
Hồi quy đa biến về giá nhà với diện tích, số phòng ngủ, số tầng. Mối quan hệ tương quan giữa các biến trong mô hình hồi quy tuyến tính. Thông tin thêm về mô hình bình phương nhỏ nhất cho hồi quy giá nhà. Môi trường làm việc trong RStudio.
Ma trận hệ số tương quan giữa các biến trong mô hình. Đồ thị phân tán giữa các cặp biến. Báo cáo chi tiết về mô hình lần 1. Báo cáo chi tiết về mô hình lần 2.
Đồ thị Residuals vs Fitted. Đồ thị Sale - Location. Đồ thị Residuals vs Leverage. Kết quả tính toán đánh giá mô hình trên RStudio.
Dữ liệu thu thập về căn nhà số 1. Kết quả dự báo giá nhà cho căn nhà số 1. 38 2 Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Danh mục bảng Bảng 3. Giải thích các biến trong mô hình.
Bảng so sánh giá trị RSE và R 2 giữa 2 mô hình. Kết quả đánh giá mô hình thông qua giá trị R 2. 36 3 Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I 1. KIẾN THỨC CƠ SỞ 1.
Học máy (Machine Learning) Học máy (Machine Learning) là một công nghệ phát triển từ lĩnh vực trí tuệ nhân tạo. Các thuật toán Machine Learning là các chương trình máy tính có khả năng học hỏi về cách hoàn thành các nhiệm vụ và cách cải thiện hiệu suất theo thời gian. Machine Learning vẫn đòi hỏi sự đánh giá của con người trong việc tìm hiểu dữ liệu cơ sở và lựa chọn các kĩ thuật phù hợp để phân tích dữ liệu. Đồng thời, trước khi sử dụng, dữ liệu phải sạch, không có sai lệch và không có dữ liệu giả.
Các mô hình Machine Learning yêu cầu lượng dữ liệu đủ lớn để "huấn luyện" và đánh giá mô hình. Trước đây, các thuật toán Machine Learning thiếu quyền truy cập vào một lượng lớn dữ liệu cần thiết để mô hình hóa các mối quan hệ giữa các dữ liệu. Sự tăng trưởng trong dữ liệu lớn (big data) đã cung cấp các thuật toán Machine Learning với đủ dữ liệu để cải thiện độ chính xác của mô hình và dự đoán. Các thuật toán và ứng của học máy (Machine Learning) Có 2 loại Machine Learning chính bao gồm học có giám sát (supervised learning) và học không giám sát (unsupervised learning).
Học có giám sát Trong học có giám sát, máy tính học cách mô hình hóa các mối quan hệ dựa trên dữ liệu được gán nhãn (labeled data). Sau khi tìm hiểu cách tốt nhất để mô hình hóa các mối quan hệ cho dữ liệu được gắn nhãn, các thuật toán được huấn luyện được sử dụng cho các bộ dữ liệu mới. Ứng dụng của kĩ thuật học có giám sát: Xác định tín hiệu hay biến số tốt nhất để dự báo lợi nhuận trong tương lai của cổ phiếu hoặc dự đoán xu hướng thị trường chứng khoán. 4 Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I Học không giám sát Trong học không giám sát, máy tính không được cung cấp dữ liệu được dán nhãn mà thay vào đó chỉ được cung cấp dữ liệu mà thuật toán tìm cách mô tả dữ liệu và cấu trúc của chúng.
Ứng dụng của học không giám sát: Phân loại các công ty thành các nhóm công ty tương đồng dựa trên đặc điểm của chúng thay vì sử dụng tiêu chuẩn của các nhóm ngành hoặc các quốc gia. Hồi quy tuyến tính trong học máy Trong học máy, các chương trình máy tính gọi là thuật toán phân tích các tập dữ liệu lớn và làm việc ngược từ dữ liệu đó để tính toán phương trình hồi quy tuyến tính. Các nhà khoa học dữ liệu đầu tiên sẽ đào tạo thuật toán trên các tập dữ liệu đã biết hoặc được dán nhãn và sau đó sử dụng thuật toán để dự đoán các giá trị chưa biết. Dữ liệu thực tế phức tạp hơn so với ví dụ trước.
Đó là lý do tại sao phân tích hồi quy tuyến tính phải sửa đổi hoặc biến đổi các giá trị dữ liệu về mặt toán học để đáp ứng bốn giả định sau đây. Mối quan hệ tuyến tính Mối quan hệ tuyến tính phải tồn tại giữa các biến độc lập và phụ thuộc. Để xác định mối quan hệ này, các nhà khoa học dữ liệu tạo ra một biểu đồ phân tán – một tập hợp ngẫu nhiên các giá trị x và y – để xem liệu chúng có nằm trên một đường thẳng hay không. Nếu không, bạn có thể áp dụng các hàm phi tuyến tính như căn bậc hai hoặc log để tạo ra mối quan hệ tuyến tính giữa hai biến về mặt toán học.
Phần dư độc lập Các nhà khoa học dữ liệu sử dụng phần dư để đo lường độ chính xác dự đoán. Phần dư là chênh lệch giữa dữ liệu quan sát được và giá trị dự đoán. Phần dư không được có một mô hình nhận dạng được giữa chúng. Ví dụ: nếu không 5 Do Van Hung 20206283 – MI2-01 K65 ĐỒ ÁN I muốn phần dư tăng lên theo thời gian.
Chúng ta có thể sử dụng các bài kiểm tra toán học khác nhau, như kiểm tra Durbin-Watson, để xác định phần dư độc lập. Chúng ta có thể sử dụng dữ liệu giả để thay thế bất kỳ dữ liệu biến thiên nào, chẳng hạn như dữ liệu theo mùa. Tính chuẩn Các kỹ thuật vẽ đồ thị như các biểu đồ Q-Q xác định xem các phần dư có phân bố bình thường hay không. Các phần dư sẽ nằm dọc theo một đường chéo ở trung tâm của đồ thị.
Nếu phần dư không được chuẩn hóa, có thể kiểm tra dữ liệu cho các điểm ngoại lai ngẫu nhiên hoặc các giá trị không phải là điển hình. Loại bỏ các điểm ngoại lai hoặc thực hiện phép biến đổi phi tuyến tính có thể khắc phục sự cố. Phương sai không đổi Phương sai không đổi giả định rằng phần dư có phương sai cố định hoặc độ lệch chuẩn so với trung bình cho mọi giá trị của x. Nếu không, kết quả phân tích có thể không chính xác.
Nếu giả định này chưa được đáp ứng, có thể phải thay đổi biến phụ thuộc. Bởi vì phương sai xuất hiện tự nhiên trong các tập dữ liệu lớn, giải thích được lý do phải thay đổi quy mô của biến phụ thuộc.