Chương 1 – GIỚI THIỆU ĐỀ TÀI: trình bày tổng quan về đề tài, giới thiệu bài toán dự đoán, cũng như mục tiêu, nhiệm vụ, giới hạn và phạm vi của đề tài. Cuối cùng là đóng góp của luận văn và cấu trúc phần trình bày báo cáo của luận văn. - Chương 2 – CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: trình bày một cách tổng quát về những nghiên cứu liên quan đã và đang được thực hiện bài toán dự đoán. - Chương 3 – CƠ SỞ LÝ THUYẾT: học viên phân tích các yếu tố ảnh hưởng tới giá nhà, sau đó trình bày các lý thuyết liên quan để giải bài toán học máy gồm các bước chung giải quyết bài toán dự đoán và tổng quan các thuật toán được sử dụng.
- Chương 4 – PHÂN TÍCH VÀ DỰ ĐOÁN GIÁ: phần này học viên giới thiệu về tập dữ liệu, trình bày phương pháp xử lý tập dữ liệu, pipeline dự đoán giá và đánh giá kết quả đạt được dựa vào chỉ số RMSE. - Chương 5 – ĐỀ XUẤT CẢI THIỆN MÔ HÌNH: học viên trình bày hai đề xuất để cải thiện chỉ số RMSE, thực nghiệm giải phải đề xuất và đánh giá kết quả đạt được. - Chương 6 – KẾT LUẬN: tổng hợp các kết quả đạt được trong quá trình thực hiện luận văn từ bước nghiên cứu và xây dựng giả thuyết đến triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, cuối cùng đề xuất các giải pháp cải tiến trong tương lai.
Mục lục, Danh sách hình vẽ, Danh sách bảng được cung cấp ở đầu luận văn. Tài liệu tham khảo và phần Phụ lục được trình bày ở cuối luận văn. 6 CHƯƠNG 2 CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Thị trường bđs nói chung và giá nhà đất nói riêng là một trong những vấn đề được cả cá nhân, doanh nghiệp và các nhà quản lý hành chính nhà nước quan tâm. Việc dự đoán giá bất động sản vì thế mà thu hút nhiều nghiên cứu từ lĩnh vực kinh tế lượng (econometric) và gần đây là lĩnh vực trí tuệ nhân tạo.
Trong lĩnh vực kinh tế lượng, các mô hình thống kê (statistical models) thường được sử dụng để dự đoán xu hướng kinh tế và tài chính theo chuỗi thời gian (time series). Một vài mô hình cơ bản như Autoregressive, Vector Autoregressive, Vector Error Correction approaches, và một vài biến thể khác được sử dụng rộng rãi với nhiều mục đích khác nhau. Ví dụ, The Autoregressive Integrated Moving Average (ARIMA) là một mô hình thống kê dùng để dự báo theo thời gian, và thường được sử dụng như là một mô hình nền (baseline) để dự đoán giá nhà. Gần đây, với sự phát triển của lĩnh vực trí tuệ nhân tạo, nhiều nhà nghiên cứu đã ứng dụng vào dự đoán giá nhà.
Nhiều kỹ thuật học máy truyền thống được sử dụng như Support Vector Regression (SVR), Regression Tree, Random Forest (RF), và các kỹ thuật tổng hợp - Ensemble Methods. Bên cạnh đó, cũng có một vài nhà nghiên cứu áp dụng mạng nơ-ron - Neural Network (NN) để dự đoán và đưa ra kết quả khá tốt. Đối với tập dữ liệu, các nhà nghiên cứu đa số sử dụng dữ liệu đầu vào là các đặc điểm chính của ngôi nhà như loại nhà, năm xây dựng, vị trí, diện tích, số tầng, số phòng ngủ, số phòng tắm, …Bên cạnh đó, cũng có một vài nhà nghiên cứu còn kết hợp sử dụng với các yếu tố khác có thể ảnh hưởng tới giá nhà như tổng sản phẩm quốc nội (GDP), tổng sản lượng quốc gia (GNP), chỉ số giá tiêu dùng (CPI), chỉ số thị trường chứng khoán, lãi suất, tỷ lệ vỡ nợ (default rate) và tỷ lệ thất nghiệp. Nhìn chung, kết quả dự đoán mà các thuật toán học máy đưa ra có kết quả tốt với sai số ở mức có thể chấp nhận được.
Việc sử dụng các thuật toán học máy để dự đoán giá nhà nhìn chung có thể chia làm 3 giai đoạn phát triển, từ dùng các phương pháp học máy cổ điển, tiếp đến là dùng 7 các kỹ thuật tổng hợp, tăng cường để tăng độ chính xác cho mô hình, và gần nhất là dùng mạng nơ-ron nhân tạo.1: Các phương pháp để giải quyết bài toán dự đoán giá nhà 2. Phương pháp hồi quy tuyến tính Phương pháp hồi quy tuyến tính (Linear Regression – LR) là phương pháp sớm nhất được sử dụng để dự đoán giá nhà. Phương pháp này dựa vào giả sử rằng các đặc điểm của ngôi nhà như diện tích, số lầu, số phòng ngủ, số phòng tắm,… có mối quan hệ tuyến tính với giá của ngôi nhà. Ưu điểm của mô hình này là đơn giản, dễ dàng giải thích được mức độ ảnh hưởng của các thuộc tính độc lập lên thuộc tính phụ thuộc, và thường được sử dụng như một mô hình nền để so sánh với các mô hình phức tạp hơn.
Tuy nhiên, do giả sử mối quan hệ tuyến tính nên mô hình này sẽ không hoạt động tốt trên các tập dữ liệu có mối quan hệ phức tạp. Satish [1] sử dụng một vài thuật toán như LR, hồi quy LASSO, Gradient Boosting Algorithm (GBA) để dự đoán giá nhà trên tập 89412 giao dịch mua bán nhà ở Los Angeles California và kết luận rằng hồi quy LASSO đưa ra kết quả dự đoán tốt nhất. Phương pháp tổng hợp và tăng cường Để tiếp tục cải thiện độ chính xác trong việc dự đoán giá nhà, các nhà nghiên cứu sử dụng các thuật toán tổng hợp như RandomForest (RF) và các thuật toán tăng cường như Gradient Boosting Machine (GBM). 8 RF là thuật toán kết hợp nhiều cây quyết định để thực hiện dự đoán.
Không giống như các mô hình hồi quy, cây quyết định không phụ thuộc vào giả sử quan hệ tuyến tính giữa thuộc tính độc lập và phụ thuộc. Tuy nhiên hạn chế của cây quyết định đó là quá khớp. RF sẽ giảm hạn chế trên bằng cách kết hợp nhiều cây quyết định với nhau giúp tổng quát hoá mô hình hơn. Mỗi cây quyết định được huấn luyện trên các tập con và đặc điểm ngẫu nhiên của tập dữ liệu.
Giá trị dự đoán là giá trị trung bình trên các nhánh cây. Wang and Wu [2] sử dụng tập dữ liệu gồm 27649 mẫu từ Airling- ton Virginia USA năm 2015 và kết luận rằng RF cho kết quả tốt hơn LR. Mohd [3], dựa vào một vài thông số kỹ thuật của căn nhà như số phòng ngủ, số tầng, tuổi của ngôi nhà, diện tích các tầng để dự đoán giá căn nhà. Họ sử dụng các thuật toán RF, cây quyết định, hồi quy Ridge, LN, hồi quy LASSO kết hợp với độ đo RMSE, họ kết luận RF là thuật toán thích hợp nhất cho tập dữ liệu của họ.
Rico-Juan và De La Paz (2021) [4] cũng đã kết luận rằng RF cho ra kết quả tốt hơn khi so sánh với AdaBoost, Cat- Boost, cây quyết định, hồi quy LASSO, hồi quy Ridge và XGBRegressor. Kỹ thuật tăng cường cũng thực hiện kết hợp nhiều cây để cải thiện độ chính xác của mô hình, tuy nhiên các cây được kết hợp theo thứ tự, và cây sau sửa lỗi sai của cây trước nó. Do phải huấn luyện lần lượt các mô hình con nên hạn chế lớn nhất của kỹ thuật này là tốn thời gian. Có nhiều thuật toán sử dụng kỹ thuật tăng cường như AdaBoost, XGBoost (eXtreme Gradient Boosting), LightGBM và CatBoost.
Các thuật toán này cho kết quả khá tốt trong việc dự đoán giá nhà so với các phương pháp trước đó. Yan và Zong (2020) [5] kết luận trong bài nghiên cứu của họ rằng XGBoost cho ra kết quả tốt hơn LN, RF, hồi quy Ridge, hồi quy LASSO. Nhóm tác giả [6] sử dụng các thuật toán Naive Bayesian, AdaBoost để dự đoán giá nhà. Kết luận họ đưa ra khẳng định rằng AdaBoost cho kết quả tốt hơn thuật toán còn lại áp dụng trên tập dữ liệu họ đang làm thí nghiệm townhouse.
Bên cạnh đó, Support Vector Machine (SVM) cũng được sử dụng cho bài toán dự đoán nhà. Mô hình này hoạt động tốt trên các tập dữ liệu có sự phân tách rõ ràng 9 giữa các mẫu và có thể xử lý dữ liệu nhiều chiều. Tuy nhiên, mô hình đòi hỏi tinh chỉnh cẩn thận siêu tham số và là một black-box. Li [7] đã sử dụng Support Vector Regression (SVR) để dự đoán giá nhà, dữ liệu được thu thập từ 1998 tới 2008.
Dựa trên các chỉ số đánh giá như MAE, MAPE và RMSE, Li kết luận rằng SVR là một thuật toán tốt để dự đoán giá nhà. Huang [8] so sánh giữa các thuật toán LN, cây quyết định, Boosting, RF, SVM và kết luận rằng SVM đưa ra kết quả dự đoán chính xác hơn. Ho (2021)[9] thì kết luận RF và Gradient Boosting Machine đánh bại thuật toán SVM. Các tác giả [10] sử dụng RF, XGBoost, LightGBM, Hybrid Regression Model, Stack Generalization Regression để dự đoán giá nhà trên tập dữ liệu ‘Housing Price in Bei- jing’.
Họ kết luận rằng Stacked Generalization Regression và Hybrid Regression đưa ra kết quả tốt hơn các thuật toán còn lại. Nhóm tác giả [11] đã sử dụng 3 thuật toán gồm SVM, RF và GBM để dự đoán giá nhà ở Hồng Kông. Tập dữ liệu gồm 40000 giao dịch nhà đất từ 2002-2020. Các chỉ số được dùng để đánh giá độ hiệu quả của thuật toán gồm có MSE, RMSE và MAPE.
Họ kết luận rằng thuật toán RF và GBM cho kết quả tốt hơn so với SVM, nhưng SVM là một thuật toán cho kết quả chấp nhận được với ràng buộc thời gian ngắn. Phương pháp dùng mạng nơ-ron nhân tạo Các mô hình nơ-ron nhân tạo gồm nhiều lớp nơ-ron nên có thể bắt (capture) được những mối quan hệ không tuyến tính trong tập dữ liệu. Có nhiều nhà nghiên cứu thực nghiệm chứng tỏ được sử cải thiện độ chính xác lớn khi dùng mô hình này. Tuy nhiên, những mô hình này đòi hỏi tập dữ liệu có kích thước lớn và tài nguyên tính toán.
Nghiep and AI [12] dự đoán giá nhà bằng cách sử dụng phân tích hồi quy đa biến (multiple regression analysis) và mạng nơ-ron nhân tạo (Artificial Neural Network). Kết quả cho thấy rằng ANN cho kết quả tốt hơn MRA khi kích thước tập dữ liệu lớn. Rotimi [13] thực hiện so sánh giữa Hedonic Pricing Model (HPM) và ANN trong việc dự đoán bất động sản. Nhóm tác giả kết luận rằng ANN dự đoán kết quả tốt hơn HPM.
Chỉ số MAPE của ANN là 15. 10 CHƯƠNG 3 CƠ SỞ LÝ THUYẾT 3. Tổng quan quá trình giải bài toán học máy Để giải bài toán học máy thường sẽ phải đi qua một vài bước chính, từ xác định bài toán, thu thập dữ liệu, xử lý dữ liệu, phân tích xử liệu, lựa chọn đặc trưng, chọn lựa mô hình, huấn luyện mô hình, đánh giá mô hình và tinh chỉnh mô hình.1 thể hiện các bước đã trình bày ở trên.