Dự Đoán Giá Bất Động Sản Bằng Phương Pháp Học Máy

Trong bối cảnh công nghệ thông tin phát triển vượt bậc, đặc biệt là 'cuộc cách mạng dữ… 73 trang · National University, Hanoi International School · 2024.

• Tác giả: Nguyen Thi Thuy Dung
• Người hướng dẫn: Dr. Truong Cong Doan
• Trường học: National University, Hanoi International School
• Chuyên ngành: Management Information System
• Đề tài: Dự Đoán Giá Bất Động Sản Bằng Phương Pháp Học Máy
• Loại tài liệu: graduation project
• Năm xuất bản: 2024
• Địa điểm: Hanoi

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• DECLARATION
• LIST OF ACRONYMS
• LIST OF TABLES
• LIST OF FIGURES
• 2. CHAPTER II: MATERIAL AND METHODS
• 2.1. Introduction to Data
• 2.2. Why use Kaggle for data science research
• 2.3. What is the data?
• 2.4. About Machine Learning
• 2.5. Workflow in Machine Learning
• 2.6. Machine Learning Methods
• 2.7. Common Algorithms of Machine Learning
• 2.8. Support Vector Regression (SVM)
• 2.9. Practical Applications of Machine Learning
• 2.10. Data Source and Data Preparation
• 2.11. Difference Between Machine Learning and Deep Learning
• 2.12. Why Machine Learning?
• 2.13. Tools used in the problem
• 2.14. How to tune the model
• 3. CHAPTER III: RESULTS
• 3.1. Solving the problem
• 3.2. Results of model improvement
• 4. CHAPTER IV: CONCLUSIONS AND DEVELOPMENT DIRECTIONS
• 4.1. Reasons for choosing a topic
• 4.2. Research Objectives
• 4.3. Research Mission
• 4.4. Scope of study
• 4.5. Object of study
• 4.6. Research Methodology
• 4.6.1. Methods of theoretical analysis and synthesis
• 4.6.2. Theoretical analysis method
• 4.6.3. Theoretical synthesis method
• 4.7. Structure of the thesis
• 4.7.1. Chapter I: Introduction
• 4.7.2. Chapter II: Materials and methods
• 4.7.3. Chapter III: Results of the problem
• 4.7.4. Chapter IV: Achieved results
• 4.7.5. Chapter V: Conclusion and development direction
• 1. CHAPTER I: INTRODUCTION
• 1.1. Overview of real estate, artificial intelligence and application of artificial intelligence in real estate business
• 1.1.1. Real Estate
• 1.1.1.1. Property classification
• 1.1.1.2. Property characteristics
• 1.1.1.3. Real estate value and factors affecting real estate
• 1.1.2. Artificial intelligence and application of artificial intelligence in real estate business
• 1.1.2.1. Artificial Intelligence Notion
• 1.1.2.2. Application of AI in real estate business
• 1.1.3. Real estate prediction problem

Tóm tắt

I. Tổng Quan Cách Dự Đoán Giá Bất Động Sản Bằng Học Máy

Trong bối cảnh công nghệ thông tin phát triển vượt bậc, đặc biệt là 'cuộc cách mạng dữ liệu', máy tính đã trở thành một phần không thể thiếu trong cuộc sống. Học máy (ML), một nhánh của trí tuệ nhân tạo (AI), tập trung vào việc xây dựng các mô hình dự đoán từ dữ liệu. Các thuật toán và phương pháp trong lĩnh vực này giúp phân tích và hiểu các mẫu dữ liệu để đưa ra dự đoán hoặc quyết định mà không cần sự can thiệp trực tiếp của con người. Ứng dụng của học máy trong lĩnh vực bất động sản, đặc biệt là dự báo giá, đóng một vai trò quan trọng trong việc đưa ra quyết định mua, bán hoặc đầu tư. Dự báo giá bất động sản không chỉ giúp cá nhân và doanh nghiệp định giá chính xác tài sản mà còn giúp dự đoán xu hướng thị trường, tạo ra các chiến lược kinh doanh hiệu quả. Theo tài liệu gốc, 'ML focuses on building predictive models from data. Algorithms and methods in this field help analyze and understand data patterns to make predictions or decisions without direct human intervention.'

1.1. Tại Sao Dự Đoán Giá Bất Động Sản Lại Quan Trọng

Dự đoán giá bất động sản đóng vai trò then chốt cho nhiều đối tượng khác nhau. Nhà đầu tư cần dự đoán chính xác để đưa ra quyết định đầu tư thông minh, tối ưu hóa lợi nhuận từ thị trường bất động sản. Người mua và người bán cần thông tin chính xác để tránh mua hớ hoặc bán rẻ. Chính phủ và các nhà quản lý cần thông tin để giám sát và điều chỉnh thị trường, đảm bảo tính ổn định và công bằng. Việc tham gia các cuộc thi hoặc dự án dự báo giá bất động sản trên các nền tảng như Kaggle mang lại nhiều lợi ích. Kaggle cung cấp một bộ dữ liệu đa dạng và phong phú từ nhiều nguồn khác nhau, hỗ trợ nghiên cứu và phát triển các mô hình dự báo đáng tin cậy. Kaggle là một cộng đồng lớn các nhà khoa học dữ liệu, kỹ sư machine learning và các chuyên gia AI, cung cấp cơ hội học hỏi và trao đổi kinh nghiệm.

1.2. Mục Tiêu Nghiên Cứu Dự Đoán Giá Bất Động Sản Chính Xác

Mục tiêu chính của dự án là nghiên cứu và áp dụng các phương pháp học máy để dự đoán giá bất động sản một cách chính xác và hiệu quả. Điều này không chỉ cải thiện khả năng dự đoán, mà còn hỗ trợ các nhà đầu tư, doanh nghiệp và tổ chức tài chính trong việc đưa ra các quyết định chiến lược, giảm thiểu rủi ro và tối đa hóa lợi nhuận. Cụ thể, các mục tiêu nghiên cứu của dự án bao gồm: Phân tích và chuẩn bị dữ liệu bất động sản, xây dựng mô hình ML để dự đoán giá trị bất động sản, đánh giá hiệu quả của các mô hình và so sánh chúng, đề xuất mô hình dự đoán giá bất động sản chính xác nhất và áp dụng mô hình vào thực tiễn. Theo tài liệu gốc, 'The main goal of the project is to research and apply machine learning methods to predict real estate prices accurately and effectively.'

II. Thách Thức Các Yếu Tố Ảnh Hưởng Đến Giá Bất Động Sản

Giá bất động sản chịu ảnh hưởng của nhiều yếu tố khác nhau, từ vị trí địa lý, diện tích, tiện ích xung quanh đến tình hình kinh tế vĩ mô và chính sách của chính phủ. Việc xác định và lượng hóa chính xác các yếu tố này là một thách thức lớn trong quá trình xây dựng mô hình dự đoán. Ngoài ra, dữ liệu bất động sản thường không đầy đủ, có nhiều giá trị bị thiếu hoặc không chính xác, đòi hỏi các phương pháp tiền xử lý dữ liệu hiệu quả. Bài toán dự đoán giá bất động sản cũng đối mặt với sự biến động của thị trường, các yếu tố bất ngờ như khủng hoảng kinh tế, dịch bệnh có thể làm thay đổi đáng kể giá bất động sản, khiến mô hình dự đoán trở nên kém chính xác. Do đó, việc xây dựng một mô hình dự đoán giá bất động sản hiệu quả đòi hỏi sự kết hợp giữa kiến thức chuyên môn về bất động sản và các kỹ thuật phân tích dữ liệu tiên tiến.

2.1. Dữ Liệu Bất Động Sản Thu Thập Làm Sạch và Tiền Xử Lý

Để xây dựng một mô hình dự đoán giá bất động sản chính xác, việc thu thập dữ liệu từ nhiều nguồn khác nhau là rất quan trọng. Các nguồn dữ liệu có thể bao gồm các trang web bất động sản, cơ quan chính phủ, tổ chức thương mại và công ty bất động sản. Dữ liệu thu thập được có thể bao gồm thông tin về giá bán/cho thuê, diện tích, vị trí địa lý, tiện ích xung quanh, loại hình bất động sản, năm xây dựng và các yếu tố khác ảnh hưởng đến giá. Sau khi thu thập, dữ liệu cần được làm sạch để loại bỏ các giá trị bị thiếu, dữ liệu ngoại lai và các lỗi khác. Sau đó, dữ liệu cần được tiền xử lý để chuyển đổi sang định dạng phù hợp với các thuật toán machine learning.

2.2. Chọn Lọc Đặc Trưng Các Biến Số Quan Trọng Trong Dự Đoán

Việc chọn lọc các đặc trưng quan trọng là một bước quan trọng trong quá trình xây dựng mô hình dự đoán giá bất động sản. Các đặc trưng quan trọng có thể bao gồm vị trí địa lý, diện tích, số phòng ngủ, số phòng tắm, tình trạng bất động sản, tiện ích xung quanh và các yếu tố kinh tế vĩ mô. Việc chọn lọc các đặc trưng phù hợp có thể giúp cải thiện độ chính xác của mô hình dự đoán. Các phương pháp chọn lọc đặc trưng có thể bao gồm phân tích tương quan, phân tích tầm quan trọng của đặc trưng và các phương pháp dựa trên thuật toán machine learning.

III. Phương Pháp Thuật Toán Dự Đoán Giá Bất Động Sản Hiệu Quả

Có nhiều thuật toán học máy có thể được sử dụng để dự đoán giá bất động sản, mỗi thuật toán có những ưu điểm và nhược điểm riêng. Các thuật toán phổ biến bao gồm hồi quy tuyến tính, cây quyết định, rừng ngẫu nhiên, máy học vectơ hỗ trợ và mạng nơ-ron. Hồi quy tuyến tính là một thuật toán đơn giản và dễ hiểu, phù hợp với các bài toán có mối quan hệ tuyến tính giữa các đặc trưng và giá bất động sản. Cây quyết định và rừng ngẫu nhiên là các thuật toán mạnh mẽ, có thể xử lý các mối quan hệ phi tuyến tính và tương tác giữa các đặc trưng. Máy học vectơ hỗ trợ là một thuật toán hiệu quả trong việc xử lý dữ liệu có số chiều cao và mạng nơ-ron là một thuật toán mạnh mẽ, có thể học các biểu diễn phức tạp của dữ liệu.

3.1. Hồi Quy Tuyến Tính Phân Tích Mối Quan Hệ Giá và Các Yếu Tố

Phân tích hồi quy bất động sản với hồi quy tuyến tính là một phương pháp thống kê để mô hình hóa mối quan hệ giữa một biến phụ thuộc (giá bất động sản) và một hoặc nhiều biến độc lập (các yếu tố ảnh hưởng đến giá). Mô hình hồi quy tuyến tính giả định rằng có một mối quan hệ tuyến tính giữa các biến, và mục tiêu là tìm ra đường thẳng phù hợp nhất với dữ liệu. Các hệ số hồi quy cho biết mức độ ảnh hưởng của mỗi biến độc lập đến biến phụ thuộc. Mặc dù đơn giản, hồi quy tuyến tính cung cấp một cái nhìn tổng quan về mối quan hệ giữa giá và các yếu tố khác, làm cơ sở cho việc xây dựng các mô hình phức tạp hơn.

3.2. Rừng Ngẫu Nhiên Xây Dựng Mô Hình Dự Đoán Mạnh Mẽ

Rừng ngẫu nhiên là một thuật toán machine learning dựa trên việc xây dựng nhiều cây quyết định và kết hợp kết quả dự đoán của chúng. Mỗi cây quyết định được huấn luyện trên một tập con ngẫu nhiên của dữ liệu và sử dụng một tập con ngẫu nhiên của các đặc trưng. Điều này giúp giảm thiểu hiện tượng quá khớp và cải thiện khả năng tổng quát hóa của mô hình. Rừng ngẫu nhiên có khả năng xử lý các mối quan hệ phi tuyến tính và tương tác giữa các đặc trưng, đồng thời cung cấp thông tin về tầm quan trọng của mỗi đặc trưng trong việc dự đoán giá bất động sản. Do đó, rừng ngẫu nhiên là một lựa chọn phổ biến cho bài toán dự đoán giá bất động sản.

IV. Ứng Dụng Mô Hình Dự Đoán Giá Nhà Bằng Machine Learning

Các mô hình dự đoán giá bất động sản có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ định giá bất động sản, đầu tư bất động sản đến quản lý bất động sản. Trong lĩnh vực định giá, mô hình có thể giúp định giá bất động sản một cách khách quan và chính xác, hỗ trợ các giao dịch mua bán, cho thuê. Trong lĩnh vực đầu tư, mô hình có thể giúp nhà đầu tư đánh giá tiềm năng sinh lời của các dự án bất động sản, đưa ra quyết định đầu tư thông minh. Trong lĩnh vực quản lý, mô hình có thể giúp quản lý bất động sản dự đoán nhu cầu thuê, điều chỉnh giá thuê phù hợp, tối ưu hóa doanh thu.

4.1. Học Máy Trong Định Giá Bất Động Sản Nâng Cao Độ Chính Xác

Học máy trong định giá bất động sản mang lại nhiều lợi ích so với các phương pháp định giá truyền thống. Các mô hình machine learning có thể xử lý lượng lớn dữ liệu từ nhiều nguồn khác nhau, bao gồm thông tin về bất động sản, thị trường, kinh tế và xã hội. Các mô hình này có thể học các mối quan hệ phức tạp giữa các yếu tố và giá bất động sản, đưa ra dự đoán chính xác hơn. Ngoài ra, các mô hình machine learning có thể được cập nhật liên tục với dữ liệu mới, giúp duy trì độ chính xác của dự đoán.

4.2. Ứng Dụng Machine Learning Trong Bất Động Sản Các Case Study Thực Tế

Có nhiều case study thực tế về việc ứng dụng machine learning trong lĩnh vực bất động sản. Một số công ty đã sử dụng các mô hình dự đoán giá bất động sản để định giá tài sản, giúp khách hàng đưa ra quyết định mua bán thông minh. Các công ty khác đã sử dụng các mô hình này để phân tích thị trường, xác định các cơ hội đầu tư tiềm năng. Ngoài ra, các mô hình machine learning còn được sử dụng để quản lý bất động sản, dự đoán nhu cầu thuê và tối ưu hóa giá thuê. Những ứng dụng này chứng minh tiềm năng to lớn của machine learning trong việc thay đổi cách thức hoạt động của ngành bất động sản.

V. Kết Luận Tiềm Năng Phát Triển Của Dự Đoán Giá BĐS

Việc sử dụng học máy để dự đoán giá bất động sản mang lại nhiều tiềm năng phát triển trong tương lai. Với sự phát triển của công nghệ và sự gia tăng của lượng dữ liệu, các mô hình dự đoán sẽ ngày càng trở nên chính xác và hiệu quả hơn. Các nhà nghiên cứu có thể tập trung vào việc phát triển các thuật toán mới, tích hợp thêm các nguồn dữ liệu mới và áp dụng các kỹ thuật phân tích dữ liệu tiên tiến. Ngoài ra, việc giải quyết các thách thức như dữ liệu không đầy đủ, biến động thị trường và tính minh bạch của mô hình sẽ giúp tăng cường sự tin cậy và khả năng ứng dụng của các mô hình dự đoán giá bất động sản.

5.1. Dự Báo Giá Nhà Đất Bằng AI Xu Hướng và Triển Vọng Tương Lai

Dự báo giá nhà đất bằng AI đang trở thành một xu hướng ngày càng phổ biến trong ngành bất động sản. Với sự phát triển của các thuật toán machine learning và sự gia tăng của lượng dữ liệu, các mô hình dự đoán sẽ ngày càng trở nên chính xác và hiệu quả hơn. Trong tương lai, chúng ta có thể thấy sự xuất hiện của các công cụ dự đoán giá bất động sản dựa trên AI, giúp người mua, người bán và nhà đầu tư đưa ra quyết định thông minh hơn. Tuy nhiên, cũng cần lưu ý rằng việc sử dụng AI trong dự báo giá bất động sản cần được thực hiện một cách có trách nhiệm và minh bạch, đảm bảo tính công bằng và tránh các tác động tiêu cực đến thị trường.

5.2. Hướng Nghiên Cứu Mới Tích Hợp Dữ Liệu và Thuật Toán Tiên Tiến

Trong tương lai, các nghiên cứu về dự đoán giá bất động sản bằng machine learning có thể tập trung vào việc tích hợp thêm các nguồn dữ liệu mới, chẳng hạn như dữ liệu về môi trường, khí hậu, giao thông và các yếu tố xã hội. Việc sử dụng các thuật toán tiên tiến hơn, chẳng hạn như deep learning và reinforcement learning, cũng có thể giúp cải thiện độ chính xác của mô hình. Ngoài ra, việc phát triển các mô hình có khả năng giải thích kết quả dự đoán một cách dễ hiểu sẽ giúp tăng cường sự tin cậy và khả năng ứng dụng của chúng. Các nghiên cứu cũng có thể tập trung vào việc giải quyết các thách thức như dữ liệu không đầy đủ, biến động thị trường và tính minh bạch của mô hình.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh sự bùng nổ của công nghệ thông tin và làn sóng cách mạng dữ liệu số, việc khai thác và phân tích khối lượng dữ liệu khổng lồ đã trở thành nhu cầu thiết yếu trong nhiều lĩnh vực kinh tế - xã hội. Lĩnh vực bất động sản đóng vai trò quan trọng trong nền kinh tế, đóng góp đáng kể vào Tổng sản phẩm quốc nội (GDP) của các quốc gia. Tuy nhiên, giá trị bất động sản thường xuyên biến động phức tạp và chịu sự chi phối của hàng loạt yếu tố đa chiều như vị trí địa lý, diện tích, quy hoạch pháp lý và hệ thống tiện ích xung quanh.

Khóa luận tốt nghiệp "Applying Machine Learning Methods to Predict Real Estate Prices" (Ứng dụng các phương pháp học máy để dự đoán giá bất động sản) do sinh viên Nguyễn Thị Thùy Dung, ngành Hệ thống Thông tin Quản lý (MIS), Trường Quốc tế – Đại học Quốc gia Hà Nội thực hiện dưới sự hướng dẫn của TS. Trương Công Đoàn. Nghiên cứu xuất phát từ nhu cầu thực tiễn của thị trường nhằm cung cấp công cụ định giá tự động và hỗ trợ ra quyết định cho ba nhóm đối tượng chính:

1. Nhà đầu tư: Hỗ trợ đưa ra các quyết định đầu tư chính xác và tối ưu hóa lợi nhuận.
2. Người mua và người bán: Giúp người mua tránh tình trạng mua giá quá cao so với giá trị thực và hỗ trợ người bán định giá tài sản hợp lý.
3. Cơ quan quản lý nhà nước: Cung cấp thông tin theo dõi, giám sát và điều tiết nhằm duy trì sự ổn định, minh bạch của thị trường.

Mục tiêu nghiên cứu

Đề tài xác định 5 mục tiêu cụ thể:

1. Phân tích và chuẩn bị dữ liệu bất động sản: Xử lý làm sạch các giá trị khuyết thiếu (missing values), loại bỏ dị biệt, chuẩn hóa dữ liệu phù hợp với yêu cầu đầu vào của mô hình học máy.
2. Xây dựng các mô hình học máy dự đoán giá trị bất động sản: Áp dụng các thuật toán học máy phổ biến như Hồi quy tuyến tính (Linear Regression), Cây quyết định (Decision Tree), Rừng ngẫu nhiên (Random Forest), Hồi quy vector hỗ trợ (Support Vector Regression - SVM/SVR) và Mạng nơ-ron nhân tạo (ANN); thử nghiệm và tinh chỉnh siêu tham số.
3. Đánh giá và so sánh hiệu quả giữa các mô hình: Sử dụng các chỉ số sai số tuyệt đối trung bình (MAE), sai số bình phương trung bình (MSE) và hệ số xác định ($R^2$), kết hợp quy trình kiểm định chéo (Cross-Validation) để đánh giá độ ổn định và khả năng tổng quát hóa.
4. Đề xuất mô hình tối ưu: Lựa chọn mô hình hoặc phương pháp kết hợp mô hình có hiệu năng dự báo tốt nhất để khuyến nghị ứng dụng thực tế.
5. Ứng dụng mô hình vào thực tiễn: Định hướng xây dựng công cụ/hệ thống phần mềm trực tuyến hỗ trợ người dùng nhập thông tin bất động sản và nhận kết quả dự báo tức thì; tổ chức tập huấn và thu thập phản hồi để cải tiến mô hình.

Nhiệm vụ nghiên cứu

Để hoàn thành các mục tiêu trên, tác giả đề ra 6 nhóm nhiệm vụ khoa học:

1. Thu thập và tổng hợp dữ liệu giao dịch bất động sản từ các nguồn uy tín, nền tảng dữ liệu trực tuyến.
2. Tiền xử lý, chuẩn hóa dữ liệu, mã hóa biến phân loại (one-hot encoding), chuẩn hóa biến số và trích xuất đặc trưng (feature extraction).
3. Lựa chọn thuật toán, huấn luyện mô hình và tối ưu hóa siêu tham số bằng các kỹ thuật tinh chỉnh.
4. Đánh giá, so sánh độ chính xác và sai số của các thuật toán trên tập kiểm thử.
5. Đề xuất mô hình hiệu quả nhất và phác thảo giải pháp triển khai hệ thống phần mềm.
6. Đề xuất định hướng mở rộng nghiên cứu trong tương lai (thử nghiệm thuật toán học sâu, tích hợp thêm các yếu tố kinh tế vĩ mô, chính sách nhà ở).

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các phương pháp học máy (Machine Learning) áp dụng cho bài toán hồi quy dự đoán giá bất động sản dựa trên các thuộc tính vật lý, vị trí, tiện ích và thông tin thuế.
• Phạm vi dữ liệu và không gian: Nghiên cứu sử dụng tập dữ liệu giao dịch bất động sản thực tế từ cuộc thi Zillow Prize: Zillow’s Home Value Prediction (Zestimate) trên nền tảng Kaggle, bao gồm dữ liệu thuộc tính nhà ở (Properties_2016.csv) và dữ liệu giao dịch (train_2016.csv) tại 3 hạt thuộc bang California, Hoa Kỳ (Los Angeles, Orange, Ventura) trong năm 2016. Đề tài cũng liên hệ phạm vi mở rộng sang các thị trường khác như New York hoặc TP. Hồ Chí Minh trong phần phân tích và định hướng ứng dụng.

---

Cơ sở lý thuyết và phương pháp

Cơ sở lý thuyết

Nghiên cứu hệ thống hóa các khái niệm nền tảng về Trí tuệ nhân tạo (AI) và Học máy (ML):

• Trí tuệ nhân tạo (AI): Được phân chia thành AI hẹp (Narrow AI), AI tổng quát (Strong/General AI) và Siêu trí tuệ (Superintelligent AI). Trong bất động sản, AI được ứng dụng vào phân tích thị trường, tự động hóa thủ tục, quản lý tài sản và dự đoán giá.
• Phân loại học máy: Nghiên cứu phân định rõ bốn nhánh học máy chính:
  • Học có giám sát (Supervised Learning): Áp dụng trực tiếp cho bài toán dự báo giá nhà (bài toán hồi quy với biến đầu ra liên tục).
  • Học không giám sát (Unsupervised Learning): Khám phá cấu trúc và phân cụm dữ liệu chưa gán nhãn.
  • Học bán giám sát (Semi-supervised Learning): Kết hợp dữ liệu có nhãn và không có nhãn để tối ưu chi phí gán nhãn.
  • Học tăng cường (Reinforcement Learning): Tương tác môi trường theo quá trình quyết định Markov (MDP) để tối đa hóa phần thưởng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng kết hợp các phương pháp luận:

1. Phương pháp phân tích và tổng hợp lý thuyết: Phân tích các tài liệu học thuật về thuật toán hồi quy, xử lý dữ liệu lớn, sau đó tổng hợp thành khung phương pháp luận áp dụng cho dữ liệu bất động sản.
2. Quy trình thực nghiệm học máy chuẩn 5 bước:
   • Bước 1 - Thu thập dữ liệu: Tải và tích hợp bộ dữ liệu từ Kaggle.
   • Bước 2 - Tiền xử lý dữ liệu: Xử lý giá trị khuyết thiếu bằng trung bình/trung vị, chuẩn hóa thang đo, mã hóa one-hot, phân tích ma trận tương quan (Heatmap).
   • Bước 3 - Huấn luyện mô hình: Áp dụng các thuật toán hồi quy.
   • Bước 4 - Đánh giá mô hình: Sử dụng các thang đo sai số hồi quy chuyên dụng.
   • Bước 5 - Cải tiến & Tinh chỉnh: Sử dụng Grid Search, Random Search, Bayesian Optimization kết hợp K-fold Cross-Validation.

Thuật toán và công cụ sử dụng

• Các thuật toán học máy trọng tâm:
  • Hồi quy tuyến tính (Linear Regression): Mô hình hóa mối quan hệ tuyến tính giữa biến phụ thuộc và các biến độc lập, cung cấp công thức toán học tường minh.
  • Cây quyết định (Decision Tree): Cấu trúc phân cấp theo luật quyết định, dễ diễn giải dữ liệu dạng hộp trắng (white-box).
  • Rừng ngẫu nhiên (Random Forest): Kỹ thuật học kết hợp (ensemble) gồm nhiều cây quyết định độc lập nhằm giảm thiểu hiện tượng quá khớp (overfitting) và tăng cường độ ổn định.
  • Hồi quy vector hỗ trợ (Support Vector Regression - SVM/SVR): Tìm siêu phẳng tối ưu trong không gian nhiều chiều, có khả năng xử lý dữ liệu phi tuyến qua hàm kernel.
• Công cụ và thư viện lập trình: Ngôn ngữ Python cùng hệ sinh thái khoa học dữ liệu:
  • Scikit-learn: Xây dựng mô hình, tiền xử lý, tinh chỉnh tham số và đánh giá.
  • Pandas & NumPy: Xử lý cấu trúc dữ liệu Series/DataFrame, tính toán đại số tuyến tính và ma trận.
  • Matplotlib & Seaborn: Trực quan hóa phân phối dữ liệu, biểu đồ ma trận tương quan (Heatmap).

---

Nội dung chính theo từng chương

Chương I: Giới thiệu (Introduction)

Chương I thiết lập nền tảng tổng quan về bất động sản, trí tuệ nhân tạo và vai trò của việc kết hợp hai lĩnh vực:

• Khái niệm và đặc trưng bất động sản: Phân tích 4 đặc tính cố hữu gồm tính cố định vị trí (location fixation), độ bền vững (durability), tính khan hiếm (scarcity), và tính độc nhất (uniqueness).
• Phân loại bất động sản: Chia thành 4 nhóm chính gồm bất động sản nhà ở (residential), thương mại (commercial), công nghiệp (industrial) và nông nghiệp (agricultural).
• Yếu tố ảnh hưởng đến giá trị: Vị trí, quy mô diện tích, tình trạng pháp lý, tiện ích xung quanh và cung cầu thị trường.
• Ứng dụng AI trong kinh doanh bất động sản: Tự động hóa định giá, phân tích xu hướng thị trường, tối ưu hóa quy trình giao dịch qua hợp đồng và thẩm định tín dụng, nâng cao trải nghiệm khách hàng qua chatbot.

Chương II: Dữ liệu và phương pháp nghiên cứu (Material and Methods)

Chương II là phần trọng tâm về kỹ thuật và phương pháp luận của khóa luận:

• Giới thiệu nền tảng Kaggle: Phân tích lợi thế của Kaggle về nguồn dữ liệu thực tế (>50.000 bộ dữ liệu), mã nguồn mẫu dưới dạng Jupyter Notebook, các khóa học ứng dụng và môi trường thi đấu thuật toán.
• Mô tả tập dữ liệu Zillow Prize 2016: Chi tiết hóa các trường thông tin trong bảng Properties_2016.csv và tập giao dịch train_2016.csv. Biến mục tiêu là logerror được xác định theo công thức:

$$\text{logerror} = \log(\text{Zestimate}) - \log(\text{SalePrice})$$

Bảng tổng hợp một số thuộc tính quan trọng trong tập dữ liệu:

Tên thuộc tính	Mô tả đặc trưng
parcelid	Mã định danh duy nhất cho từng thửa đất
calculatedfinishedsquarefeet	Tổng diện tích sàn hoàn thiện tính toán của ngôi nhà
bedroomcnt / bathroomcnt	Số lượng phòng ngủ / Số lượng phòng tắm
buildingqualitytypeid	Đánh giá tổng thể chất lượng công trình
yearbuilt	Năm xây dựng công trình chính
lotsizesquarefeet	Tổng diện tích thửa đất tính bằng feet vuông
taxvaluedollarcnt	Tổng giá trị định giá tính thuế của thửa đất
taxamount	Tổng số thuế tài sản phát sinh trong năm đánh giá
latitude / longitude	Tọa độ vĩ độ và kinh độ của thửa đất

• Phân tích tương quan (Heatmap): Chỉ ra mối tương quan tuyến tính rất cao giữa một số cặp biến diện tích như finishedsquarefeet13 với finishedsquarefeet15, hoặc yardbuildingsqft17 với yardbuildingsqft26.
• So sánh Học máy (ML) và Học sâu (Deep Learning):

Tiêu chí	Học máy (Machine Learning)	Học sâu (Deep Learning)
Sự can thiệp của con người	Cần can thiệp nhiều ở khâu trích xuất đặc trưng	Tự học biểu diễn đặc trưng, ít can thiệp thủ công
Yêu cầu phần cứng & tài nguyên	Thuật toán ít phức tạp, chạy tốt trên máy tính tiêu chuẩn	Đòi hỏi phần cứng chuyên dụng (GPU/TPU) và dữ liệu rất lớn
Đặc điểm dữ liệu	Phù hợp với dữ liệu có cấu trúc, bảng biểu	Phù hợp với dữ liệu phi cấu trúc (ảnh, video, âm thanh)
Thời gian thiết lập	Thiết lập và huấn luyện nhanh	Thiết lập phức tạp, thời gian huấn luyện kéo dài

• Hệ thống chỉ số đánh giá mô hình:
  • Sai số tuyệt đối trung bình (MAE):

$$\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|$$

• Sai số bình phương trung bình (MSE):

$$\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$$

• Hệ số xác định ($R^2$):

$$R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}i)^2}{\sum{i=1}^{n} (y_i - \bar{y})^2}$$

• Kỹ thuật tinh chỉnh mô hình (Hyperparameter Tuning): Trình bày cơ chế của Grid Search, Random Search, Bayesian Optimization kết hợp với K-fold Cross-Validation nhằm tránh hiện tượng quá khớp và tối ưu hóa tham số mô hình.

Chương III: Kết quả nghiên cứu (Results)

Chương III trình bày quá trình giải quyết bài toán định giá cụ thể, việc áp dụng các thuật toán học có giám sát trên tập dữ liệu Zillow 2016, phân tích bảng kết quả tính toán sai số (Table 3 Math result) và đánh giá sự cải thiện hiệu năng sau khi áp dụng các kỹ thuật tiền xử lý và tinh chỉnh siêu tham số.

Chương IV: Kết luận và định hướng phát triển (Conclusions and Development Directions)

Tổng kết toàn bộ các kết quả đạt được từ việc nghiên cứu lý thuyết và thực nghiệm mô hình học máy; chỉ ra những bài học kinh nghiệm trong khâu xử lý dữ liệu bảng quy mô lớn và đề xuất các định hướng mở rộng nghiên cứu.

---

Kết quả và đóng góp

Kết quả chính

• Chuẩn hóa quy trình xử lý dữ liệu: Xây dựng hoàn chỉnh đường ống (pipeline) xử lý dữ liệu giao dịch bất động sản quy mô lớn từ Kaggle, bao gồm xử lý dữ liệu khuyết thiếu, chuẩn hóa các biến định lượng và mã hóa các biến phân loại.
• Thử nghiệm và đánh giá đa thuật toán: Triển khai và so sánh hiệu quả dự báo giữa các mô hình học máy gồm Linear Regression, Decision Tree, Random Forest và Support Vector Regression.
• Phân tích tương quan thuộc tính: Xác định được mức độ ảnh hưởng và tương quan giữa các đặc trưng diện tích, tiện ích và giá trị thuế đối với biến sai số mục tiêu (logerror).

Đóng góp của đề tài

• Về mặt học thuật: Cung cấp khung tài liệu chi tiết tổng hợp cơ sở lý thuyết từ các khái niệm cơ bản về AI/ML, phân loại học máy đến các công thức toán học của các chỉ số đánh giá mô hình hồi quy (MAE, MSE, $R^2$, Explained Variance).
• Về mặt ứng dụng: Đề xuất quy trình ứng dụng học máy vào bài toán định giá tài sản, tạo cơ sở để phát triển các công cụ hỗ trợ định giá tự động phục vụ các chủ thể tham gia thị trường bất động sản.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

• Giới hạn về phạm vi dữ liệu: Dữ liệu thực nghiệm tập trung vào các giao dịch năm 2016 tại ba hạt thuộc California (Los Angeles, Orange, Ventura), chưa bao quát được sự thay đổi của thị trường qua các năm gần đây hoặc tại các thị trường bất động sản có đặc thù khác.
• Đặc trưng dữ liệu: Dữ liệu chứa tỷ lệ giá trị khuyết thiếu cao ở nhiều cột thuộc tính, đòi hỏi phải áp dụng các giả định làm đầy dữ liệu có thể tạo ra sai số nhất định.
• Độ phức tạp thuật toán: Nghiên cứu chủ yếu tập trung vào các mô hình học máy truyền thống, chưa tích hợp sâu các kiến trúc mạng nơ-ron học sâu (Deep Neural Networks) cho dữ liệu phi cấu trúc.

Hướng phát triển tiếp theo

• Mở rộng không gian nghiên cứu: Thu thập và kiểm thử mô hình trên các tập dữ liệu tại các thị trường khác (như New York hoặc các đô thị tại Việt Nam).
• Thử nghiệm thuật toán nâng cao: Áp dụng các mô hình học sâu (Deep Learning) và các thuật toán học kết hợp tiên tiến để cải thiện độ chính xác dự báo.
• Tích hợp nguồn dữ liệu đa tầng: Bổ sung các biến số kinh tế vĩ mô, biến động lãi suất ngân hàng, chính sách quy hoạch nhà ở và cơ sở hạ tầng giao thông vào mô hình dự đoán.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho:

• Sinh viên ngành Hệ thống Thông tin Quản lý (MIS), Khoa học Dữ liệu và Công nghệ Thông tin: Nắm bắt quy trình thực hiện một đồ án học máy hoàn chỉnh từ khâu tiếp cận bài toán kinh doanh, tiền xử lý dữ liệu, xây dựng mô hình đến đánh giá kết quả.
• Người nghiên cứu về định giá bất động sản: Tham khảo bảng mô tả chi tiết các thuộc tính bất động sản theo chuẩn quốc tế (tập dữ liệu Zillow Prize) và cách tiếp cận bài toán dự báo biến sai số logerror.
• Lập trình viên và kỹ sư dữ liệu: Tham khảo cách thức ứng dụng các thư viện Python chuẩn (scikit-learn, pandas, numpy, seaborn) trong việc tiền xử lý và trực quan hóa dữ liệu bảng.

---

Câu hỏi thường gặp

1. Đề tài sử dụng tập dữ liệu nào và biến mục tiêu cần dự đoán là gì?

Đề tài sử dụng bộ dữ liệu Zillow Prize: Zillow’s Home Value Prediction từ nền tảng Kaggle năm 2016, bao gồm thông tin bất động sản tại ba hạt Los Angeles, Orange và Ventura (California). Biến mục tiêu là logerror, được tính bằng hiệu giữa logarit của giá trị Zestimate (giá Zillow dự đoán) và logarit của giá bán thực tế:

$$\text{logerror} = \log(\text{Zestimate}) - \log(\text{SalePrice})$$

2. Các thuật toán học máy nào được phân tích và áp dụng trong khóa luận?

Nghiên cứu tập trung vào các thuật toán học có giám sát phục vụ bài toán hồi quy gồm: Hồi quy tuyến tính (Linear Regression), Cây quyết định (Decision Tree), Rừng ngẫu nhiên (Random Forest) và Hồi quy vector hỗ trợ (Support Vector Regression - SVM/SVR), cùng tổng quan về Mạng nơ-ron nhân tạo (ANN).

3. Những chỉ số nào được sử dụng để đánh giá hiệu năng mô hình hồi quy trong đề tài?

Tác giả sử dụng các chỉ số đo lường sai số và độ khớp hồi quy gồm: Sai số tuyệt đối trung bình (MAE), Sai số bình phương trung bình (MSE), Hệ số xác định ($R^2$) và Phương sai giải thích (Explained Variance).

4. Tác giả đề xuất những phương pháp nào để tinh chỉnh siêu tham số mô hình?

Khóa luận trình bày 3 kỹ thuật tìm kiếm siêu tham số gồm Grid Search (tìm kiếm theo lưới), Random Search (tìm kiếm ngẫu nhiên), và Bayesian Optimization (tối ưu hóa Bayes), kết hợp cùng kỹ thuật kiểm định chéo K-fold (K-fold Cross-Validation) và Leave-One-Out (LOOCV).

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Thị Thùy Dung đã hệ thống hóa cơ sở lý luận về trí tuệ nhân tạo và học máy ứng dụng trong lĩnh vực bất động sản. Thông qua việc phân tích tập dữ liệu Zillow Prize 2016 trên nền tảng Kaggle bằng ngôn ngữ Python, nghiên cứu đã làm rõ quy trình tiền xử lý dữ liệu bảng, xây dựng và so sánh hiệu quả của các mô hình hồi quy phổ biến. Đây là công trình nghiên cứu nghiêm túc, cung cấp tài liệu tham khảo có giá trị học thuật và thực tiễn cho sinh viên chuyên ngành Hệ thống Thông tin Quản lý và các nhà nghiên cứu trong lĩnh vực ứng dụng khoa học dữ liệu vào kinh tế.

Trích đoạn nội dung tài liệu

NATIONAL UNIVERSITY, HANOI INTERNATIONAL SCHOOL GRADUATION PROJECT PROJECT NAME: APPLYING MACHINE LEARNING METHODS TO PREDICT REAL ESTATE PRICES Student’s name : Nguyen Thi Thuy Dung Hanoi – 2024 VIETNAM NATIONAL UNIVERSITY, HANOI INTERNATIONAL SCHOOL GRADUATION PROJECT PROJECT NAME: APPLYING MACHINE LEARNING METHODS TO PREDICT REAL ESTATE PRICES SUPERVISOR: DR. TRUONG CONG DOAN STUDENT: NGUYEN THI THUY DUNG STUDENT ID: 20070687 COHORT: QH2020 SUBJECT CODE: INS401101 MAJOR: MIS ( Management Information System ) Hanoi – 2024 2 ACKNOWLEDGEMENTS First, I would like to thank the Board of Directors of the International School - Hanoi National University for creating a good environment for me to study and acquire valuable knowledge over the years. I would like to express my deep gratitude to teacher Dr.Truong Cong Doan for enthusiastically guiding, orienting, and supporting me throughout the process of completing my graduation thesis, helping me approach the way of thinking, solving and presenting a problem that needs research. These things have helped me overcome my own limitations and difficulties to complete my thesis successfully and on time.

I also send my sincere thanks to the teachers at the school, especially the teachers in the Faculty of Technology and Applied Sciences for teaching me during my time studying at the school. With the knowledge and lessons learned, it will help you be more confident in work, life and future goals. I would also like to thank my family, relatives, colleagues and friends for their constant care and encouragement; Thank you teacher Dr. Truong Cong Doan for sharing your experiences and providing useful materials during your studies and research as well as throughout the process of completing your graduation thesis.

Although I tried to complete the thesis with all my efforts and abilities, there are certainly still many limitations and shortcomings. I hope to receive sympathy and valuable suggestions from teachers and friends. Hanoi, 17th June 2024 Dung Nguyen Thi Thuy Dung DECLARATION I hereby declare that the knowledge presented in this thesis was researched, researched and presented by me. During the process of writing my thesis, I consulted relevant documents and clearly stated the source of those references.

The new results in the thesis are my own, not copied from any other work. If there is anything dishonest, I take full responsibility. Student 4 LIST OF ACRONYMS Acronyms Meaning MAE Mean Absolute Error MSE Mean Squared Error SVM Support Vector Regression AL Artificial Intelligence ML Machine Learning GDP Gross Domestic Product FN False Negative FP False Positive TN True Negative TP True Positive ME Max Error DL Deep Learning 5 LIST OF TABLES Table no. Figure name Table 1 Data set Properties_2016 Table 2 Compare ML and DL Table 3 Math result LIST OF FIGURES Figure no.

Figure name Figure 1 Introduction Figure 2 Kaggle Figure 3 Heatmap Figure 4 Machine Learning Figure 5 Model Figure 6 Model Supervised Learning Figure 7 Model Unsupervised Learning Figure 8 Model Semi-supervised Learning Figure 9 Model Reinforcement Learning Figure 10 Model Random Forest Figure 11 Model Linear Regression Figure 12 Model Decision Tree Figure 13 Model SVM Figure 14 Model Practical Applications of Machine Learning Figure 15 Compare Machine Learning and Deep Learning Figure 16 Matplotlib Library Figure 17 Series and Dataframes in Pandas Figure 18 Training Phase Figure 19 Missing Values 6 TABLE OF CONTENTS ACKNOWLEDGEMENTS. 4 LIST OF ACRONYMS. 5 LIST OF TABLES. 15 CHAPTER II : MATERIAL AND METHODS.

Introduction to Data. Why use Kaggle for data science research. What is the data?. About Machine Learning.

Workflow in Machine Learning. Machine Learning Methods. Common Algorithms of Machine Learning. Support Vector Regression (SVM).

Practical Applications of Machine Learning. Data Source and Data Preparation. Difference Between Machine Learning and Deep Learning. Why Machine Learning ?.

Tools used in the problem. How to tune the model. 51 CHAPTER III: RESULTS. Solving the problem.

Results of model improvement. 67 CHAPTER IV: CONCLUSIONS AND DEVELOPMENT DIRECTIONS. Reasons for choosing a topic In the context of the continuous development of information technology, especially the "data revolution", computers have become an indispensable part of people's lives.