Ứng Dụng Học Máy Để Dự Đoán Giá Nhà Nguyên Căn Tại Việt Nam

Dự đoán giá nhà nguyên căn tại Việt Nam đang trở thành một vấn đề nóng hổi trong bối cảnh thị trường bất… 69 trang · Học viện Chính sách và Phát triển · 2023.

• Tác giả: Phan Quốc Huy
• Người hướng dẫn: TS. Nguyễn Hữu Xuân Trường
• Trường học: Học viện Chính sách và Phát triển
• Chuyên ngành: Phân tích dữ liệu lớn trong kinh tế và kinh doanh
• Đề tài: Ứng Dụng Học Máy Trong Dự Đoán Giá Nhà Nguyên Căn Tại Việt Nam
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Về lý thuyết
• 1.3. Về thực nghiệm
• 1.4. Đối tượng và phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 1.6. Kết cấu khoá luận
• 2. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ HỌC MÁY VÀ MÔ HÌNH HỒI QUY DỰ ĐOÁN
• 2.1. Tổng quan học máy
• 2.1.1. Học máy là gì?
• 2.1.2. Các kỹ thuật trong học máy
• 2.1.2.1. Học có giám sát (Supervised learning)
• 2.1.2.2. Học không giám sát (Unsupervised learning)
• 2.1.2.3. Học bán giám sát (Semi-supervised learning)
• 2.1.3. Sự quan trọng của học máy
• 2.1.4. Ứng dụng của học máy
• 2.2. Mô hình hồi quy
• 2.2.1. Mô hình hồi quy là gì?
• 2.2.2. Các kỹ thuật sử dụng trong mô hình hồi quy
• 2.2.3. Quy trình xây dựng hồi quy dữ liệu
• 2.2.4. Ứng dụng của mô hình hồi quy
• 2.2.5. Giới thiệu về bài toán dự đoán giá nhà
• 3. CHƯƠNG 2: DỰ ĐOÁN GIÁ NHÀ BẰNG MÔ HÌNH HỒI QUY
• 3.1. Các bước thực hiện bài toán dự đoán giá nhà
• 3.2. Chuẩn bị dữ liệu
• 3.2.1. Mô tả dữ liệu
• 3.2.2. Công cụ sử dụng để cào dữ liệu
• 3.2.3. Quy trình cạo dữ liệu
• 3.2.4. Làm sạch dữ liệu
• 3.2.5. Phân tích khám phá dữ liệu
• 3.3. Xây dựng mô hình hồi quy
• 3.3.1. Quy trình huấn luyện mô hình
• 3.3.2. Đánh giá mô hình huấn luyện
• 3.4. Thực nghiệm mô hình hồi quy
• 3.4.1. Mô hình hồi quy LinearRegression
• 3.4.2. Mô hình hồi quy RandomForestRegressor
• 3.4.3. Mô hình hồi quy Ridge
• 3.4.4. Mô hình hồi quy DecisionTree
• 3.4.5. Mô hình hồi quy XGB
• 3.4.6. Mô hình hồi quy Support Vector Regression
• 4. CHƯƠNG 3: ĐÁNH GIÁ, ĐỀ XUẤT ỨNG DỤNG NHẰM NÂNG CAO KHẢ NĂNG DỰ ĐOÁN
• 4.1. Đánh giá bài toán dự đoán giá nhà
• 4.1.1. Những vấn đề còn tồn đọng
• 4.1.2. Hướng giải quyết
• 4.2. Đề xuất ứng dụng dự đoán giá nhà
• 4.2.1. Những điểm mới mà ứng dụng dự đoán giá nhà mang lại
• 4.2.2. Đề xuất một số ứng dụng dự đoán giá nhà đang được sử dụng hiện nay
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Dự Đoán Giá Nhà Nguyên Căn Tại Việt Nam

Dự đoán giá nhà nguyên căn tại Việt Nam đang trở thành một vấn đề nóng hổi trong bối cảnh thị trường bất động sản phát triển mạnh mẽ. Với sự gia tăng dân số và nhu cầu về nhà ở, việc xác định giá trị chính xác của nhà nguyên căn là rất cần thiết. Học máy đã trở thành một công cụ hữu ích trong việc phân tích và dự đoán giá nhà, giúp người mua và người bán có cái nhìn rõ ràng hơn về thị trường.

1.1. Tại Sao Dự Đoán Giá Nhà Là Quan Trọng

Dự đoán giá nhà giúp người mua có thể đưa ra quyết định thông minh hơn. Nó cũng hỗ trợ người bán trong việc định giá hợp lý cho căn nhà của mình. Việc sử dụng học máy trong dự đoán giá nhà giúp tối ưu hóa quy trình này.

1.2. Tình Hình Thị Trường Bất Động Sản Tại Việt Nam

Thị trường bất động sản tại Việt Nam đang chứng kiến sự tăng trưởng mạnh mẽ. Tuy nhiên, giá nhà cũng đang bị ảnh hưởng bởi nhiều yếu tố như lạm phát, chi phí xây dựng và nhu cầu thực tế từ người dân.

II. Thách Thức Trong Dự Đoán Giá Nhà Nguyên Căn

Mặc dù có nhiều công cụ và phương pháp để dự đoán giá nhà, nhưng vẫn tồn tại nhiều thách thức. Các yếu tố như vị trí, diện tích, và tình trạng của căn nhà đều ảnh hưởng đến giá trị của nó. Hơn nữa, dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến những dự đoán sai lệch.

2.1. Các Yếu Tố Ảnh Hưởng Đến Giá Nhà

Giá nhà bị ảnh hưởng bởi nhiều yếu tố như vị trí địa lý, diện tích, số phòng ngủ, và tình trạng của căn nhà. Những yếu tố này cần được xem xét kỹ lưỡng trong quá trình dự đoán.

2.2. Vấn Đề Về Dữ Liệu Trong Dự Đoán

Dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến những sai sót trong dự đoán giá nhà. Việc thu thập và làm sạch dữ liệu là rất quan trọng để đảm bảo tính chính xác của mô hình.

III. Phương Pháp Dự Đoán Giá Nhà Bằng Học Máy

Học máy cung cấp nhiều phương pháp để dự đoán giá nhà, từ hồi quy tuyến tính đến các mô hình phức tạp hơn như Random Forest và XGBoost. Mỗi phương pháp có ưu và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Mô Hình Hồi Quy Tuyến Tính

Mô hình hồi quy tuyến tính là một trong những phương pháp đơn giản nhất để dự đoán giá nhà. Nó giúp xác định mối quan hệ giữa giá nhà và các yếu tố ảnh hưởng.

3.2. Mô Hình Random Forest

Mô hình Random Forest là một phương pháp mạnh mẽ hơn, sử dụng nhiều cây quyết định để cải thiện độ chính xác của dự đoán. Nó có khả năng xử lý dữ liệu lớn và phức tạp.

3.3. Mô Hình XGBoost

XGBoost là một trong những thuật toán học máy tiên tiến nhất hiện nay. Nó được sử dụng rộng rãi trong các cuộc thi dự đoán và có khả năng tối ưu hóa hiệu suất dự đoán.

IV. Ứng Dụng Thực Tiễn Của Dự Đoán Giá Nhà

Việc ứng dụng học máy trong dự đoán giá nhà không chỉ giúp người mua và người bán mà còn hỗ trợ các nhà đầu tư và các công ty bất động sản trong việc ra quyết định. Các mô hình dự đoán có thể cung cấp thông tin giá trị về xu hướng thị trường.

4.1. Hỗ Trợ Người Mua Nhà

Người mua nhà có thể sử dụng các mô hình dự đoán để tìm kiếm căn nhà phù hợp với ngân sách của mình. Điều này giúp tiết kiệm thời gian và công sức trong quá trình tìm kiếm.

4.2. Hỗ Trợ Người Bán Nhà

Người bán có thể tham khảo giá trị dự đoán để định giá căn nhà của mình một cách hợp lý. Điều này giúp tăng khả năng bán được nhà trong thời gian ngắn.

V. Kết Luận Về Dự Đoán Giá Nhà Nguyên Căn Tại Việt Nam

Dự đoán giá nhà nguyên căn bằng học máy là một lĩnh vực đầy tiềm năng tại Việt Nam. Với sự phát triển của công nghệ và nhu cầu ngày càng cao về nhà ở, việc ứng dụng học máy trong lĩnh vực này sẽ ngày càng trở nên quan trọng. Tương lai của dự đoán giá nhà sẽ phụ thuộc vào việc cải thiện chất lượng dữ liệu và phát triển các mô hình học máy tiên tiến hơn.

5.1. Tương Lai Của Dự Đoán Giá Nhà

Tương lai của dự đoán giá nhà sẽ được định hình bởi sự phát triển của công nghệ và nhu cầu thị trường. Các mô hình học máy sẽ ngày càng trở nên chính xác hơn và dễ dàng áp dụng hơn.

5.2. Khuyến Nghị Đối Với Các Nhà Đầu Tư

Các nhà đầu tư nên chú ý đến việc sử dụng các mô hình dự đoán giá nhà để đưa ra quyết định đầu tư thông minh. Việc nắm bắt thông tin thị trường sẽ giúp tối ưu hóa lợi nhuận.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp được thực hiện trong bối cảnh quá trình đô thị hóa tại Việt Nam diễn ra nhanh chóng, đi kèm với sự gia tăng dân số tập trung tại các vùng đô thị lớn. Theo dữ liệu được tác giả trích dẫn tại thời điểm nghiên cứu năm 2023, dân số Việt Nam đã vượt ngưỡng 100 triệu người, trong đó khoảng 40% dân số sinh sống tại khu vực thành thị và 60% tại khu vực nông thôn. Mật độ dân số bình quân cả nước đạt trên 320 người/km², đặc biệt tại hai đô thị trung tâm là Hà Nội và Thành phố Hồ Chí Minh, mật độ dân số ghi nhận ở mức trên 2.000 người/km², cao gấp 8 đến 9 lần mức trung bình toàn quốc. Sự hình thành của các khu đô thị mới, khu chế xuất và khu công nghiệp làm gia tăng nhu cầu định cư dài hạn của người dân.

Trong phân khúc nhà ở, tác giả phân tích xu hướng người tiêu dùng có xu hướng lựa chọn mua nhà nguyên căn thay vì căn hộ chung cư xuất phát từ các yếu tố: giảm thiểu rủi ro sự cố vận hành kỹ thuật (như thang máy), không chịu sự ràng buộc từ chủ đầu tư hoặc ban quản lý tòa nhà, tiết kiệm chi phí gửi xe định kỳ, đồng thời bảo đảm tính ổn định lâu dài và quyền tự do cải tạo, sửa chữa kết cấu không gian. Tuy nhiên, dưới áp lực của lạm phát, chi phí nguyên vật liệu, giá đất, nhân công, thủ tục pháp lý, lãi suất vay và hiện tượng đầu cơ bất động sản, mặt bằng giá nhà bị đẩy lên cao. Mặt khác, giá nhà nguyên căn có sự biến động phức tạp phụ thuộc vào các đặc tính vật lý như diện tích, kích thước mặt tiền, số tầng, số lượng phòng ngủ và công trình vệ sinh. Thực trạng này đặt ra yêu cầu xây dựng các hệ thống tự động hóa nhằm ước tính khoảng giá hợp lý cho thị trường.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được tác giả xác định cụ thể theo hai nhóm:

1. Về mặt lý thuyết:

• Nghiên cứu cơ sở lý luận cơ bản liên quan đến thị trường bất động sản, trọng tâm là phân khúc nhà ở.
• Hệ thống hóa nền tảng lý thuyết về học máy (Machine Learning), các mô hình hồi quy và cơ chế ứng dụng thuật toán học máy trong bài toán dự đoán giá nhà nguyên căn.
• Xác lập quy trình thu thập và tiền xử lý dữ liệu trước khi đưa vào huấn luyện mô hình.
• Phân tích các yếu tố tác động dẫn đến sự biến động của kết quả dự đoán.

2. Về mặt thực nghiệm:

• Thu thập và xử lý bộ dữ liệu thực tế từ các chuyên trang giao dịch bất động sản trực tuyến.
• Ứng dụng ngôn ngữ lập trình Python và hệ sinh thái thư viện dữ liệu để xây dựng quy trình phân tích khoa học.
• Huấn luyện các thuật toán hồi quy nhằm dự đoán giá trị định lượng của nhà nguyên căn.
• Đề xuất các khuyến nghị thực tiễn hỗ trợ người mua và người bán tham khảo khoảng giá giao dịch.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình ứng dụng công cụ Python và các thuật toán học máy nhằm xây dựng mô hình dự đoán giá nhà nguyên căn.
• Phạm vi không gian và nguồn dữ liệu: Dữ liệu bài đăng bán nhà nguyên căn trên lãnh thổ Việt Nam được trích xuất trực tiếp từ hai cổng thông tin điện tử: dothi.net và nhadat24h.net.
• Phạm vi thời gian: Các thông tin giao dịch được thu thập trong giai đoạn tháng 4 và tháng 5 năm 2023.

Cơ sở lý thuyết và phương pháp nghiên cứu

Về khung lý thuyết, khóa luận tiếp cận bài toán dự đoán giá nhà dưới góc độ bài toán hồi quy thuộc nhánh học máy có giám sát (Supervised Learning). Nghiên cứu tổng quan ba nhánh chính của học máy bao gồm: học có giám sát (sử dụng dữ liệu gán nhãn nhằm tối ưu hóa tiêu chí phân loại hoặc dự đoán liên tục), học không giám sát (Unsupervised Learning - phân tích dữ liệu không gán nhãn để tìm cấu trúc hoặc phân cụm qua K-means, Gaussian Mixture, phân cụm phân cấp, PCA/T-SNE), và học bán giám sát (Semi-supervised Learning - kết hợp tập nhỏ dữ liệu gán nhãn với tập lớn dữ liệu chưa gán nhãn).

Trong phạm vi kỹ thuật hồi quy phục vụ dự đoán giá trị liên tục, tác giả hệ thống hóa cơ chế toán học của 7 thuật toán:

• Hồi quy tuyến tính (Linear Regression): Xác định đường thẳng khớp nhất dựa trên phương pháp bình phương nhỏ nhất (Ordinary Least Squares - OLS) với phương trình dạng $y = b_0 + b_1x$.
• Hồi quy đa thức (Polynomial Regression): Mô hình hóa quan hệ phi tuyến giữa các biến độc lập và biến phụ thuộc bằng đa thức bậc $n$ qua ma trận nghịch đảo và chuyển vị.
• Hồi quy Ridge (Ridge Regression): Áp dụng kỹ thuật chính quy hóa $L_2$ bằng cách bổ sung tham số phạt $\lambda I$ vào phương trình ma trận hệ số $\beta = (X'X + \lambda I)^{-1}X'y$, nhằm kiểm soát hiện tượng đa cộng tuyến và giảm thiểu nguy cơ quá khớp (overfitting).
• Hồi quy XGBoost (Extreme Gradient Boosting): Thuật toán tăng cường (boosting) dựa trên cây quyết định, tối ưu hóa liên tục hàm mất mát để xây dựng chuỗi cây sửa đổi sai số của các cây liền trước.
• Hồi quy vectơ hỗ trợ (Support Vector Regression - SVR): Tìm siêu phẳng tối ưu trong không gian đa chiều dựa trên hàm mất mát chứa tham số phạt $C$ và biên sai số $\varepsilon$, hỗ trợ cả hàm nhân (kernel) tuyến tính lẫn phi tuyến.
• Hồi quy cây quyết định (Decision Tree Regression): Phân tách không gian dữ liệu thành các tập con thông qua tiêu chí đo lường độ tinh khiết dựa trên sai số toàn phương hoặc sai số tuyệt đối.
• Hồi quy rừng ngẫu nhiên (Random Forest Regression): Kỹ thuật học kết hợp (ensemble learning) dựa trên cơ chế Bootstrap và Aggregation (Bagging), lấy mẫu ngẫu nhiên hàng và thuộc tính để xây dựng tập hợp nhiều cây quyết định độc lập, sau đó lấy giá trị trung bình đầu ra.

Về phương pháp nghiên cứu thực nghiệm:

• Phương pháp thu thập dữ liệu: Thiết lập chương trình cào dữ liệu tự động (web crawler) bằng Python, kết hợp thư viện requests_cache để tối ưu hóa bộ nhớ đệm HTTP, cấu trúc văn bản XML và cú pháp biểu thức XPath nhằm bóc tách thông tin từ mã nguồn web.
• Phương pháp tiền xử lý: Ghép nối tập dữ liệu thông qua hàm concat(), điền khuyết giá trị diện tích và giá bán bằng giá trị trung bình (mean), loại bỏ ngoại lai bằng hàm tùy biến BoxplotOutlierClipper(), và chuẩn hóa dữ liệu đầu vào bằng phương pháp điểm số chuẩn (Z-score).
• Phân chia tập dữ liệu: Phân bổ dữ liệu theo tỷ lệ 80% dành cho tập huấn luyện (training set) và 20% dành cho tập kiểm tra (testing set).
• Phương pháp đánh giá mô hình: Sử dụng ba chỉ số định lượng bao gồm Sai số toàn phương trung bình (Mean Squared Error - MSE), Sai số tuyệt đối trung bình (Mean Absolute Error - MAE) và Hệ số xác định ($R^2$ - Coefficient of Determination).

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết về học máy và mô hình hồi quy dự đoán

Chương 1 tập trung trình bày tổng quan về trí tuệ nhân tạo và học máy, làm rõ tầm quan trọng của các thuật toán trong việc tăng cường khả năng nhận dạng, tăng khả năng thích nghi và tận dụng năng lực tính toán của máy tính để xử lý dữ liệu lớn. Tác giả phân tích các lĩnh vực ứng dụng của học máy trong thực tế như tự động hóa công nghiệp, tài chính - ngân hàng, quản lý công dân, y tế, bán lẻ và vận tải.

Tiếp đó, chương này đi sâu vào định nghĩa mô hình hồi quy, phân loại và trình bày công thức toán học chi tiết của các kỹ thuật: Linear Regression, Polynomial Regression, Ridge Regression, XGBoost, Support Vector Regression, Decision Tree Regression và Random Forest Regression. Đồng thời, tác giả thiết lập quy trình chuẩn 7 bước xây dựng mô hình hồi quy (thu thập dữ liệu, tiền xử lý, lựa chọn mô hình, phân chia dữ liệu, huấn luyện, đánh giá và sử dụng) và giới thiệu tổng quan về cấu trúc bài toán dự đoán giá nhà dựa trên các biến thuộc tính thu thập từ mạng internet.

Chương 2: Dự đoán giá nhà bằng mô hình hồi quy

Chương 2 trình bày toàn bộ quy trình thực nghiệm dự đoán giá nhà nguyên căn. Quá trình thu thập dữ liệu được tiến hành qua 6 bước: gửi yêu cầu đến 2 website, nhận phản hồi XML, lưu trữ đường dẫn bài đăng vào file text, gửi yêu cầu thứ hai để trích xuất nội dung chi tiết bài rao, kiểm tra tính hợp lệ và làm sạch định dạng thừa/xuống dòng, cuối cùng xuất dữ liệu ra bảng tính. Tổng số lượng dữ liệu thu thập ban đầu đạt 3.488 bản ghi với 8 trường thuộc tính.

Trong khâu làm sạch dữ liệu, tác giả ghi nhận có 2 giá trị khuyết tại cột diện tích và 27 giá trị khuyết tại cột giá bán (do bài đăng ghi "không xác định" hoặc "thỏa thuận"); giải pháp xử lý là sử dụng giá trị trung bình để lấp đầy. Tác giả áp dụng hàm BoxplotOutlierClipper() để xử lý các điểm dữ liệu dị biệt. Sau khi làm sạch và loại bỏ ngoại lai, kích thước bộ dữ liệu được xác định lại (văn bản ghi nhận 1.411 bản ghi tại phần thuyết minh và 1.511 bản ghi tại bảng thống kê mô tả).

Phần phân tích khám phá dữ liệu (EDA) thực hiện khảo sát phân phối tần số các biến, lập ma trận hệ số tương quan và phân tích mối quan hệ giữa các biến:

• Số phòng ngủ thiết kế trên từng tầng lầu.
• Sự tương quan giữa diện tích căn nhà và mức giá bán.
• Kết quả ma trận tương quan cho thấy các thuộc tính phòng ngủ, nhà vệ sinh, số tầng và mặt tiền đều có mức độ liên kết chặt chẽ nhất đối với biến diện tích.

Quy trình huấn luyện được thực hiện sau khi chuẩn hóa Z-score và chia tỷ lệ 80/20. Tác giả tiến hành thực nghiệm và trực quan hóa tương quan giữa giá trị thực tế và giá trị dự đoán trên 6 mô hình hồi quy: LinearRegression, RandomForestRegressor, Ridge, DecisionTree, XGB, và Support Vector Regression.

Chương 3: Đánh giá, đề xuất ứng dụng nhằm nâng cao khả năng dự đoán

Chương 3 chỉ ra các vấn đề còn tồn đọng trong quá trình thực hiện bài toán, bao gồm sự phụ thuộc vào tính chuẩn xác của tin đăng trực tuyến, yếu tố định giá chủ quan của người bán gây nhiễu dữ liệu, và sự suy giảm số lượng mẫu sau khi xử lý ngoại lai. Hướng giải quyết được nêu ra gồm việc tự động hóa cập nhật dữ liệu định kỳ mỗi ngày, hoàn thiện quy trình lọc dữ liệu ngoại lai và mở rộng thêm các biến thuộc tính phản ánh thị trường.

Tác giả cũng trình bày điểm mới của việc ứng dụng học máy trong định giá bất động sản tự động tại Việt Nam, đồng thời điểm qua một số mô hình ứng dụng công nghệ định giá nhà ở đang được triển khai trên thực tế để định hướng phát triển trong tương lai.

Kết quả và đóng góp

Nghiên cứu đã xây dựng thành công bộ dữ liệu thực nghiệm về nhà nguyên căn tại Việt Nam từ hai nguồn thông tin trực tuyến, đồng thời lượng hóa được các đặc trưng vật lý của mẫu khảo sát sau khâu tiền xử lý.

Cấu trúc các trường dữ liệu ban đầu được tổng hợp trong bảng sau:

Tên cột	Ý nghĩa thuộc tính	Kiểu dữ liệu
date_submited	Ngày đăng bài viết	object
address	Địa chỉ căn nhà	object
room_number	Số phòng ngủ của căn nhà (Phòng)	int64
mat_tien	Chiều ngang mặt tiền căn nhà (M)	float64
so_tang	Số tầng/lầu của căn nhà (Tầng)	int64
toilet	Số phòng vệ sinh (Phòng)	int64
dien_tich	Diện tích căn nhà ($M^2$)	float64
price	Giá tham khảo của căn nhà (Triệu/Tỷ)	float64

Đặc trưng thống kê mô tả của các biến số định lượng sau khi xử lý ngoại lai (trích xuất theo Bảng 2 trong văn bản) được trình bày như sau:

Thuộc tính	Giá trị nhỏ nhất (Min)	Giá trị trung bình (Mean)	Giá trị lớn nhất (Max)
room_number (Phòng)	1,0	~3,0	5,0
mat_tien (Mét)	2,5	4,6	6,5
so_tang (Tầng)	1,0	3,0	9,0
toilet (Phòng)	1,0	~3,0	7,0
dien_tich ($M^2$)	3,0	56,4	119,0
price	1,0	~5,0	9,0

Về mặt thực nghiệm mô hình, tác giả hoàn thành việc cài đặt và kiểm thử 6 mô hình hồi quy (Linear Regression, Ridge, Decision Tree, Random Forest, XGBoost, SVR). Thông qua các biểu đồ phân tán biểu diễn mối quan hệ giữa giá trị thực tế và giá trị dự đoán, nghiên cứu ghi nhận mức độ phân tán sai số khác nhau giữa các thuật toán, khẳng định khả năng sử dụng các chỉ số MSE, MAE và $R^2$ làm tiêu chí định lượng để lựa chọn mô hình tối ưu.

Đóng góp của khóa luận do tác giả xác định gồm:

• Thiết lập hoàn chỉnh quy trình tự động thu thập và tiền xử lý dữ liệu nhà nguyên căn từ môi trường web tại thị trường Việt Nam.
• Cung cấp cơ sở thực nghiệm ứng dụng ngôn ngữ Python và các kỹ thuật học máy có giám sát vào lĩnh vực kinh tế số và thẩm định giá bất động sản.
• Đưa ra khung tham chiếu giá giúp người mua nhà giảm thiểu rủi ro mua sai giá trị và hỗ trợ người bán thiết lập khoảng giá niêm yết phù hợp.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi triển khai:

• Nguồn dữ liệu bị giới hạn trong phạm vi bài đăng từ hai website (dothi.net và nhadat24h.net) trong khoảng thời gian hẹp (tháng 4 - tháng 5/2023), chưa phản ánh toàn diện các biến động giá trong chu kỳ dài.
• Quy trình lọc ngoại lai bằng phương pháp phân vị hình hộp cắt bỏ một lượng đáng kể dữ liệu quan sát, làm giảm kích thước mẫu từ 3.488 bản ghi xuống khoảng 1.411 đến 1.511 bản ghi.
• Bộ thuộc tính dự đoán mới dừng lại ở 8 thông số cơ bản; thiếu các yếu tố định tính quan trọng như tình trạng pháp lý (sổ đỏ/sổ hồng), hướng nhà, chất lượng hoàn thiện công trình, lộ giới đường trước nhà và khoảng cách tới các tiện ích công cộng.
• Dữ liệu thu thập là giá chào bán trên tin đăng, có thể tồn tại độ lệch nhất định so với giá trị giao dịch thực tế được công chứng.

Hướng nghiên cứu tiếp theo được tác giả đề xuất:

• Mở rộng phạm vi cào dữ liệu từ nhiều nền tảng bất động sản trực tuyến khác để nâng cao dung lượng và tính đại diện của mẫu.
• Duy trì cơ chế thu thập dữ liệu tự động theo thời gian thực nhằm cập nhật các biến động giá theo từng giai đoạn thị trường.
• Bổ sung và tinh chỉnh các biến đầu vào, kết hợp kỹ thuật xử lý dữ liệu địa lý hoặc áp dụng các mô hình học máy nâng cao nhằm cải thiện chỉ số đánh giá sai số.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo hữu ích cho các nhóm đối tượng:

• Sinh viên và người nghiên cứu thuộc các chuyên ngành Kinh tế số, Phân tích dữ liệu lớn trong kinh tế và kinh doanh, Hệ thống thông tin quản lý, Khoa học dữ liệu và Kinh tế bất động sản.
• Người thực hiện đề tài tốt nghiệp hoặc dự án phân tích dữ liệu cần một quy trình mẫu về thu thập dữ liệu bằng công cụ cào web tự động (Web Scraping).

Các nội dung có giá trị tham khảo chuyên môn cao bao gồm:

• Quy trình thiết lập mã lệnh bóc tách dữ liệu thông qua cấu trúc XML và biểu thức truy vấn XPath phối hợp cùng thư viện requests_cache.
• Phương pháp tiền xử lý và loại bỏ giá trị dị biệt trong bất động sản thông qua hàm BoxplotOutlierClipper().
• Phương pháp thiết kế luồng thử nghiệm đối sánh đa mô hình hồi quy (Linear, Ridge, Tree-based, SVR) và áp dụng các chỉ số MSE, MAE, $R^2$ trong việc đánh giá hiệu năng bài toán hồi quy liên tục.

Câu hỏi thường gặp

1. Khóa luận sử dụng nguồn dữ liệu nào và quy mô thu thập ban đầu đạt bao nhiêu bản ghi?
Dữ liệu được thu thập tự động từ hai trang web rao bán bất động sản tại Việt Nam là dothi.net và nhadat24h.net trong khoảng tháng 4 đến tháng 5 năm 2023. Quy mô dữ liệu ban đầu đạt 3.488 bản ghi, gồm 1.388 bản ghi từ dothi.net và 2.100 bản ghi từ nhadat24h.net, phân bổ trên 8 trường thuộc tính.

2. Tác giả xử lý các trường hợp dữ liệu bị khuyết và dữ liệu ngoại lai bằng phương pháp nào?
Dữ liệu khuyết xuất hiện ở cột diện tích (2 giá trị) và cột giá bán (27 giá trị) do người đăng để trống hoặc ghi "thỏa thuận", "không xác định". Tác giả dùng hàm concat() để hợp nhất dữ liệu và thay thế các vị trí trống bằng giá trị trung bình (mean). Đối với dữ liệu ngoại lai, tác giả chuẩn hóa lại đơn vị và sử dụng hàm tự xây dựng BoxplotOutlierClipper() để cắt tỉa các điểm dị biệt trên từng cột thuộc tính.

3. Đặc trưng của một căn nhà nguyên căn trung bình trong tập dữ liệu sau xử lý là gì?
Theo bảng thống kê mô tả của tác giả, một căn nhà trung bình có diện tích khoảng 56,4 $m^2$, chiều rộng mặt tiền 4,6 m, kết cấu gồm 3 tầng lầu, 3 phòng ngủ, 3 phòng vệ sinh và mức giá tham khảo trung bình ở ngưỡng 5 đơn vị định lượng (tương ứng khoảng 5 tỷ đồng).

4. Khóa luận đã thử nghiệm những thuật toán hồi quy học máy nào?
Nghiên cứu đã xây dựng và thực nghiệm trên 6 mô hình hồi quy bao gồm: Hồi quy tuyến tính (LinearRegression), Hồi quy rừng ngẫu nhiên (RandomForestRegressor), Hồi quy Ridge (RidgeRegressor), Hồi quy cây quyết định (DecisionTreeRegressor), Hồi quy tăng cường độ dốc (XGBRegressor) và Hồi quy vectơ hỗ trợ (SupportVectorRegression).

5. Những chỉ số nào được lựa chọn để đánh giá độ chính xác của các mô hình hồi quy?
Hiệu năng dự đoán của các mô hình được đo lường dựa trên ba thước đo sai số tiêu chuẩn trong bài toán hồi quy: Sai số toàn phương trung bình (Mean Squared Error - MSE), Sai số tuyệt đối trung bình (Mean Absolute Error - MAE) và Hệ số xác định ($R^2$ - Coefficient of Determination).

Kết luận

Khóa luận tốt nghiệp của sinh viên Phan Quốc Huy đã nghiên cứu và triển khai ứng dụng các thuật toán học máy có giám sát vào bài toán dự đoán giá nhà nguyên căn tại thị trường Việt Nam. Tác giả đã thiết lập hoàn chỉnh quy trình xử lý dữ liệu từ khâu cào dữ liệu tự động trên hai trang web dothi.net và nhadat24h.net, làm sạch và khử ngoại lai, cho đến việc huấn luyện thực nghiệm 6 mô hình hồi quy tiêu biểu trên nền tảng ngôn ngữ Python. Nghiên cứu cung cấp một tài liệu tham khảo cụ thể về mặt phương pháp luận và kỹ thuật xử lý dữ liệu cho sinh viên ngành Kinh tế số và Phân tích dữ liệu lớn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ HỌC MÁY VÀ MÔ HÌNH HỒI QUY DỰ ĐOÁN 1.1 Tổng quan học máy Hình 1.1 Trí tuệ nhân tạo và học máy Nguồn: Sưu tầm Trong những năm gần đây, Trí Tuệ Nhân Tạo (AI-Artificial Intelligence) mà cụ thể hơn là Học Máy (ML – Machine Learning) ngày càng phát triển mạnh mẽ trong công cuộc cách mạng công nghiệp lần thứ tư. AI không ngừng len lỏi vào mọi lĩnh vực trong đời sống mà có thể chúng ta không nhận ra. Có thể kể đến như xe tự hành của VinFast và Tesla, hệ thống tự gắn khuôn mặt trong ảnh của Facebook, trợ lý ảo Siri của Apple, hệ thống gợi ý sản phẩm của Amazon, hệ thống gợi ý phim của Netflix, ChatGPT của OpenAI,. và tất cả sản phẩm công nghệ đó chỉ là một phần nhỏ mà những gì AI/ML mang lại.

Vậy học máy là gì và tại sao nó lại quan trọng đến thế? 1.1 Học máy là gì? Học máy hay Machine learning là một nhánh của trí tuệ nhân tạo (AI) và khoa học máy tính, được tập trung vào việc sử dụng dữ liệu và thuật toán để bắt chước hành động của con người, từ đó dần cải thiện mức độ chính xác của nó. 1 Ngoài ra, học máy còn là một thành phần quan trọng của lĩnh vực khoa học dữ liệu đang phát triển từ việc sử dụng các phương pháp thống kê, các thuật toán được đào tạo để đưa ra các phân loại hoặc dự đoán và khám phá những thông tin chi tiết từ chính các dự án khai thác dữ liệu. Thông qua đó, các thông tin chi tiết có được thúc đẩy việc đưa ra quyết định đối với các ứng dụng và doanh nghiệp, tác động mạnh đến các chỉ số tăng trưởng. Khi dữ liệu lớn tiếp tục nhu cầu mở rộng và phát triển thì việc đòi hỏi nhu cầu tuyển dụng các nhà khoa học dữ liệu sẽ tăng lên.

Họ sẽ được yêu cầu xác định các câu hỏi kinh doanh có liên quan nhất và dữ liệu để trả lời chúng. Bài toán của Machine Learning thường được chia làm ba thành phần chính như sau: Học có giám sát, học không giám giát và học bán giám sát. Các thuật toán học máy có thể được sử dụng để giải quyết các vấn đề như phân loại, dự đoán, nhận dạng và gợi ý,… 1.2 Các kỹ thuật trong học máy Học máy được phân chia thành ba kỹ thuật chính như sau: a) Học có giám sát (Supervised learning) Học có giám sát (Supervised learning) còn được gọi là máy học có giám sát, được định nghĩa bằng cách sử dụng các tập dữ liệu được gắn nhãn để huấn luyện các thuật toán phân loại dữ liệu hoặc dự đoán kết quả một cách chính xác. Một số ứng dụng tiêu biểu của học máy có giám sát chẳng hạn như phân loại thư rác, dự đoán giá nhà, dự đoán giá xe, nhận dạng chữ viết tay, nhận dạng khuôn mặt,.

Các phương pháp được sử dụng trong học máy có giám sát là Cây quyết định (Decision Tree), Rừng ngẫu nhiên (Random Forest), Navie Bayes, hồi quy tuyến tính, hồi quy logistic, thuật toán SVM,…  Ưu điểm: Học có giám sát cho phép thu thập dữ liệu và tạo ra dữ liệu đầu ra từ những kinh nghiệm trước đó. Giúp tối ưu hóa các tiêu chí hiệu 2 suất với sự trợ giúp của kinh nghiệm và giúp giải quyết nhiều vấn đề trong thực tế  Nhược điểm: Việc đào tạo các mô hình giải quyết bài toàn cho học có giám sát cần rất nguồn lực và thời gian để có thể tính toán việc này đòi hỏi rất nhiều thời gian.