Ứng dụng Machine Learning và Thuật toán vào Thẩm định Giá Bất động sản - Đồ án Đại học

• Tác giả: Nguyễn Chí Thành
• Người hướng dẫn: ThS. Trần Anh Dũng
• Trường học: Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Công nghệ Phần mềm
• Đề tài: Tìm hiểu về machine learning và ứng dụng vào thẩm định giá cả
• Loại tài liệu: Đồ án
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về machine learning và ứng dụng vào thẩm định giá cả

Machine learning là một nhánh của trí tuệ nhân tạo, cho phép máy tính học từ dữ liệu và đưa ra dự đoán mà không cần lập trình rõ ràng. Trong lĩnh vực thẩm định giá cả, đặc biệt là bất động sản, machine learning mang lại khả năng phân tích hàng nghìn thuộc tính cùng lúc. Giá nhà phụ thuộc vào nhiều yếu tố: vị trí, diện tích, số phòng, tiện ích xung quanh, tình trạng thị trường. Phương pháp truyền thống dựa vào kinh nghiệm chuyên gia, dễ xảy ra sai lệch chủ quan. Machine learning khắc phục hạn chế này bằng cách khai thác mẫu ẩn trong dữ liệu lịch sử. Các thuật toán hồi quy tuyến tính, hồi quy đa biến, Support Vector Regression hay Random Forest đều có thể ước lượng giá trị bất động sản với độ chính xác cao. Bài đồ án này tìm hiểu nguyên lý hoạt động của các thuật toán, quy trình thu thập dữ liệu, tiền xử lý và huấn luyện mô hình. Mục tiêu cuối cùng là xây dựng hệ thống dự đoán giá nhà tự động, minh bạch và dễ tiếp cận cho người dùng phổ thông tại Việt Nam.

1.1. Định nghĩa machine learning và vai trò trong định giá

Machine learning là kỹ thuật huấn luyện máy tính nhận dạng mẫu từ dữ liệu đầu vào. Thay vì viết từng quy tắc thủ công, hệ thống tự rút ra quy luật thông qua quá trình học. Trong thẩm định giá, thuật toán phân tích hàng nghìn giao dịch đã xảy ra để tìm mối liên hệ giữa thuộc tính bất động sản và giá bán. Ví dụ, diện tích lớn hơn thường đi kèm giá cao hơn. Vai trò chính của machine learning là loại bỏ yếu tố cảm tính, tạo ra đánh giá khách quan dựa trên bằng chứng dữ liệu thực tế.

1.2. Bối cảnh thị trường bất động sản tại Việt Nam

Thị trường bất động sản Việt Nam, đặc biệt tại thành phố Hồ Chí Minh, phát triển mạnh mẽ và thu hút nhiều nhà đầu tư. Việc định giá bất động sản hiện nay chủ yếu dựa vào phương pháp so sánh trực tiếp, phương pháp thu nhập hay hệ số điều chỉnh. Các phương pháp này đòi hỏi nhân viên thẩm định có chuyên môn cao, tốn thời gian và dễ bị ảnh hưởng bởi yếu tố chủ quan. Sự chênh lệch giá giữa các khu vực trung tâm và ngoại ô cũng phức tạp, khiến việc ước lượng chính xác trở thành thách thức lớn. Đây là lý do cần giải pháp tự động hóa.

II. Vấn đề của phương pháp thẩm định giá bất động sản truyền thống

Phương pháp thẩm định giá truyền thống tại Việt Nam tồn tại nhiều hạn chế đáng kể. Phương pháp so sánh trực tiếp yêu cầu tìm các giao dịch tương đồng về vị trí, diện tích, chất lượng. Việc tìm mẫu so sánh phù hợp ở thị trường biến động nhanh rất khó khăn. Phương pháp chiết trừ và thu nhập đòi hỏi dữ liệu tài chính chi tiết, thường không công khai. Nhân viên thẩm định dựa vào kinh nghiệm cá nhân, kết quả có thể khác nhau giữa các chuyên gia cho cùng một bất động sản. Quy trình thủ công mất nhiều thời gian, không đáp ứng được nhu cầu thẩm định số lượng lớn. Hơn nữa, thiếu minh bạch trong định giá tạo ra rủi ro cho người mua. Họ không có công cụ để kiểm chứng mức giá được đề xuất. Chi phí thuê chuyên gia thẩm định cũng là gánh nặng với cá nhân có ngân sách hạn hẹp. Những vấn đề này đặt ra nhu cầu cấp thiết về giải pháp công nghệ có thể tự động hóa, minh bạch hóa quy trình định giá bất động sản trên toàn thị trường.

2.1. Sai lệch chủ quan và thiếu minh bạch trong định giá

Định giá bất động sản truyền thống phụ thuộc lớn vào nhận định cá nhân của chuyên viên. Hai chuyên viên khác nhau có thể đưa ra mức giá chênh lệch đáng kể cho cùng một tài sản. Yếu tố cảm tính, mối quan hệ cá nhân với khách hàng hay áp lực từ đại lý môi giới đều ảnh hưởng đến kết quả. Người mua nhà không có cách nào kiểm chứng tính chính xác của mức giá được tư vấn. Sự thiếu minh bạch này gây thiệt thao cho cả người mua lẫn người bán, đồng thời làm giảm niềm tin vào thị trường bất động sản nói chung.

2.2. Khó khăn trong xử lý dữ liệu quy mô lớn

Thị trường bất động sản thành phố Hồ Chí Minh có hàng nghìn giao dịch mỗi tháng, trải rộng khắp các quận huyện. Mỗi giao dịch đi kèm nhiều thuộc tính: vị trí, diện tích, số tầng, hướng nhà, pháp lý, tiện ích lân cận. Xử lý thủ công khối lượng dữ liệu khổng lồ này gần như không khả thi. Phương pháp truyền thống chỉ phân tích từng trường hợp riêng lẻ, không thể khai thác mối liên hệ phức tạp giữa các biến số. Điều này dẫn đến bỏ sót thông tin quý giá, làm giảm độ chính xác của kết quả thẩm định giá bất động sản.

III. Các thuật toán machine learning áp dụng thẩm định giá nhà đất

Nhiều thuật toán machine learning được áp dụng hiệu quả trong bài toán dự đoán giá bất động sản. Hồi quy tuyến tính đơn giản phù hợp khi chỉ có một biến độc lập, ví dụ mối quan hệ giữa diện tích và giá nhà. Hồi quy đa biến mở rộng mô hình bằng cách kết hợp nhiều yếu tố đầu vào: số phòng ngủ, khoảng cách đến trung tâm, năm xây dựng. Công thức tổng quát dạng Y = B0 + B1X1 + B2X2 + B3X3 cho phép nắm bắt tác động đồng thời của nhiều thuộc tính. Hồi quy đa thức xử lý tốt mối quan hệ phi tuyến giữa biến đầu vào và giá nhà. Support Vector Regression hoạt động hiệu quả với dữ liệu có nhiễu và ngoại lai. Thuật toán phân cụm K-Means giúp nhóm bất động sản thành các phân khúc tương đồng trước khi dự đoán. Random Forest kết hợp nhiều cây quyết định, giảm hiện tượng quá khớp và tăng độ chính xác. Việc chọn thuật toán phù hợp phụ thuộc vào đặc điểm tập dữ liệu và yêu cầu độ chính xác của bài toán.

3.1. Hồi quy tuyến tính và hồi quy đa biến trong dự đoán giá

Hồi quy tuyến tính là thuật toán cơ bản nhất trong machine learning cho bài toán dự đoán giá. Thuật toán tìm đường thẳng tối ưu đi qua dữ liệu sao cho sai số giữa giá trị dự đoán và thực tế là nhỏ nhất, sử dụng nguyên tắc bình phương nhỏ nhất OLS. Ví dụ với dataset lương theo kinh nghiệm, phương trình thu được dạng Y = 26816 + 9346×X. Hồi quy đa biến mở rộng bằng cách thêm nhiều biến đầu vào. Mô hình multi Linear Regression dự đoán giá nhà dựa trên nhiều thuộc tính đồng thời, cho kết quả chính xác hơn so với phương pháp đơn biến.

3.2. Support Vector Regression và thuật toán phân cụm

Support Vector Regression là biến thể của Support Vector Machine áp dụng cho bài toán hồi quy. SVR xác định một vùng epsilon xung quanh đường hồi quy, chấp nhận sai số trong phạm vi cho phép. Ưu điểm lớn của SVR là khả năng xử lý dữ liệu có nhiễu và ngoại lai tốt hơn hồi quy tuyến tính thông thường. Thuật toán phân cụm K-Means nhóm các bất động sản thành K nhóm dựa trên相似 độ tương đồng về thuộc tính. Việc phân cụm trước khi dự đoán giúp mô hình học được đặc trưng riêng của từng phân khúc thị trường, cải thiện đáng kể độ chính xác khi áp dụng vào thẩm định giá thực tế tại các khu vực khác nhau.

IV. Kết luận và ứng dụng thực tế machine learning trong thẩm định giá

Ứng dụng machine learning vào thẩm định giá cả bất động sản đã chứng minh hiệu quả vượt trội so với phương pháp truyền thống. Quy trình xây dựng mô hình bao gồm các bước chính: thu thập dữ liệu từ các nguồn mở, tiền xử lý dữ liệu thiếu và nhiễu, tách tập huấn luyện và kiểm tra, huấn luyện mô hình và đánh giá kết quả. Công cụ Python với các thư viện scikit-learn, pandas, matplotlib hỗ trợ toàn bộ quy trình từ xử lý dữ liệu đến trực quan hóa kết quả. Kết quả thử nghiệm cho thấy các mô hình machine learning đạt độ chính xác cao trong việc dự đoán giá nhà. Mô hình có thể áp dụng rộng rãi cho người mua nhà, nhà đầu tư và cơ quan quản lý. Người dân bình thường có thể tiếp cận thông tin định giá mà không cần thuê chuyên gia. Hệ thống cũng hỗ trợ phát hiện bất thường trong giá giao dịch, góp phần minh bạch hóa thị trường bất động sản tại các thành phố lớn ở Việt Nam.

4.1. Quy trình xây dựng mô hình dự đoán giá bất động sản

Quy trình xây dựng mô hình gồm năm bước tuần tự. Bước đầu tiên là thu thập dữ liệu từ các nguồn công khai như website bất động sản, dữ liệu thống kê nhà nước. Tiếp theo là tiền xử lý: loại bỏ dữ liệu thiếu, chuẩn hóa các thuộc tính số, mã hóa biến phân loại. Bước thứ ba chia dữ liệu thành tập huấn luyện và tập kiểm tra theo tỷ lệ phù hợp. Bước bốn tiến hành huấn luyện mô hình bằng thuật toán đã chọn. Cuối cùng đánh giá hiệu suất mô hình qua các chỉ số như MSE, R-squared để xác nhận độ tin cậy trước khi triển khai thực tế.

4.2. Tiềm năng phát triển và mở rộng ứng dụng

Machine learning trong thẩm định giá bất động sản có tiềm năng phát triển rất lớn tại Việt Nam. Khi dữ liệu giao dịch ngày càng phong phú và chất lượng hơn, mô hình dự đoán sẽ ngày càng chính xác. Ứng dụng có thể mở rộng sang định giá xe hơi, thiết bị điện tử, dịch vụ bảo hiểm. Cơ quan quản lý nhà nước có thể sử dụng công cụ này để giám sát thị trường, phát hiện đầu cơ và bong bóng giá. Các startup công nghệ bất động sản có thể tích hợp API dự đoán giá vào nền tảng của mình, mang lại trải nghiệm minh bạch cho người dùng cuối.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM ĐỒ ÁN 1 ĐỀ TÀI: “TÌM HIỂU VỀ MACHINE LEARNING VÀ ỨNG DỤNG VÀO THẨM ĐỊNH GIÁ CẢ”. Sinh viên thực hiện: 1. Nguyễn Chí Thành 18520360 2. Tăng Khánh Chương 18520010 Giảng viên hướng dẫn: ThS Trần Anh Dũng Tp Hồ Chí Minh, ngày 30 tháng 6 năm 2021 Phụ lục A. Giới thiệu đề tài 1 I. Bối cảnh 1 II. Mục đích 2 III. Một số thuật toán machine learning: 3 1. Các thuật toán Hồi quy 3 1. Hồi quy đơn thức: 3 1. Hồi quy đa biến: 17 1. Hồi quy đa thức: 21 1. Support Vector Regression: 25 1. Các thuật toán Phân loại: 34 2. Support Vector Machine: 57 2. Thuật toán phân cụm: 104 3. Ứng dụng: 113 II. Các thư viện của python hỗ trợ trong machine learning 116 1. Các thuật toán trong thư viện: 125 4. Thu thập dữ liệu: 128 2. Tiền xử lý dữ liệu: 131 3. Huấn luyện model: 145 4. Kết quả thử nghiệm: 150 Danh mục tham khảo 152 A. Giới thiệu đề tài I. Bối cảnh Số tiền dành cho mua nhà là không nhỏ, vì vậy việc người mua quan tâm không chỉ ở việc lựa chọn được một ngôi nhà ưng ý mà còn xem giá cả có hợp lý hay không. Việc đánh giá giá trị của một bất động sản không phải là một việc dễ dàng. Để đánh giá chính xác giá của một căn nhà, người ta không chỉ đòi hỏi một sự hiểu biết chuyên môn về thị trường bất động sản (một thị trường rất biến động) mà còn đòi hỏi một sự hiểu biết thật sự tường tận về bản thân các thuộc tính của bất động sản đó Những kiến thức này thường chỉ được lưu trữ bởi các đại lý kinh doanh bất động sản. Nếu chúng ta có thể nắm bắt kiến thức này bằng cách thu thập dữ liệu, sử dụng các dữ liệu mở, tận dụng sự giúp sức của các thuật toán, chương trình máy tính, các kiến thức này trở nên dễ tiếp cận hơn với các người dân bình thường, giúp đưa ra quyết định mà không cần dựa vào chuyên gia vì không may vị chuyên gia đó có thể tư vấn theo chiều hướng có lợi cho họ. Ước lượng giá bất động sản là một vấn đề hết sức quan trọng trong quy hoạch các thành phố lớn tại Việt Nam. Hiện nay, ở Việt nam chúng ta chủ yếu ước lượng giá bất động sản dựa trên các phương pháp truyền thống như phương pháp so sánh trực tiếp, chiết trừ, thu nhập, thặng dư, hệ số điều chỉnh. Các phương pháp này chủ yếu nhờ sự phân tích và can thiệp của nhân viên định giá nên rất khó tránh khỏi sai lầm do chủ quan hoặc không minh bạch. Ngoài các phương pháp truyền thống, trên thế giới đã và đang nghiên cứu và áp dụng rộng rãi các phương pháp có sử dụng đến các mô hình toán học để xác định giá trị bất động sản. Với một nền kinh tế giàu tiềm năng và phát triển nhất nước, Tp.HCM được xem như một trong những thị trường năng động nhất về lĩnh vực bất động sản, thu hút sự chú ý và đầu tư của rất nhiều doanh nghiệp trong và cả ngoài nước và được đánh giá là cao nhất trong khu vực. Tiềm năng hơn cả là các quận trung tâm của thành phố, đã trở thành các vị trí vàng cho đầu tư bất động sản. Đối với khu vực thành phố, do dân cư đông đúc, việc sống trong căn hộ, chung cư trở nên không còn xa lạ với chúng ta, trở thành một trong những loại hình đầu tư phổ biến bậc nhất. Chính vì vậy, đối tượng mà nhóm hướng tới nghiên cứu là một mô hình học máy 1 nhằm giúp người mua dự đoán tương đối chính xác giá trị của các các bất động sản loại chung cư căn hộ. Mục đích Đề tài được thực hiện nhằm hai mục đích: ● Tìm hiểu về Machine Learning và các thuật toán được sử dụng trong Machine Learning ● Tìm hiểu về thị trường bất động sản, cách hoạt động của nó cũng như mục đích của việc thẩm định giá bất động sản. Ý nghĩa Trước hết, đề tài TÌM HIỂU VỀ MACHINE LEARNING VÀ ỨNG DỤNG VÀO THẨM ĐỊNH GIÁ CẢ là một đề tài thể hiện việc áp dụng những kiến thức đã được các thầy cô của trường Đại học Công nghệ Thông tin đã nhiệt tình truyền thụ lại cho chúng em. Và đặc biệt là sự theo dõi và quan tâm giúp đỡ của thầy Trần Anh Dũng trong suốt thời gian nhóm chúng em thực hiện đề tài này. Thứ hai, những kinh nghiệm mà nhóm có được trong quá trình thực hiện đề tài sẽ là hành trang giúp ích rất nhiều cho công việc sau này của mỗi thành viên trong nhóm. Nhiệm vụ Huấn luyện một module nhằm giúp người dùng có thể dự đoán được một cách tương đối giá bất động sản dựa trên những thuộc tính của nó. Một số thuật toán machine learning 1. Các thuật toán Hồi quy 1. Hồi quy đơn thức 1. Thuật toán Là một trong những thuật toán đầu của Machine Learning, thuộc nhóm Supervised learning ( Học có giám sát ). Hồi quy tuyến tính đơn thức là một mô hình hồi quy gồm hai biến là biến độc lập và biến phụ thuộc, nó liên quan đến các điểm mẫu trong không gian hai chiều sao cho từ một biến độc lập ta có thể tìm ra một biến phụ thuộc tương ứng nhờ vào một hàm tuyến tính (một đường thẳng), chính xác nhất có thể, dự đoán các giá trị dựa trên hàm tuyến tính để tìm ra kết quả. Hàm dự đoán liên quan đến một yếu tố dự đoán duy nhất. Mô hình hồi quy mô tả mối quan hệ giữa các biến bằng cách vẽ một đường thẳng một đường thẳng để khít với bộ quan sát với bộ dữ liệu quan sát nhất có thể. Các mô hình hồi quy tuyến tính sử dụng một đường thẳng, trong khi các mô hình hồi quy logistic và phi tuyến tính sử dụng một đường cong. Hồi quy cho phép ước tính cách một biến phụ thuộc thay đổi khi (các) biến độc lập thay đổi. Hồi quy đơn thức đã biến nghĩa là ta đi tìm một đường thẳng(công thức) để fit nhất với tập dữ liệu đã có. Hồi quy tuyến tính đơn biến được sử dụng để ước tính mối quan hệ giữa hai biến định lượng. Sử dụng hồi quy tuyến tính đơn biến khi bạn muốn biết: -Mối quan hệ chặt chẽ như thế nào giữa hai biến số (ví dụ mối quan hệ giữa lượng mưa và xói mòn đất). -Giá trị của biến phụ thuộc tại một giá trị nhất định của biến độc lập (ví dụ: lượng đất xói mòn ở một mức độ mưa nhất định). 3 Ví dụ: Một nhà nghiên cứu về xã hội quan tâm đến mối quan hệ giữa thu nhập và hạnh phúc(thu nhập bao nhiêu đó thì độ hạnh phúc của chúng ta như thế nào). Họ khảo sát 500 người có thu nhập từ 15 nghìn USD/năm đến 75 nghìn USD/năm và yêu cầu họ xếp hạng mức độ hạnh phúc của họ trên thang điểm từ 1 đến 10. Biến độc lập (thu nhập) và biến phụ thuộc (hạnh phúc) của bạn đều là định lượng(biến độc lập thu nhập quy định về biến phụ thuộc hạnh phúc), vì vậy ta có thể thực hiện phân tích hồi quy để xem mối quan hệ tuyến tính giữa chúng Nếu có nhiều hơn một biến độc lập, sử dụng hồi quy tuyến tính đa biến để thay thế thay vì hồi quy tuyến tính đơn biển Đi tìm mô hình hồi quy tuyến tính đơn biến là đi tìm mô hình có dạng theo công thức: Trong đó: Y là biến phụ thuộc X1 là biến độc lập B0 : hằng số B1 : hệ số 4 Chẳng hạn như lương sẽ phụ thuộc vào số kinh nghiệm. Khi ta làm việc lâu, lương sẽ tăng lên do kinh nghiệm này một nâng lên. Chiếu từ số năm kinh nghiệm lên điểm dữ liệu rồi từ điểm dữ liệu chiều qua trục tung ta thấy được số lương tương ứng Vậy trong mối quan hệ trong biểu thức đâu là y và đâu là x 5 Trong trường hợp này Salary sẽ là y và Experience là x, số lương sẽ phụ thuộc vào vào số năm kinh nghiệm. Experience là biến độc lập và Salary là biến phụ thuộc Thuật toán sẽ tìm vô số các đường thẳng và nó tìm đến khi nào khoảng cách giữa các điểm dữ liệu thật đến đường thẳng(đường thẳng dự đoán) là bé nhất. 6 Hằng số B0 là nơi mà đường thẳng dự đoán cắt trục tung, trục tưng ở đây là số lương. Trong trường hợp này đường thẳng dự đoán cắt trục tung ở điểm khoanh đỏ ví dụ là 30k/năm. 7 Còn b1 là hệ số của phương trình, ở đây là độ dốc của đường thẳng. Trong biểu đồ minh họa bên dưới, thông qua độ dốc ta có thể thấy rằng trong khoảng thời gian một năm (+1yr), đối chiếu lên trục tung thông qua phương trình ta tìm được khoảng tăng của Salary là +10k Từ các điểm dữ liệu thật vẽ đường thẳng song song với trục tung về phía đường thẳng được thuật toán tạo ra. 8 Khoảng cách từ điểm dữ liệu đến đường thẳng được gọi là phương sai. 9 Thuật toán sẽ đoản bảo sao cho tổng của (y-y^)2 sao cho là bé nhất. Ứng dụng Tìm hiểu thuật toán trên bộ dữ liệu tương ứng. Tập dữ liệu gồm 30 mẫu, cột đầu là số năm kinh nghiệm (Years Experience) và cột theo sau là lương (Salary) dựa trên số năm kinh nghiệm tương ứng. Số năm kinh nghiệm là biến độc lập, còn lương là biến phụ thuộc. Nhìn vào tập dữ liệu ta nhận xét được là gì, số tăng kinh nghiệm tăng, đồng nghĩa với việc kéo theo số lương tăng theo, hai giá trị này tăng theo chiều tuyến tính và tương quan với nhau. 11 Thử trực quan hóa dữ liệu bằng thư viện matplotlib của python: Dữ liệu tăng dần tuyến tính, theo chiều tăng dần số năm kinh nghiệm, mức lương sẽ tăng theo. 12 Đầu tiên, cần phải import các thư viện cần sử dụng, ở đây ta cần dùng numpy, matplotlib, pandas. Đọc file dữ liệu vào, file dữ liệu ở đây là file “Salary_Data. Tách ra thành hai trường, trường dữ liệu X và y, trong đó X là số năm kinh nghiệm và y số lương. Tách mỗi phần dữ liệu ra làm 2 phần, nghĩa là tách X ra làm 2 và y ra làm 2, tổng cộng ta sẽ có 4 phần dữ liệu: X_train, X_test, Y_train, Y_test. Trong đó, X_train và Y_train dùng để huấn luyện dữ liệu còn X_test, Y_test dùng để kiểm tra kết quả đầu ra của dữ liệu.