Luận văn tốt nghiệp: Phát triển ứng dụng web theo dõi dữ liệu thống kê bất động sản

Khám phá luận văn tốt nghiệp về phát triển ứng dụng web giám sát dữ liệu thống kê bất động sản, ứng dụng công nghệ phần mềm hiệu quả.

• Tác giả: Phạm Minh Tuấn
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát triển ứng dụng web theo dõi dữ liệu thống kê bất động sản
• Loại tài liệu: luận án tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• Commitment
• Thanks
• Abstract
• 1. Overview
• 1.2. Objectives and Scope
• 2. Background Knowledge
• 2.3. AJAX Request - Response
• 2.9. Underfitting and Overfitting
• 2.12. Supported Python Libraries
• 2.1. Single-page Application (SPA)
• 2.3. Components and Props
• 2.4. States
• 2.5. Events Handling
• 2.6. Code Splitting
• References

Tóm tắt

I. Giới thiệu về ứng dụng web theo dõi dữ liệu thống kê bất động sản

Trong bối cảnh thị trường bất động sản ngày càng phát triển mạnh mẽ tại Việt Nam, việc theo dõi và phân tích dữ liệu thống kê trở thành một nhu cầu thiết yếu. Ứng dụng web được phát triển nhằm cung cấp một nền tảng cho các nhà đầu tư và môi giới bất động sản có thể thu thập và phân tích dữ liệu một cách hiệu quả. Ứng dụng này không chỉ giúp người dùng theo dõi dữ liệu thống kê bất động sản mà còn hỗ trợ trong việc đưa ra những quyết định đầu tư thông minh hơn. Theo nghiên cứu, thị trường bất động sản hiện nay có rất nhiều nguồn dữ liệu từ các trang web khác nhau, việc tổng hợp và phân tích thông tin từ các nguồn này là một thách thức lớn. Do đó, ứng dụng này sẽ sử dụng các công nghệ tiên tiến như công nghệ web để thu thập và xử lý dữ liệu một cách tự động, giúp người dùng tiết kiệm thời gian và công sức.

II. Công nghệ và phương pháp phát triển ứng dụng

Để phát triển ứng dụng, nhiều công nghệ đã được áp dụng, bao gồm ReactJS cho phần frontend và Django cho phần backend. Phát triển ứng dụng sử dụng REST-API để giao tiếp giữa client và server, giúp việc truyền tải dữ liệu trở nên mượt mà hơn. Ngoài ra, việc thu thập dữ liệu từ các trang web bất động sản được thực hiện thông qua các công nghệ như Scrapy và BeautifulSoup. Những công nghệ này cho phép thu thập dữ liệu một cách tự động và hiệu quả, từ đó cung cấp cho người dùng những thông tin chính xác và kịp thời. Đặc biệt, ứng dụng còn tích hợp mô hình dự đoán giá bất động sản dựa trên dữ liệu thu thập được, giúp người dùng có cái nhìn tổng quan về xu hướng giá cả trên thị trường. Điều này không chỉ nâng cao giá trị của ứng dụng mà còn mang lại lợi ích thực tiễn cho người dùng.

2.1. Công nghệ Frontend

ReactJS được chọn làm công nghệ frontend chính cho ứng dụng do tính linh hoạt và khả năng tái sử dụng các component. Việc sử dụng giao diện người dùng thân thiện giúp người dùng dễ dàng tương tác và theo dõi dữ liệu. Bên cạnh đó, ReactJS hỗ trợ việc cập nhật dữ liệu theo thời gian thực, điều này rất quan trọng trong việc theo dõi dữ liệu thống kê.

2.2. Công nghệ Backend

Django được sử dụng cho phần backend để quản lý và xử lý dữ liệu. Hệ thống thông tin bất động sản sẽ được xây dựng trên nền tảng Django, cho phép xử lý các yêu cầu từ frontend một cách nhanh chóng và hiệu quả. Django cũng hỗ trợ việc quản lý cơ sở dữ liệu PostgreSQL, giúp lưu trữ và truy xuất dữ liệu một cách an toàn và hiệu quả.

III. Phân tích và báo cáo dữ liệu

Một trong những chức năng quan trọng của ứng dụng là khả năng phân tích và báo cáo dữ liệu. Người dùng có thể dễ dàng tạo ra các báo cáo thống kê từ dữ liệu bất động sản đã thu thập. Ứng dụng cung cấp các biểu đồ và bảng số liệu giúp người dùng có cái nhìn trực quan về các xu hướng trên thị trường. Việc sử dụng công cụ thống kê cho phép người dùng nhanh chóng nhận diện được các mẫu hình trong dữ liệu và đưa ra những quyết định đầu tư hợp lý. Đồng thời, ứng dụng cũng cho phép người dùng tùy chỉnh các tham số để tạo ra các báo cáo theo yêu cầu riêng của họ, từ đó nâng cao tính linh hoạt và hiệu quả trong việc sử dụng dữ liệu.

3.1. Tính năng báo cáo

Ứng dụng cung cấp tính năng tạo báo cáo tự động dựa trên dữ liệu đã thu thập. Người dùng có thể chọn các tiêu chí báo cáo khác nhau như khu vực, loại hình bất động sản, và thời gian. Tính năng này giúp người dùng tiết kiệm thời gian trong việc tổng hợp và phân tích dữ liệu.

3.2. Đánh giá hiệu quả

Thông qua việc sử dụng ứng dụng, người dùng có thể dễ dàng đánh giá hiệu quả đầu tư của mình dựa trên các báo cáo thống kê. Quản lý bất động sản sẽ trở nên dễ dàng hơn khi có sẵn các dữ liệu phân tích để đưa ra quyết định đầu tư chính xác.

IV. Kết luận và triển vọng

Ứng dụng web theo dõi dữ liệu thống kê bất động sản không chỉ đáp ứng nhu cầu hiện tại của thị trường mà còn mở ra nhiều cơ hội mới cho các nhà đầu tư và môi giới bất động sản. Với việc áp dụng các công nghệ tiên tiến, ứng dụng này hứa hẹn sẽ trở thành một công cụ hữu ích trong việc quản lý và phân tích dữ liệu. Phát triển phần mềm trong lĩnh vực bất động sản sẽ ngày càng trở nên quan trọng, và ứng dụng này là một bước tiến lớn trong việc hiện đại hóa quy trình làm việc của các chuyên gia trong ngành. Tương lai, ứng dụng có thể được mở rộng thêm nhiều tính năng mới như tích hợp AI trong dự đoán giá bất động sản, từ đó nâng cao giá trị sử dụng cho người dùng.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE AND ENGINEERING OOO BK TP.HCM GRADUATION THESIS DEVELOPMENT OF A WEB APPLICATION TO MONITOR STATISTICAL DATA OF REAL ESTATE PROPERTIES DEPARTMENT OF SOFTWARE ENGINEERING INSTRUCTOR: Assoc. Quan Thanh Tho REVIEWER: Assoc. Bui Hoai Thang STUDENT: Pham Minh Tuan 1752595 Ho Chi Minh 7/2021 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ---------- Độc lập - Tự do - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA:KH & KT Máy tính NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP BỘ MÔN:KHMT Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình HỌ VÀ TÊN: Phạm Minh Tuấn MSSV: 1752595 NGÀNH: KHMT LỚP: CC17KHM1 1. Đầu đề luận án: Development of a Web application to monitor statistical data of real estate properties 2.

Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): ​ ✔Investigate front-end and back-end technology for building web applications: ReactJS, Django web framework, Postgres Database, REST-API. ✔ Investigate technologies to crawl real estate data: Scrapy framework, BeautifulSoup Python library. ✔ Investigate Selenium webdriver to collect data in anti-crawling websites. ✔ Investigate and build a price-predicting model using Linear Regression based on collected real estate data.

✔ Crawl data everyday and update new data into database. ✔ Investigate python libraries to implement model and train model with collected data. Ngày giao nhiệm vụ luận án: 03/09/2015 4. Ngày hoàn thành nhiệm vụ: 20/12/2015 5.

Họ tên giảng viên hướng dẫn: Phần hướng dẫn: 1) Quản Thành Thơ 2) 3) Nội dung và yêu cầu LVTN đã được thông qua Bộ môn. CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) PGS. Quản Thành Thơ PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): Đơn vị: Ngày bảo vệ: Điểm tổng kết: Nơi lưu trữ luận án: TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày tháng năm PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) 1. Họ và tên SV: Phạm Minh Tuấn MSSV: 1752595 Ngành (chuyên ngành): KHMT 2.

Đề tài: Development of a Web application to monitor statistical data of real estate properties 3. Họ tên người hướng dẫn/phản biện: PGS. Quản Thành Thơ 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5.

Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6. Những ưu điểm chính của LVTN: The student has successfully developed a system as required, which consists of the following features: (i) crawling data from real estate web sites; (ii) normalizing and preprocessing data; and (iii) using AI technique for data forecasting. Những thiếu sót chính của LVTN: The student should have conducted more analysis about the business requirement of the project. Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  9.

3 câu hỏi SV phải trả lời trước Hội đồng: 10. Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm : 7. Quản Thành Thơ TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 06 tháng 8 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) 1. Họ và tên SV: Phạm Minh Tuấn MSSV: 1752595 Ngành (chuyên ngành): Khoa học Máy tính 2.

Đề tài: Development of a web application to monitor statistical data of real estate properties 3. Họ tên người hướng dẫn/phản biện: Bùi Hoài Thắng 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6.

Những ưu điểm chính của LVTN: - Showed an understanding about crawling data, especially real estate data, from some popular websites about real estate. - Showed an understanding about some techniques in predicting price based on collected real estate prices. - Designed and implemented a web-based application to show statistics of collected data, and performed some experientations on predicting prices. Những thiếu sót chính của LVTN: 8.

Đề nghị: Được bảo vệ X Bổ sung thêm để bảo vệ  Không được bảo vệ  9. 3 câu hỏi SV phải trả lời trước Hội đồng: a. Đánh giá chung (bằng chữ: giỏi, khá, TB): Khá Điểm : 6.5/10 Ký tên (ghi rõ họ tên) Bùi Hoài Thắng Commitment I guarantee that the thesis’s content is written and illustrated on my own. All the contents, which I read from the documents of the technologies will be used in my web application, are defined in the References page and I promise that I do not copy or take the content of others’ thesis without permission.

Thanks First, I want to say thanks to my instructor, Assoc. Quan Thanh Tho for instructing my topic as well as the knowledge to implement the web application from the first step. Beside, I am extremely happy because of my family ’s support during the time I do the thesis and throughout three years of my study at Ho Chi Minh city University of Technology. This work cannot be finished well if I don’t receive many encouragements from my parents and my little brother.

Abstract The real estate market plays an important role in developing Vietnam’s economy. This kind of industry starts growing fast in recent years to respond to the need of customers, and some real estate companies want to collect the data in this area as much as possible to analyze the specific area that abstract most investors as well as sellers. However, the data gained about real estate is enormous with lots of websites. It is hard for them to gather all information at once.

This thesis will introduce a web application that will collect information about real estate websites so that real estate agents can give a precise analysis of the resources-real property. Contents List of Figures 4 1 Overview 7 1.2 Objectives and Scope .1 Single-page Application (SPA) .3 Components and Props .3 AJAX Request - Response .3 Working with Dynamically-loaded Content .1 Mean Squared Error (MSE) .3 Cross Validation Score .9 Underfitting and Overfitting .1 Handling missing data .12 Supported Python Libraries .1 Use-case Diagram .1 Handling duplicated data .2 Formating Item’s name .3 Handling web pages with Selenium .3 Model Evaluation Result .5 Price prediction page. 68 References 68 List of Figures 2.1 Single-page Application .3 How Selenium WebDriver works .4 Non-linear dataset .5 Five-folds cross-validation .10 Data before using Log Transform .11 Data after using Log Transform .1 Use-case diagram .3 CRED System Database Schema .4 Scrapy collected data sample .5 Cu Chi Selling Land dataset .6 Dataset in Ba Thien, Nhuan Duc, Cu Chi .7 Origin dataset in Nguyen Huu Canh, 22, Binh Thanh .8 Dataset after using Log Transformation .9 Dataset Histogram before & after Log Transformation .10 Dataset after removing duplicates .11 Boxplot of area values .12 Divide dataset into equal parts .13 Outliers detection after apply on each part .14 Polynomial Regression degree choosing by train set’s RMSE .15 Polynomial Regression degree choosing by validation set’s RMSE .21 Price prediction page .22 Admin page - Manage users .23 Admin page - Retrain models. 65 1 — Overview In this chapter, I going to introduce about my thesis topic, then I will show the targets and the scope of my thesis for the web application.2 Objectives and Scope .1 Introduction Crawling data is a common fields that appeared in many web application which main function is collecting data.

However a web app that collects and monitor data in real estate fields for common real estate agents is rare. Therefore, they need a software to help them synthesizing all data from other real estate website and then started making analysis about collected data. In the thesis phase, I will implement a web application that will collect information on different real estate websites and display them on my current web page. Clients can register accounts and log in to the web app and view the data.

The web app also provides filter functionality to let users filter the data for custom viewing and help users predict price of a specific real estate properties based on elements like area, street, ward and district. Moreover, the web app provides users a general view of real estate data through the chart displayed on the Dashboard page.2 Objectives and Scope The objectives of the thesis are: ˆ Implement a web application to show the data collected. ˆ Build a custom crawler to get the data from three main real estate website: bat- dongsan.com, and propzy. ˆ Provide some real estate data statistics based on collected data.

ˆ Build machine learning models to predict price of real estate properties based on collected data. For a topic scope: ˆ The web app is limit for a few users only (less than ten users) and it works locally. ˆ The collected real estate posts is limited to only in Ho Chi Minh city only. The real estate post type is selling.

2 — Background Knowledge In this chapter, I am going to illustrate about the knowledge I research to implment the web application including some definitions of the technologies I will use in both Frontend and Backend part 2.3 AJAX Request - Response .9 Underfitting and Overfitting .12 Supported Python Libraries .1 Single-page Application (SPA) A single-page application is a web application that can interact with the clients dynami- cally with an only-one-single web page at the time. Whenever a user changes the content in the web page, it will be rewritten with the new content instead of reloading a new page. Each page of the web application usually has the JavaScript layer at the header or bottom to communicate with the web services on the server-side. The content of the web page is loaded from the server-side in response to events that users make in a current web page like clicking on a link or a button.1: Single-page Application Nowadays, with the development of the technologies used to build web applications es- pecially in the frontend area, there are three popular frameworks that most developers use, that is React JS, Angular JS, and Vue JS.

I will state the comparison between them, and why I choose to use React JS to implement the frontend of my web application. Angular JS Angular JS is a full-fledged MVC framework which provides a set of defined library and functionality for building a web application. It is developed and maintained by Google, was first released in 2010 and it is based on TypeScript rather than using JavaScript itself. Thesis 11 Angular is unique with its built-in two-way data binding feature.

Unlike React, which uses one-way data binding, both React JS and Angular JS use Component to build the web application means that when the component (or a model) is rendered in the view can have different data inside based on the web page the user is seeing. For Angular, when the data in the view changes or also let to the change of the data in the model, while React is not. This is more convenient for developers to build a web application easier.