Đồ án tốt nghiệp kỹ thuật dữ liệu xây dựng data lakehouse trên nền tảng databricks đáp ứng các dịch vụ bi cho doanh nghiệp kinh doanh bất động sản

Đồ án tốt nghiệp xây dựng data lakehouse trên Databricks, hỗ trợ dịch vụ BI cho doanh nghiệp bất động sản, tối ưu quản lý dữ liệu hiệu quả.

• Tác giả: Vũ Trung Kiên
• Người hướng dẫn: Th.S Nguyễn Văn Thành
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Xây dựng Data Lakehouse trên nền tảng Databricks đáp ứng các dịch vụ BI cho doanh nghiệp kinh doanh bất động sản
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• KẾ HOẠCH THỰC HIỆN
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• DANH MỤC CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: KIẾN THỨC NỀN TẢNG
• 1.1. Giới thiệu các kiến trúc cơ bản
• 1.2. Khái niệm cơ bản về Data Lakes
• 1.3. Data Warehouse và vai trò trong quản lý dữ liệu
• 1.4. Data LakeHouse và sự kết hợp của Data Lakes và Data Warehouse
• 1.5. Định nghĩa và cấu trúc của Data Lake
• 1.6. Sự liên kết với Big Data và dữ liệu phi cấu trúc
• 1.7. Khái niệm và mục tiêu của Data Warehouse
• 1.8. Kiến trúc và cấu trúc dữ liệu trong Data Warehouse
• 1.9. Ưu điểm của Data Warehouse
• 1.10. Mục tiêu trong xây dựng Data Warehouse và Business Intelligence
• 1.11. Quy trình xây dựng Data Warehouse
• 1.12. Giới thiệu về Mô hình dữ liệu đa chiều (Dimensional Modeling)
• 1.13. Phân biệt giữa Data Warehouse và Data Lakes
• 1.14. Giới thiệu về Data Lakehouse
• 1.15. Mối quan hệ giữa Lakehouse và Data Warehouse, Data Lake
• 1.16. Cấu trúc của Data Lakehouse
• 1.17. Ưu điểm và nhược điểm của Lakehouse
• 1.18. Tích hợp dữ liệu phi cấu trúc và cấu trúc trong Data LakeHouse
• 2. CHƯƠNG 2: GIỚI THIỆU VỀ NỀN TẢNG DATABRICKS
• 2.1. Khái niệm về Databricks
• 2.2. Kiến trúc của Databricks
• 2.3. Apache Spark trên Databricks
• 2.4. Quản lý mô hình học máy với Databricks
• 3. CHƯƠNG 3: XÂY DỰNG DATA LAKEHOUSE
• 3.1. Kiến trúc của hệ thống
• 3.2. Kiến trúc tổng quan của hệ thống
• 3.3. Kiến trúc Data Lakehouse
• 3.4. Các công nghệ sử dụng
• 3.5. Thu thập và lưu trữ dữ liệu
• 3.6. Thiết kế mô hình nhiều chiều
• 3.7. Mô hình hóa dữ liệu
• 3.8. Thiết kế Dimension
• 3.9. Thiết kế Fact
• 3.10. Thiết kế mối quan hệ giữa các bảng
• 3.11. Xây dựng bảng báo cáo
• 3.11.1. Bảng báo cáo tổng quan
• 3.11.2. Bảng báo cáo chi tiết từng khu vực
• 3.11.3. Bảng báo cáo bổ sung từng loại bất động sản
• 3.12. Đào tạo mô hình dự đoán
• 3.12.1. Giới hạn dữ liệu cho phần học máy
• 3.12.2. Lựa chọn các đặc trưng từ lớp gold
• 3.12.3. Mô hình Linear Regression
• 3.12.4. Mô hình Random Forest
• 3.12.5. Mô hình Neuron
• 3.12.6. Đánh giá và nhận xét chung
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Data Lakehouse và Databricks

Data Lakehouse là một kiến trúc dữ liệu kết hợp giữa Data Lake và Data Warehouse, mang lại khả năng lưu trữ dữ liệu phi cấu trúc và cấu trúc một cách linh hoạt. Databricks, nền tảng dựa trên Apache Spark, cung cấp môi trường xử lý dữ liệu phân tán hiệu quả. Sự kết hợp này tạo ra một hệ thống mạnh mẽ cho việc quản lý và phân tích dữ liệu lớn, đặc biệt trong lĩnh vực bất động sản.

1.1. Khái niệm Data Lakehouse

Data Lakehouse là giải pháp tích hợp giữa Data Lake và Data Warehouse, cho phép lưu trữ dữ liệu phi cấu trúc và cấu trúc trong một hệ thống duy nhất. Kiến trúc này hỗ trợ các công cụ Business Intelligence (BI) và Machine Learning (ML), giúp doanh nghiệp tối ưu hóa quy trình phân tích dữ liệu.

1.2. Giới thiệu về Databricks

Databricks là nền tảng phân tích dữ liệu dựa trên Apache Spark, cung cấp khả năng xử lý dữ liệu lớn và phân tán. Nền tảng này hỗ trợ các công cụ Data Engineering, Data Science, và Machine Learning, giúp doanh nghiệp xây dựng và triển khai các giải pháp dữ liệu hiệu quả.

II. Xây dựng Data Lakehouse trên Databricks

Việc xây dựng Data Lakehouse trên Databricks đòi hỏi thiết kế kiến trúc hệ thống phù hợp với nhu cầu lưu trữ và phân tích dữ liệu. Quy trình bao gồm thu thập dữ liệu từ các nguồn khác nhau, tích hợp dữ liệu vào hệ thống, và xử lý dữ liệu để đảm bảo chất lượng.

2.1. Thiết kế kiến trúc hệ thống

Kiến trúc hệ thống Data Lakehouse bao gồm các lớp Bronze, Silver, và Gold, tương ứng với dữ liệu thô, dữ liệu đã làm sạch, và dữ liệu sẵn sàng cho phân tích. Databricks được sử dụng để triển khai các quy trình ETL (Extract, Transform, Load) và tích hợp dữ liệu từ nhiều nguồn.

2.2. Tích hợp dữ liệu và xử lý

Dữ liệu từ các nguồn như website bất động sản được thu thập và tích hợp vào Data Lakehouse. Quy trình xử lý dữ liệu bao gồm làm sạch, chuẩn hóa, và chuyển đổi dữ liệu để đảm bảo tính nhất quán và chất lượng cho các bước phân tích tiếp theo.

III. Ứng dụng Data Lakehouse trong doanh nghiệp bất động sản

Data Lakehouse trên Databricks mang lại nhiều lợi ích cho doanh nghiệp bất động sản, từ việc quản lý dữ liệu hiệu quả đến hỗ trợ ra quyết định chiến lược. Các công cụ Business Intelligence (BI) và Machine Learning (ML) được tích hợp để phân tích dữ liệu và dự đoán xu hướng thị trường.

3.1. Phân tích dữ liệu với BI

Các công cụ BI như Power BI được sử dụng để trực quan hóa dữ liệu, giúp doanh nghiệp nắm bắt thông tin thị trường và đưa ra quyết định kinh doanh chính xác. Các báo cáo tổng quan và chi tiết về giá nhà, vị trí, và diện tích được tạo ra để hỗ trợ phân tích.

3.2. Dự đoán xu hướng với Machine Learning

Các mô hình Machine Learning như Linear Regression, Random Forest, và Neural Network được áp dụng để dự đoán giá nhà dựa trên dữ liệu lịch sử. Các mô hình này giúp doanh nghiệp dự đoán xu hướng thị trường và tối ưu hóa chiến lược kinh doanh.

IV. Đánh giá và kết luận

Hệ thống Data Lakehouse trên Databricks đã chứng minh hiệu quả trong việc quản lý và phân tích dữ liệu lớn cho doanh nghiệp bất động sản. Các kết quả đạt được bao gồm khả năng lưu trữ và xử lý dữ liệu hiệu quả, cũng như hỗ trợ ra quyết định chiến lược thông qua các công cụ BI và ML.

4.1. Hiệu quả của hệ thống

Hệ thống đáp ứng được yêu cầu lưu trữ và xử lý dữ liệu lớn, đồng thời cung cấp các công cụ phân tích mạnh mẽ. Các báo cáo và mô hình dự đoán đã mang lại giá trị thực tiễn cho doanh nghiệp, giúp họ nâng cao khả năng cạnh tranh trên thị trường.

4.2. Hướng phát triển trong tương lai

Trong tương lai, hệ thống có thể được mở rộng để tích hợp thêm các nguồn dữ liệu và công nghệ mới, như AI và Real-Time Analytics, nhằm nâng cao hiệu quả phân tích và hỗ trợ doanh nghiệp trong việc ra quyết định nhanh chóng và chính xác hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. KIẾN THỨC NỀN TẢNG 1. Giới thiệu các kiến trúc cơ bản 1. Khái niệm cơ bản về Data Lakes Khái niệm cơ bản về Data Lake liên quan đến việc lưu trữ khối lượng lớn dữ liệu có cấu trúc, bán cấu trúc, không cấu trúc và dữ liệu thô ở nhiều định dạng khác nhau.

Dữ liệu này được lưu trữ trong kho lưu trữ tập trung mà không cần lược đồ được xác định trước. Hồ dữ liệu cho phép lưu trữ lượng lớn dữ liệu, sau đó có thể được sử dụng cho nhiều mục đích khác nhau như phân tích nâng cao, học máy và các tác vụ xử lý dữ liệu khác. Tính linh hoạt của Data Lake cho phép các tổ chức lưu trữ các loại dữ liệu đa dạng và cho phép truy cập dễ dàng để phân tích và xử lý dữ liệu. Data Warehouse và vai trò trong quản lý dữ liệu Vai trò của Kho dữ liệu trong quản lý dữ liệu là cung cấp kho lưu trữ tập trung để lưu trữ, tích hợp và quản lý dữ liệu của tổ chức từ nhiều nguồn khác nhau.

Nó cho phép tổ chức thực hiện phân tích, báo cáo và khai thác dữ liệu phức tạp để hiểu rõ hơn về việc ra quyết định. Kho dữ liệu cũng tạo điều kiện tích hợp dữ liệu, đảm bảo rằng dữ liệu từ các hệ thống khác nhau có thể được kết hợp và phân tích liền mạch. Ngoài ra, nó hỗ trợ các sáng kiến về chất lượng dữ liệu bằng cách cung cấp nguồn thông tin nhất quán và đáng tin cậy cho báo cáo và thông tin kinh doanh. Data LakeHouse và sự kết hợp của Data Lakes và Data Warehouse Khái niệm về Data LakeHouse kết hợp các yếu tố của Data Lake và Data Warehouse.

Nó nhằm mục đích giải quyết các hạn chế của Data Warehouse truyền thống và tính linh hoạt của Data Lake bằng cách cung cấp nền tảng thống nhất cho cả dữ liệu có cấu trúc và không cấu trúc. Data LakeHouse tích hợp khả năng lưu trữ và xử lý có thể mở rộng của Hồ dữ liệu với các tính năng quản lý dữ liệu và truy vấn có cấu trúc của Data Warehouse. Việc tích hợp này cho phép các tổ chức lưu trữ tất cả các loại dữ liệu ở dạng thô (Data Lake) và sau đó áp dụng các kỹ thuật lược đồ khi đọc hoặc lược đồ khi ghi để cấu trúc dữ liệu khi cần, tương tự như Data Warehouse. 19 Bằng cách kết hợp các điểm mạnh của cả Data Lake và Data Warehouse, kiến trúc Data LakeHouse mang lại sự linh hoạt để xử lý các loại và định dạng dữ liệu đa dạng, đồng thời cung cấp khả năng phân tích và truy vấn mạnh mẽ cho dữ liệu có cấu trúc.

Định nghĩa và cấu trúc của Data Lake Định nghĩa: Data Lake là một khái niệm trong lĩnh vực quản lý dữ liệu, được sử dụng để mô tả một kho lưu trữ tập trung chứa một lượng lớn dữ liệu, từ dữ liệu có cấu trúc, dữ liệu bán cấu trúc, đến dữ liệu phi cấu trúc. Khác với Data Warehouse, nơi dữ liệu được tổ chức và cấu trúc trước khi lưu trữ, Data Lake cho phép lưu trữ dữ liệu ở dạng thô, nguyên bản. Điều này cho phép các tổ chức lưu trữ dữ liệu từ nhiều nguồn khác nhau mà không cần phải chuyển đổi hay định dạng ngay từ đầu, giúp tiết kiệm thời gian và chi phí. Một số đặc điểm nổi bật của Data Lake: Linh hoạt: Cho phép lưu trữ bất kỳ loại dữ liệu nào, bao gồm dữ liệu từ hệ thống giao dịch, dữ liệu cảm biến, dữ liệu từ mạng xã hội, và dữ liệu từ các nguồn khác.

Quy mô lớn: Data Lake được thiết kế để xử lý và lưu trữ dữ liệu với quy mô lớn, phù hợp với nhu cầu của các tổ chức lớn. Chi phí hiệu quả: Nhờ khả năng lưu trữ dữ liệu thô, Data Lake thường có chi phí lưu trữ thấp hơn so với các hệ thống lưu trữ dữ liệu truyền thống. Cấu trúc Cấu trúc của Data Lake thường được tổ chức theo một số lớp cơ bản để quản lý và xử lý dữ liệu một cách hiệu quả. Các lớp này bao gồm: Lớp nhập liệu (Ingestion Layer): Đây là lớp đầu tiên trong Data Lake, nơi dữ liệu từ các nguồn khác nhau được nhập vào.

Dữ liệu có thể được nhập theo thời gian thực hoặc theo lô, từ các hệ thống giao dịch, thiết bị IoT, ứng dụng web, và các nguồn khác. Các công cụ và công nghệ phổ biến trong lớp này bao gồm Apache Kafka, AWS Kinesis, và Azure Event Hubs. 20 Lớp lưu trữ (Storage Layer): Dữ liệu sau khi được nhập vào sẽ được lưu trữ ở lớp này. Lớp lưu trữ trong Data Lakes thường sử dụng các hệ thống lưu trữ phân tán như Hadoop Distributed File System (HDFS), Amazon S3, hoặc Azure Data Lake Store.

Lớp này cho phép lưu trữ dữ liệu thô, không thay đổi, và dữ liệu có thể được lưu trữ ở nhiều định dạng khác nhau như JSON, XML, CSV, hoặc Parquet. Lớp xử lý (Processing Layer): Đây là lớp chịu trách nhiệm xử lý và chuyển đổi dữ liệu. Dữ liệu thô từ lớp lưu trữ sẽ được xử lý để tạo ra dữ liệu có cấu trúc hoặc bán cấu trúc, phục vụ cho các mục đích phân tích và báo cáo. Các công cụ và công nghệ thường được sử dụng trong lớp này bao gồm Apache Spark, Apache Flink, và AWS Glue.

Lớp truy vấn và phân tích (Query and Analytics Layer): Lớp này cung cấp các công cụ và dịch vụ để truy vấn, phân tích dữ liệu đã được xử lý. Người dùng có thể sử dụng các công cụ phân tích dữ liệu như Apache Hive, Presto, hoặc AWS Athena để truy vấn dữ liệu trực tiếp từ Data Lake. Ngoài ra, các công cụ BI (Business Intelligence) như Tableau, Power BI cũng có thể được tích hợp để cung cấp các báo cáo và dashboard từ dữ liệu trong Data Lake. Lớp bảo mật và quản lý (Security and Governance Layer): Lớp này đảm bảo rằng dữ liệu trong Data Lake được bảo mật và quản lý một cách hiệu quả.

Các cơ chế kiểm soát truy cập, mã hóa dữ liệu, và quản lý dữ liệu được triển khai để bảo vệ dữ liệu khỏi các mối đe dọa và đảm bảo tuân thủ các quy định pháp lý. Các công cụ và công nghệ thường được sử dụng bao gồm AWS IAM, Azure Active Directory, và Apache Ranger. Kết luận Data Lake mang lại nhiều lợi ích cho các tổ chức trong việc lưu trữ và quản lý dữ liệu lớn. Với khả năng lưu trữ dữ liệu thô và hỗ trợ đa dạng các loại dữ liệu, Data Lake giúp các tổ chức linh hoạt hơn trong việc xử lý và phân tích dữ liệu.

Cấu trúc của 21 Data Lake được thiết kế để đảm bảo dữ liệu được lưu trữ, xử lý, và truy vấn một cách hiệu quả, đồng thời đảm bảo tính bảo mật và tuân thủ các quy định. Sự liên kết với Big Data và dữ liệu phi cấu trúc Liên kết với Big Data: Data Lake và Big Data có mối quan hệ mật thiết với nhau. Big Data đề cập đến khối lượng lớn dữ liệu mà các tổ chức thu thập, lưu trữ và phân tích để có được các thông tin quan trọng. Data Lakes đóng vai trò quan trọng trong việc lưu trữ và quản lý Big Data, cung cấp một kho lưu trữ tập trung cho tất cả các loại dữ liệu, bao gồm dữ liệu có cấu trúc, dữ liệu bán cấu trúc, và dữ liệu phi cấu trúc.

Khả năng lưu trữ lớn: Data Lake có khả năng lưu trữ khối lượng lớn dữ liệu mà không gặp vấn đề về giới hạn dung lượng. Điều này rất quan trọng đối với các ứng dụng Big Data, nơi mà lượng dữ liệu có thể tăng lên nhanh chóng và không ngừng (White, 2015). Lưu trữ dữ liệu thô: Một trong những đặc điểm chính của Data Lake là khả năng lưu trữ dữ liệu thô mà không cần phải chuyển đổi hoặc xử lý trước. Điều này phù hợp với bản chất của Big Data, nơi dữ liệu thường đến từ nhiều nguồn và ở nhiều định dạng khác nhau (Gorelik, 2019).

Hỗ trợ phân tích nâng cao: Data Lake cung cấp nền tảng để triển khai các kỹ thuật phân tích Big Data như Machine Learning, phân tích dữ liệu lớn, và trí tuệ nhân tạo. Điều này giúp các tổ chức khai thác giá trị từ Big Data một cách hiệu quả hơn. Liên kết với dữ liệu phi cấu trúc: Dữ liệu phi cấu trúc bao gồm các loại dữ liệu không tuân theo mô hình hoặc cấu trúc xác định, chẳng hạn như văn bản, hình ảnh, video, và dữ liệu từ mạng xã hội. Data Lakes được thiết kế để lưu trữ và quản lý hiệu quả dữ liệu phi cấu trúc, nhờ vào khả năng linh hoạt và mở rộng của nó.

Lưu trữ đa dạng loại dữ liệu: Data Lakes có khả năng lưu trữ nhiều loại dữ liệu khác nhau mà không cần phải định dạng hoặc cấu trúc lại. Điều này đặc biệt hữu ích cho dữ liệu phi cấu trúc, giúp các tổ chức lưu trữ và quản lý dữ liệu từ nhiều nguồn khác nhau. 22 Truy cập và phân tích dữ liệu phi cấu trúc: Các công cụ và công nghệ truy vấn dữ liệu hiện đại cho phép truy cập và phân tích dữ liệu phi cấu trúc trong Data Lakes. Điều này bao gồm việc sử dụng các kỹ thuật như xử lý ngôn ngữ tự nhiên (NLP) và phân tích hình ảnh để khai thác thông tin từ dữ liệu phi cấu trúc.

Tích hợp dữ liệu phi cấu trúc vào quy trình kinh doanh: Data Lakes giúp các tổ chức tích hợp dữ liệu phi cấu trúc vào các quy trình kinh doanh hiện có, từ đó cải thiện hiệu quả hoạt động và đưa ra các quyết định dựa trên dữ liệu. Kết luận: Data Lakes không chỉ là một giải pháp lưu trữ hiệu quả cho Big Data mà còn là một nền tảng mạnh mẽ cho việc quản lý và phân tích dữ liệu phi cấu trúc. Khả năng lưu trữ và xử lý khối lượng lớn dữ liệu từ nhiều nguồn và định dạng khác nhau giúp Data Lakes trở thành một thành phần quan trọng trong hệ thống quản lý dữ liệu của các tổ chức hiện đại. Khái niệm và mục tiêu của Data Warehouse Khái niệm về Data Warehouse: Là một hệ thống lưu trữ dữ liệu từ nhiều nguồn.

hoạt động như một kho lưu trữ trung tâm (dữ liệu được xử lý và đưa vào kho dữ liệu từ các hệ thống, các cơ sở dữ liệu liên quan khác, sau đó được sử lý và chuyển đổi để người dùng có thể truy cập dữ liệu thông qua các công cụ Business Intelligence, SQL, bảng tính). Hỗ trợ quá trình đưa ra quyết định, cũng như tập chung cho việc lưu trữ và phân tích.