Khóa luận xây dựng Data Lake hỗ trợ gợi ý tập khách hàng ngành bán lẻ - ĐH Công nghệ Thông tin

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp kỹ thuật phần mềm xây dựng datalake hỗ trợ gợi ý tập khách hàng trong ngành, điều tra thực trạng, phân tích số liệu, đề

• Tác giả: Nguyễn Quốc An
• Người hướng dẫn: PGS.TS Vũ Đức Lung
• Trường học: Đại Học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xây Dựng Data Lake Hỗ Trợ Gợi Ý Tập Khách Hàng Trong Ngành Bán Lẻ
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TONG QUAN DE TAI
• 1.1. Mục tiêu và phạm vi
• 1.2. Nội dung thực hiện
• 3. CHƯƠNG 3: HE THONG TEP PHAN TAN HADOOP (HDFS)
• 4. CHƯƠNG 4: HE THONG KHUYEN NGHỊ LÀ GÌ, CÁC KHÁI NIỆM VÀ THUẬT TOÁN
• 4.1. HỆ THỐNG KHUYẾN NGHỊ LÀ GÌ
• 4.2. CÁC HƯỚNG TIẾP CẬN CHO HỆ THỐNG KHUYẾN NGHỊ
• 4.3. CÁC THUẬT TOÁN SỬ DỤNG TRONG HỆ THỐNG KHUYẾN NGHỊ
• 5. CHƯƠNG 5: PHÂN TÍCH THIẾT KẾ HỆ THỐNG
• 5.1. TRÌNH BÀY VỀ CUSTOMER DATA PLATFORM, SINGLE CUSTOMER VIEW
• 5.2. PHÂN TÍCH ĐỐI TƯỢNG KHÁCH HÀNG
• 5.3. NHỮNG CÔNG NGHỆ ĐƯỢC ỨNG DỤNG TRONG DATA LAKE
• 5.4. NHỮNG CÔNG NGHỆ ĐƯỢC ỨNG DỤNG TRONG RECOMMENDER SYSTEM
• 5.5. TỔNG QUAN VỀ HỆ THỐNG
• 5.5.1. Phạm vi của hệ thống
• 5.5.2. Mục đích của hệ thống
• 5.5.3. So sánh với các hệ thống hiện có trên thị trường
• 5.6. PHÂN TÍCH NGHIỆP VỤ CỦA HỆ THỐNG
• 5.6.1. Usecase của hệ thống
• 5.6.2. Danh sách các yêu cầu để xây dựng DataLake
• 5.6.3. Danh sách các yêu cầu để xây dựng Recommender System
• 5.7. Phân tích
• 5.8. Thiết kế và mô tả giao diện
• 6. CHƯƠNG 6: XÂY DỰNG DATA LAKE
• 6.1. TRÌNH BÀY Ý TƯỞNG
• 7. CHƯƠNG 7: HIỆN THỰC HÓA Ý TƯỞNG VỀ DATALAKE
• 7.1. YÊU CẦU PHẦN MỀM
• 7.2. YÊU CẦU PHẦN CỨNG
• 7.3. HƯỚNG DẪN CHUẨN BỊ MÔI TRƯỜNG LÀM VIỆC
• 7.3.1. Cài đặt DAV
• 7.3.2. Cài đặt Oracle JDK
• 7.3.3. Cài đặt Hadoop
• 7.3.4. Cài đặt KAFKA
• 7.3.5. Cài đặt Dremio
• 7.3.6. Cài đặt Sqoop/PostgreSQL/HBase
• 7.3.7. Xây dựng DataLake
• 8. CHƯƠNG 8: XÂY DỰNG RECOMMENDER SYSTEM VÀ TỔNG QUAN CỦA TOÀN BỘ HỆ THỐNG
• 8.1. HIỆN THỰC HÓA Ý TƯỞNG
• 8.2. PHẦN KHAI THÁC DỮ LIỆU
• 8.3. MÔ HÌNH KIẾN TRÚC CỦA TOÀN BỘ HỆ THỐNG
• 9. CHƯƠNG 9: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 9.1. KẾT QUẢ ĐẠT ĐƯỢC
• 9.2. Ưu điểm
• 9.3. Khuyết điểm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xây Dựng Data Lake Trong Ngành Bán Lẻ

Xây dựng Data Lake là một xu hướng quan trọng trong ngành bán lẻ hiện nay. Với sự phát triển nhanh chóng của công nghệ thông tin, việc lưu trữ và phân tích dữ liệu lớn trở nên cần thiết hơn bao giờ hết. Data Lake cho phép doanh nghiệp thu thập và lưu trữ dữ liệu từ nhiều nguồn khác nhau, giúp cải thiện khả năng gợi ý và phân tích hành vi của khách hàng. Việc áp dụng trí tuệ nhân tạo và machine learning trong Data Lake sẽ giúp doanh nghiệp hiểu rõ hơn về nhu cầu và sở thích của khách hàng.

1.1. Khái Niệm Về Data Lake Và Lợi Ích Của Nó

Data Lake là một kho lưu trữ dữ liệu lớn, cho phép lưu trữ dữ liệu thô từ nhiều nguồn khác nhau. Lợi ích của Data Lake bao gồm khả năng lưu trữ dữ liệu không cấu trúc, dễ dàng truy cập và phân tích, từ đó giúp doanh nghiệp đưa ra quyết định chính xác hơn.

1.2. Tầm Quan Trọng Của Dữ Liệu Trong Ngành Bán Lẻ

Dữ liệu đóng vai trò quan trọng trong việc hiểu khách hàng và tối ưu hóa quy trình kinh doanh. Việc phân tích dữ liệu giúp doanh nghiệp dự đoán xu hướng tiêu dùng và cải thiện trải nghiệm khách hàng.

II. Thách Thức Trong Việc Xây Dựng Data Lake Hỗ Trợ Gợi Ý Khách Hàng

Mặc dù Data Lake mang lại nhiều lợi ích, nhưng việc xây dựng và triển khai nó cũng gặp phải nhiều thách thức. Các vấn đề như bảo mật dữ liệu, quản lý chất lượng dữ liệu và khả năng mở rộng là những yếu tố cần được xem xét kỹ lưỡng. Doanh nghiệp cần có chiến lược rõ ràng để giải quyết những thách thức này nhằm tối ưu hóa hiệu quả của Data Lake.

2.1. Vấn Đề Bảo Mật Dữ Liệu Trong Data Lake

Bảo mật dữ liệu là một trong những thách thức lớn nhất khi xây dựng Data Lake. Doanh nghiệp cần đảm bảo rằng dữ liệu được lưu trữ an toàn và chỉ có những người có quyền truy cập mới có thể xem và phân tích dữ liệu.

2.2. Quản Lý Chất Lượng Dữ Liệu

Quản lý chất lượng dữ liệu là yếu tố quan trọng để đảm bảo rằng dữ liệu trong Data Lake là chính xác và đáng tin cậy. Doanh nghiệp cần thiết lập các quy trình kiểm tra và làm sạch dữ liệu thường xuyên.

III. Phương Pháp Xây Dựng Data Lake Hiệu Quả

Để xây dựng một Data Lake hiệu quả, doanh nghiệp cần áp dụng các phương pháp và công nghệ hiện đại. Việc sử dụng các công cụ như Hadoop, Spark và Kafka sẽ giúp tối ưu hóa quy trình lưu trữ và xử lý dữ liệu. Ngoài ra, việc áp dụng machine learning trong phân tích dữ liệu sẽ giúp doanh nghiệp đưa ra những gợi ý chính xác hơn cho khách hàng.

3.1. Sử Dụng Công Nghệ Hadoop Trong Data Lake

Hadoop là một trong những công nghệ phổ biến nhất để xây dựng Data Lake. Nó cho phép lưu trữ và xử lý dữ liệu lớn một cách hiệu quả, giúp doanh nghiệp tiết kiệm chi phí và thời gian.

3.2. Tích Hợp Machine Learning Vào Data Lake

Việc tích hợp machine learning vào Data Lake giúp doanh nghiệp phân tích dữ liệu một cách thông minh hơn. Các thuật toán học máy có thể giúp dự đoán hành vi của khách hàng và tối ưu hóa các chiến lược marketing.

IV. Ứng Dụng Thực Tiễn Của Data Lake Trong Ngành Bán Lẻ

Việc áp dụng Data Lake trong ngành bán lẻ đã mang lại nhiều kết quả tích cực. Doanh nghiệp có thể sử dụng dữ liệu để phân tích hành vi mua sắm của khách hàng, từ đó đưa ra các gợi ý sản phẩm phù hợp. Điều này không chỉ giúp tăng doanh thu mà còn cải thiện trải nghiệm khách hàng.

4.1. Phân Tích Hành Vi Khách Hàng

Phân tích hành vi khách hàng thông qua Data Lake giúp doanh nghiệp hiểu rõ hơn về nhu cầu và sở thích của khách hàng. Từ đó, doanh nghiệp có thể đưa ra các chiến lược marketing hiệu quả hơn.

4.2. Gợi Ý Sản Phẩm Dựa Trên Dữ Liệu

Sử dụng dữ liệu từ Data Lake, doanh nghiệp có thể gợi ý sản phẩm phù hợp với từng khách hàng. Điều này không chỉ giúp tăng doanh thu mà còn tạo ra sự hài lòng cho khách hàng.

V. Kết Luận Và Hướng Phát Triển Trong Ngành Bán Lẻ

Xây dựng Data Lake hỗ trợ gợi ý tập khách hàng trong ngành bán lẻ là một xu hướng tất yếu trong thời đại số. Doanh nghiệp cần tiếp tục đầu tư vào công nghệ và cải tiến quy trình để tối ưu hóa hiệu quả của Data Lake. Hướng phát triển trong tương lai sẽ tập trung vào việc tích hợp các công nghệ mới và cải thiện khả năng phân tích dữ liệu.

5.1. Tương Lai Của Data Lake Trong Ngành Bán Lẻ

Tương lai của Data Lake trong ngành bán lẻ sẽ tiếp tục phát triển mạnh mẽ với sự hỗ trợ của các công nghệ mới. Doanh nghiệp cần nắm bắt xu hướng này để không bị tụt lại phía sau.

5.2. Đầu Tư Vào Công Nghệ Mới

Đầu tư vào công nghệ mới sẽ giúp doanh nghiệp tối ưu hóa quy trình và nâng cao hiệu quả của Data Lake. Việc áp dụng các công nghệ như AI và machine learning sẽ giúp doanh nghiệp cải thiện khả năng phân tích và gợi ý sản phẩm.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số và sự phát triển của công nghệ thông tin, dữ liệu đã trở thành tài sản chiến lược và nền tảng cốt lõi cho mọi quy trình ra quyết định trong doanh nghiệp. Sự gia tăng vượt bậc về khối lượng, tốc độ và chủng loại dữ liệu từ các hoạt động trực tuyến, mạng xã hội và hệ thống giao dịch đặt ra thách thức lớn đối với các hệ thống quản trị cơ sở dữ liệu truyền thống. Đối với ngành bán lẻ, việc nắm bắt hành vi, dự đoán nhu cầu và sở thích của khách hàng đóng vai trò quyết định trong việc tối ưu hóa trải nghiệm người dùng, gia tăng hiệu quả kinh doanh thông qua bán thêm (up-sale), bán chéo (cross-sale) và giữ chân khách hàng.

Khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Phần mềm của nhóm tác giả Nguyễn Quốc An và Lưu Hoàng Hiệp (Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM, năm 2021), dưới sự hướng dẫn của PGS.TS Vũ Đức Lung và ThS Đỗ Thị Thanh Tuyền, tập trung giải quyết bài toán lưu trữ, quản lý và khai thác dữ liệu lớn thông qua đề tài: "Xây dựng DataLake hỗ trợ gợi ý tập khách hàng trong ngành bán lẻ" (Build Data Lake to support suggesting customer group in retail industries).

Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu tổng quát của đề tài là nghiên cứu, thiết kế và hiện thực hóa một hệ thống Data Lake kết hợp với hệ thống khuyến nghị (Recommender System) tại chỗ (on-premise) nhằm hỗ trợ doanh nghiệp bán lẻ thu thập, phân tích dữ liệu đa nguồn và đưa ra các đề xuất sản phẩm phù hợp theo thời gian thực.

Các mục tiêu và nhiệm vụ cụ thể được xác định trong văn bản bao gồm:

1. Nghiên cứu khảo sát các khái niệm chuyên ngành về Dữ liệu lớn (Big Data), Data Lake, Data Warehouse và các nền tảng xử lý dữ liệu lớn hiện hành (Hadoop Ecosystem, SMACK, Mongo ELK).
2. Phân tích ưu, nhược điểm của các kiến trúc hệ thống dữ liệu lớn, đặc biệt là kiến trúc Lambda (với ba tầng: Batch Layer, Speed Layer và Serving Layer).
3. Thiết kế và triển khai hệ thống Data Lake tại chỗ (on-premise) dựa trên các công nghệ mã nguồn mở (Hadoop, HDFS, YARN, Zookeeper, Kafka, Confluent, Dremio, PostgreSQL, HBase, Sqoop).
4. Nghiên cứu lý thuyết, phương pháp tiếp cận và các thuật toán trong hệ thống khuyến nghị (Collaborative Filtering, Content-Based Filtering, Hybrid Recommended, Session-Based Filtering, Reinforcement Learning).
5. Lựa chọn và thực nghiệm giải thuật máy học phù hợp (Fast Incremental Matrix Factorization với Incremental Stochastic Gradient Descent - ISGD) cùng các độ đo tương đồng (Cosine Similarity, Pearson correlation coefficient, Euclidean Distance).
6. Xây dựng và tích hợp hệ thống khuyến nghị thời gian thực với Data Lake, hoàn thiện giao diện trực quan cho người dùng và quản trị viên.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Nền tảng lưu trữ dữ liệu lớn (Data Lake), kiến trúc xử lý phân tán và hệ thống khuyến nghị (Recommender System) ứng dụng trong phân tích hành vi khách hàng ngành bán lẻ.
• Phạm vi không gian và công nghệ: Các hệ thống dữ liệu lớn on-premise dành cho doanh nghiệp vừa và nhỏ, khai thác hệ sinh thái phần mềm mã nguồn mở của Apache và Confluent.
• Phạm vi thời gian thực hiện: Đề tài được triển khai trong thời gian 15 tuần (từ ngày 01/09/2020 đến ngày 21/01/2021), chia thành 3 giai đoạn:
  • Phase 1 (01/09/2020 – 31/10/2020): Nghiên cứu Big Data, kiến trúc Lambda và triển khai hạ tầng Data Lake.
  • Phase 2 (02/11/2020 – 31/12/2020): Nghiên cứu thuật toán và xây dựng hệ thống Recommender System.
  • Phase 3 (02/01/2021 – 21/01/2021): Hoàn thiện và tổng kiểm thử hệ thống.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và khái niệm cốt lõi

Khóa luận xây dựng nền tảng lý luận dựa trên các khái niệm và mô hình kỹ thuật sau:

• Đặc trưng 6V của Dữ liệu lớn: Hệ thống hóa 6 thuộc tính cơ bản của Big Data gồm: Dung lượng (Volume), Vận tốc (Velocity), Đa dạng (Variety - có cấu trúc và phi cấu trúc), Biến thiên (Variability), Giá trị (Value) và Độ xác thực (Veracity).
• Kiến trúc Lambda: Khung kiến trúc tích hợp xử lý lô (Batch Layer) và xử lý luồng thời gian thực (Speed Layer), phục vụ dữ liệu đồng nhất qua tầng Serving Layer.
• Customer Data Platform (CDP) & Single Customer View (SCV): Mô hình hợp nhất toàn bộ dữ liệu hành vi, nhân khẩu học và giao dịch của khách hàng thành một góc nhìn duy nhất nhằm phục vụ phân khúc và cá nhân hóa.
• Mô hình hệ thống khuyến nghị (Recommender System):
  • Lọc cộng tác (Collaborative Filtering): Khai thác ma trận tương tác User - Item dựa trên hành vi quá khứ; chia thành tiếp cận dựa trên bộ nhớ (Memory-Based: User-based, Item-based) và dựa trên mô hình (Model-Based).
  • Lọc dựa trên nội dung (Content-Based Filtering): Đề xuất dựa trên các thuộc tính của sản phẩm và hồ sơ sở thích của người dùng.
  • Phân rã ma trận gia số nhanh (Fast Incremental Matrix Factorization): Áp dụng thuật toán tối ưu hóa Incremental Stochastic Gradient Descent (ISGD) với phản hồi tích cực (Positive Feedback) để cập nhật mô hình học máy theo thời gian thực mà không cần tính toán lại toàn bộ ma trận dữ liệu lịch sử.

Khái niệm / Đơn vị	Định nghĩa / Giá trị quy đổi trong văn bản
Byte (B)	8 bits
Kilobyte (KB)	$1024\text{ B} = 2^{10}\text{ bytes}$
Megabyte (MB)	$1024\text{ KB} = 10^6\text{ bytes}$
Gigabyte (GB)	$1024\text{ MB} = 10^9\text{ bytes}$
Terabyte (TB)	$1024\text{ GB} = 10^{12}\text{ bytes}$
Petabyte (PB)	$1024\text{ TB} = 10^{15}\text{ bytes}$
Exabyte (EB)	$1024\text{ PB} = 10^{18}\text{ bytes}$
Zettabyte (ZB)	$1024\text{ EB} = 10^{21}\text{ bytes}$
Yottabyte (YB)	$1024\text{ ZB} = 10^{24}\text{ bytes}$

Phương pháp nghiên cứu

• Phương pháp phân tích - tổng hợp lý thuyết: Khảo sát các nền tảng thương mại và hệ thống thực tế (Steam, Shopee, YouTube, Netflix, Amazon) để phân tích yêu cầu kỹ thuật cho Data Lake và Recommender System.
• Phương pháp thiết kế kiến trúc phần mềm: Mô hình hóa nghiệp vụ thông qua sơ đồ Use Case, Product Backlog, User Story; thiết kế kiến trúc phân tán đa tầng kết hợp xử lý dữ liệu lô và luồng.
• Phương pháp thực nghiệm kỹ thuật: Cài đặt, cấu hình các dịch vụ mã nguồn mở trên môi trường máy chủ cục bộ; thực nghiệm thu nhận dữ liệu, trích xuất dữ liệu dạng cột (Columnar format) qua Dremio và kiểm thử thuật toán ISGD trên luồng dữ liệu thời gian thực.

Nguồn dữ liệu

Nghiên cứu sử dụng nguồn dữ liệu mô phỏng và log giao dịch bán lẻ (gồm thông tin danh mục sản phẩm, lịch sử xem, giỏ hàng, giao dịch mua hàng, đánh giá sản phẩm) cùng các luồng sự kiện truyền phát liên tục từ ứng dụng người dùng.

---

Thiết kế và triển khai

Khóa luận là công trình thuộc loại đồ án xây dựng hệ thống phần mềm và hạ tầng kỹ thuật phân tán, gồm các nội dung thiết kế và triển khai chi tiết:

Kiến trúc tổng thể hệ thống

Hệ thống được thiết kế theo mô hình kiến trúc Lambda cải tiến, tích hợp giữa Data Lake và Recommender System:

[Nguồn Dữ Liệu: Web / App / DB]

Thành phần công nghệ và công cụ triển khai

• Môi trường & Nền tảng: Oracle JDK, DAV, hệ điều hành Linux.
• Hệ sinh thái lưu trữ & Quản lý cụm:
  • Hadoop Distributed File System (HDFS): Hoạt động theo kiến trúc Master-Slave (NameNode và DataNode). Kích thước khối mặc định được cấu hình là 64MB (hỗ trợ điều chỉnh lên 128MB, 256MB); hệ số nhân bản (replication factor) mặc định là 3 (1 bản sao cùng giá máy chủ, 2 bản sao ở giá máy chủ khác); chu kỳ nhịp tim (heartbeat) giữa DataNode và NameNode là 3 giây (nếu mất 10 nhịp liên tiếp tương đương 30 giây, NameNode đánh dấu nút lỗi và điều hướng truy xuất sang bản sao dự phòng).
  • YARN (Yet Another Resource Negotiator): Thay thế mô hình JobTracker/TaskTracker truyền thống bằng 4 dịch vụ độc lập: Resource Manager, Node Manager, Container và Application Manager.
  • Apache Zookeeper: Đảm nhiệm vai trò quản lý không gian tên phân cấp, cấu hình và đồng bộ hóa trạng thái cụm phân tán.
• Nền tảng truyền phát và tích hợp sự kiện (Event Streaming):
  • Apache Kafka & Confluent Platform: Tổ chức dữ liệu theo các Chủ đề (Topic). Cung cấp các thành phần: Kafka Brokers, Java Client API (Producer API, Consumer API, Streams API, Connect API), Confluent Control Center, KsqlDB, Schema Registry và Confluent REST Proxy.
• Công cụ truy vấn và xử lý phân tán:
  • Dremio: Công cụ tăng tốc truy vấn dữ liệu phân tán trực tiếp trên HDFS và PostgreSQL bằng cách ánh xạ dữ liệu theo định dạng cột (Columnar format).
  • Apache Spark: Tích hợp các module Spark Core, Spark SQL, Spark Streaming, GraphX và MLlib. Văn bản trích dẫn số liệu hiệu năng: Spark có tốc độ xử lý trên bộ nhớ nhanh hơn 100 lần so với MapReduce và nhanh hơn 10 lần khi thao tác trên đĩa cứng; hỗ trợ đa ngôn ngữ gồm Java, Python, Scala và R.
  • Cơ sở dữ liệu & Tích hợp: PostgreSQL, Apache HBase, Apache Sqoop.

Thiết kế hệ thống khuyến nghị và giao diện

• Module xử lý học máy: Kết hợp bộ lọc Collaborative Filtering (gợi ý theo hành vi nhóm người dùng tương đồng) và Content-Based Filtering (gợi ý theo đặc tính sản phẩm). Triển khai thuật toán Fast Incremental Matrix Factorization với kỹ thuật cập nhật trọng số gia số ISGD khi nhận tín hiệu phản hồi tích cực từ khách hàng.
• Giao diện người dùng (UI): Thiết kế các phân hệ màn hình chức năng bao gồm: Màn hình quản lý Data Lake, Màn hình truy xuất thông tin Data Lake, Màn hình xem chi tiết dữ liệu Data Lake, Màn hình chính Recommender System, Màn hình tìm kiếm sản phẩm và Màn hình hiển thị sản phẩm khuyến nghị / sản phẩm tương tự.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Trình bày lý do lựa chọn đề tài xuất phát từ nhu cầu thực tiễn của ngành bán lẻ trong việc tối ưu hóa trải nghiệm khách hàng (User Experience) và nâng cao hiệu suất kinh doanh. Xác định mục tiêu, phạm vi tiếp cận hệ thống dữ liệu lớn on-premise và hệ thống khuyến nghị. Phác thảo nội dung triển khai gồm tìm hiểu lý thuyết Big Data, khảo sát thị trường, thiết kế và hiện thực hóa hệ thống Data Lake kết hợp Recommender System.

Chương 2: Dữ liệu lớn là gì, các khái niệm chuyên ngành cần làm rõ

Khảo sát thực trạng gia tăng dữ liệu trong các hệ thống trực tuyến. Phân tích chi tiết 6 đặc trưng của Big Data (6V): Volume, Velocity, Variety, Variability, Value, Veracity. Dẫn chứng số liệu thực tế về tốc độ sinh dữ liệu trên toàn cầu trong mỗi 60 giây (168 triệu email được gửi, 98.000 tweet mới trên Twitter, 698.445 lượt tìm kiếm trên Google, 1.820TB dữ liệu được tạo ra). Phân biệt dữ liệu có cấu trúc và phi cấu trúc; so sánh hạ tầng lưu trữ đám mây (Cloud) với hạ tầng tại chỗ (On-premise).

Chương 3: Hệ sinh thái Hadoop

Trình bày chi tiết kiến trúc và cơ chế hoạt động của Apache Hadoop và các dự án liên quan:

• HDFS: Cơ chế NameNode, DataNode, metadata, xử lý lỗi chịu lỗi (Fault Tolerance), cấu hình block size 64MB và cơ chế heartbeat 3 giây.
• MapReduce & YARN: Mô hình Map-Reduce (cặp key-value) và sự chuyển đổi sang YARN với các thành phần Resource Manager, Node Manager, Container, Application Manager.
• Các thành phần bổ trợ: Apache Zookeeper (đồng bộ hóa cụm), Apache Kafka (Producer, Consumer, Broker, Topic), Confluent Platform (Schema Registry, KsqlDB, REST Proxy, Control Center) và Apache Spark (Spark Core, SQL, Streaming, MLlib, GraphX với hiệu năng vượt trội MapReduce).

Chương 4: Hệ thống khuyến nghị là gì, các khái niệm và thuật toán được áp dụng

Định nghĩa hệ thống khuyến nghị như một phân hệ của hệ thống lọc thông tin (Information Filtering System). Phân tích hai hướng tiếp cận chính: Collaborative Filtering (User-based và Item-based) và Content-Based Filtering. Giới thiệu giải thuật Fast Incremental Matrix Factorization with Positive Feedback dựa trên phương pháp Stochastic Gradient Descent (SGD) cải tiến thành Incremental SGD (ISGD) giúp cập nhật ma trận trọng số liên tục trên từng điểm dữ liệu mới.

Chương 5: Phân tích thiết kế hệ thống

Trình bày kiến trúc Customer Data Platform (CDP) và Single Customer View (SCV). Khảo sát các mô hình khuyến nghị thực tế của Steam, Shopee, YouTube, Netflix và Amazon. Xác định Use Case, phân tích nghiệp vụ, xây dựng Product Backlog và User Story cho cả hai phân hệ Data Lake và Recommender System. Phác thảo sơ đồ thiết kế giao diện tương tác cho người dùng và quản trị viên.

Chương 6: Xây dựng Data Lake

Trình bày ý tưởng thiết kế Data Lake đáp ứng khả năng lưu trữ linh hoạt dữ liệu đa cấu trúc, phân tách rõ ràng giữa tầng lưu trữ dữ liệu thô và tầng xử lý phục vụ học máy.

Chương 7: Hiện thực hóa ý tưởng về DataLake

Quy định cấu hình yêu cầu phần cứng và phần mềm. Hướng dẫn từng bước thiết lập môi trường làm việc: cài đặt DAV, Oracle JDK, Apache Hadoop, Apache Kafka, Dremio, Sqoop, PostgreSQL và Apache HBase. Thực hiện ánh xạ dữ liệu thô lên Dremio theo định dạng cột (Columnar format) để tối ưu hóa hiệu năng truy vấn.

Chương 8: Xây dựng Recommender System và tổng quan của toàn bộ hệ thống

Hiện thực hóa module khai thác dữ liệu và huấn luyện mô hình khuyến nghị. Xây dựng giao diện hiển thị kết quả gợi ý sản phẩm theo Collaborative Filtering và Content-Based Filtering. Trình bày sơ đồ kiến trúc tích hợp hoàn chỉnh của toàn bộ hệ thống kết nối giữa Data Lake, Kafka, Dremio và giao diện web.

Chương 9: Kết luận và hướng phát triển

Đánh giá tổng kết kết quả đạt được, phân tích ưu điểm về khả năng mở rộng, chi phí vận hành tại chỗ và tính linh hoạt trong xử lý dữ liệu lớn; đồng thời chỉ rõ các hạn chế kỹ thuật hiện tại và đề xuất định hướng phát triển trong tương lai.

Chương 10: Tài liệu tham khảo

Liệt kê danh mục tài liệu nghiên cứu, sách chuyên ngành và tài liệu kỹ thuật nguồn mở về Big Data, Hadoop, Kafka và Recommender Systems.

---

Kết quả và đóng góp

Kết quả chính đạt được

• Xây dựng hoàn chỉnh hạ tầng Data Lake on-premise kết hợp xử lý lô và xử lý luồng, tích hợp thành công các công nghệ HDFS, YARN, Zookeeper, Kafka, Dremio và PostgreSQL.
• Hiện thực hóa quy trình ánh xạ dữ liệu bán lẻ theo định dạng cột (Columnar) trên Dremio, giúp giảm thiểu độ trễ truy xuất dữ liệu lớn phục vụ phân tích.
• Triển khai thành công hệ thống khuyến nghị ứng dụng thuật toán Fast Incremental Matrix Factorization với kỹ thuật cập nhật gia số ISGD, cho phép đưa ra gợi ý sản phẩm theo thời gian thực dựa trên luồng sự kiện của khách hàng.
• Xây dựng bộ giao diện trực quan đáp ứng các tác vụ quản trị Data Lake, tra cứu dữ liệu và hiển thị danh mục sản phẩm gợi ý cá nhân hóa cho người dùng.

Đóng góp của đề tài

1. Đóng góp lý thuyết: Hệ thống hóa toàn diện các khối kiến trúc phần mềm, nguyên lý vận hành của Hệ sinh thái Hadoop, nền tảng Confluent Kafka và các phương pháp toán học trong hệ thống khuyến nghị hiện đại.
2. Đóng góp thực tiễn: Cung cấp giải pháp kỹ thuật tích hợp hoàn chỉnh, chi phí thấp (sử dụng mã nguồn mở trên phần cứng phổ thông), phù hợp để áp dụng cho các doanh nghiệp bán lẻ vừa và nhỏ trong việc quản trị dữ liệu lớn và xây dựng hệ hỗ trợ ra quyết định.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Hệ thống chủ yếu được triển khai và thử nghiệm trên môi trường máy chủ cục bộ (on-premise), chưa đánh giá hiệu năng phân tán trên cụm máy chủ quy mô lớn trong môi trường thực tế của doanh nghiệp.
• Kiến trúc NameNode của HDFS trong thiết lập cơ bản vẫn tồn tại nguy cơ là điểm lỗi đơn lẻ (Single Point of Failure - SPOF) nếu chưa cấu hình cơ chế chuyển đổi dự phòng nâng cao (High Availability).
• Dữ liệu thử nghiệm thuật toán ISGD cần được mở rộng thêm về số lượng thuộc tính và quy mô tương tác để đánh giá toàn diện độ chính xác và độ trễ tính toán.

Hướng phát triển tiếp theo

• Nâng cấp hệ thống Data Lake hỗ trợ tích hợp môi trường lai (Hybrid Cloud), kết nối linh hoạt với các dịch vụ dữ liệu đám mây.
• Bổ sung các giải thuật học tăng cường (Reinforcement Learning) và mô hình gợi ý theo phiên (Session-Based Filtering) nhằm tối ưu hóa chất lượng khuyến nghị theo ngữ cảnh tức thời của khách hàng.
• Hoàn thiện cơ chế tự động hóa đường ống dữ liệu (Data Pipeline) và nâng cao năng lực bảo mật, quản trị phân quyền dữ liệu trên Data Lake.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn hữu ích cho các đối tượng:

• Sinh viên và nghiên cứu sinh: Ngành Kỹ thuật Phần mềm, Khoa học Dữ liệu và Công nghệ Thông tin cần tài liệu nghiên cứu về kiến trúc Big Data, Hệ sinh thái Hadoop và thuật toán Recommender System.
• Kỹ sư dữ liệu (Data Engineers) và Kỹ sư phần mềm: Tham khảo quy trình thiết lập, cấu hình thực tế các công cụ mã nguồn mở (HDFS, YARN, Kafka, Dremio, Spark, Zookeeper) và phương pháp xây dựng hạ tầng Data Lake on-premise.
• Doanh nghiệp ngành bán lẻ: Tham khảo mô hình nền tảng dữ liệu khách hàng (CDP) và giải pháp kiến trúc chi phí thấp để triển khai hệ thống phân tích dữ liệu và gợi ý sản phẩm tự động.

---

Câu hỏi thường gặp

1. Đề tài lựa chọn mô hình kiến trúc nào để xây dựng Data Lake và gồm những tầng chức năng nào?

Hệ thống được thiết kế dựa trên mô hình kiến trúc Lambda cải tiến, bao gồm 3 tầng chức năng chính:

• Batch Layer (Tầng xử lý lô): Sử dụng Apache Hadoop HDFS để lưu trữ dữ liệu thô phân tán và MapReduce/Spark để xử lý các tác vụ quy mô lớn.
• Speed Layer (Tầng xử lý luồng): Sử dụng Apache Kafka và Confluent Platform để thu nhận, truyền phát và xử lý các luồng sự kiện theo thời gian thực.
• Serving Layer (Tầng phục vụ truy vấn): Sử dụng Dremio và PostgreSQL để ánh xạ dữ liệu theo định dạng cột và phản hồi các truy vấn phân tích, cung cấp dữ liệu cho giao diện người dùng và mô hình học máy.

2. Trong HDFS, cơ chế giám sát hoạt động của các DataNode được thực hiện như thế nào?

DataNode định kỳ gửi tín hiệu nhịp tim (heartbeat) về NameNode với chu kỳ mặc định là 3 giây. Nếu NameNode không nhận được tín hiệu trong 10 chu kỳ liên tiếp (tương đương 30 giây), DataNode đó sẽ bị đánh dấu là đã chết (lỗi). Khi có yêu cầu truy xuất dữ liệu liên quan đến nút lỗi, NameNode sẽ tự động chuyển hướng yêu cầu đến các bản sao dữ liệu dự phòng có sẵn trên DataNode khác.

3. Thuật toán học máy chính được triển khai cho hệ thống khuyến nghị là gì và có ưu điểm gì?

Hệ thống sử dụng thuật toán Fast Incremental Matrix Factorization with Positive Feedback kết hợp phương pháp tối ưu hóa Incremental Stochastic Gradient Descent (ISGD). Điểm cốt lõi của phương pháp này là khả năng cập nhật ma trận phân rã ngay lập tức khi xuất hiện tín hiệu phản hồi tích cực mới từ người dùng (như hành vi xem, thích, mua hàng), giúp hệ thống đưa ra khuyến nghị thời gian thực mà không cần huấn luyện lại toàn bộ ma trận từ đầu.

4. Dremio đóng vai trò gì trong kiến trúc Data Lake của đề tài?

Dremio đóng vai trò là công cụ tăng tốc truy vấn phân tán, thực hiện kết nối và ánh xạ dữ liệu từ HDFS và cơ sở dữ liệu quan hệ (PostgreSQL) theo định dạng cột (Columnar format). Cơ chế này giúp tối ưu hóa tốc độ thực thi các câu lệnh truy vấn SQL phức tạp phục vụ khai thác dữ liệu cho hệ thống máy học và báo cáo.

5. Lợi thế hiệu năng của Apache Spark so với MapReduce được nêu trong tài liệu là gì?

Theo số liệu đối chuẩn được trích dẫn trong khóa luận, Apache Spark lưu trữ và xử lý dữ liệu trực tiếp trong bộ nhớ RAM, mang lại thời gian phản hồi nhanh hơn 100 lần so với MapReduce khi xử lý trong bộ nhớ và nhanh hơn 10 lần so với Hadoop khi thao tác trên đĩa cứng. Ngoài ra, Spark còn hỗ trợ đa ngôn ngữ lập trình gồm Java, Python, Scala và R.

---

Kết luận

Khóa luận tốt nghiệp của Nguyễn Quốc An và Lưu Hoàng Hiệp đã hoàn thành trọn vẹn mục tiêu thiết kế và triển khai hệ thống Data Lake kết hợp hệ thống khuyến nghị on-premise cho ngành bán lẻ. Đề tài tích hợp thành công các công nghệ phân tán hiện đại gồm Hadoop, Kafka, Dremio và Spark, đồng thời ứng dụng hiệu quả giải thuật Fast Incremental Matrix Factorization với ISGD để xử lý dữ liệu thời gian thực. Kết quả nghiên cứu thể hiện tính ứng dụng thực tiễn cao, cung cấp giải pháp khả thi giúp doanh nghiệp tối ưu chi phí hạ tầng và nâng cao trải nghiệm người dùng thông qua cá nhân hóa đề xuất sản phẩm.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TONG QUAN DE TAI 1.1 Muc tiéu va pham vi 1.1 Mục tiêu Tìm hiểu các ưu điểm, nhược điểm của các hệ thong dữ liệu lớn hiện tại. Nghiên cứu các công cụ hỗ trợ làm data warehouse, data processing, ETL, data lake hiện tại có trên thị trường. Thiết kế hệ thống đữ liệu lớn phù hợp với yêu cầu phục vụ hệ thống máy học. Xây dựng hệ thống dữ liệu lớn phù hợp.

Tìm hiểu các ưu điểm, nhược điểm của các hệ thong khuyén nghi (Recommender System). Nghiên cứu các phương phap,giai thuật và các công thức toán học phù hợp nhất cho hệ thống khuyến nghị. Xây dựng hệ thong khuyến nghị phù hợp với hệ thống dữ liệu lớn.2 Phạm vỉ Các hệ thống dữ liệu lớn dam mây (cloud), các hệ thống dữ liệu lớn tại cho (on-premise) của các công ty vừa và nhỏ, các nên tảng mã nguôn mỡ hỗ trợ dit liệu lớn. Các hệ thống khuyến nghị, các phương pháp dé tiếp cận và thử nghiệm với các hệ thông dữ liệu lớn Tổng quan lại thì phạm vi của đề tài là xây dựng 1 hệ thống Data Lake và 1 hệ thống khuyến nghị (Recommender System) với ý nghĩa khoa học là tìm hiểu về lãnh vực dit liệu lớn và trí thông minh nhân Trang 17 tạo dé có cái nhìn tổng quan và thực tiễn về 2 lãnh vực nêu trên và hiểu những cách thức và hướng tiếp cận với dữ liệu lớn và học máy thông qua việc xây dựng đề tài Đồng thời với việc nâng cao trải nghiệm của khách hàng trong ngành bán lẻ là một nhu cầu có tính ứng dụng và cấp thiết cao vì mục đích của việc này là dé nâng cao trải nghiệm người dùng (User Experience), tăng cường sự tiện lợi cho khách hàng với mục đích cuối cùng là dé tăng hiệu suất va chất lượng dich vụ cho những doanh nghiệp trong ngành bán lẻ 1.2 Nội dung thực hiện Mục tiêu của dé tài “Xây dựng DataLake hỗ trợ gợi ý tập khách hàng trong ngành bán lẻ”: - Tìm hiểu về Dữ liệu lớn, các khái niệm chuyên ngành.

- Tìm hiểu về Hệ thống dữ liệu lớn, các dịch vụ thương mại có trên thị trường. - _ Nghiên cứu các yếu tố, thành phần cấu trúc Hệ thống dữ liệu lớn - _ Xây dựng Hệ thống dữ liệu lớn - Tim hiểu về hệ thống khuyến nghị, các khái niệm chuyên ngành - Tim hiểu về hệ thống khuyến nghị, các dịch vụ thương mại có trên thị trường. - _ Nghiên cứu các yêu tô, thành phân câu trúc,các giải thuật Trang 18 và công thức phù hợp dé áp dụng cho hệ thống khuyến nghị Phân tích thiết kế hệ thống dữ liệu lớn phù hợp Phân tích thiết kế hệ thống khuyến nghị phù hợp Nghiên cứu các phương pháp tiếp cận hệ thống khuyến nghị phủ hợp Xây dựng Hệ thống khuyến nghị So sánh với các hệ thống khuyến nghị và hệ thống dữ liệu lớn hiện đã có trên thị trường dé có thé tìm hiểu , đối chiếu đê rút ra kết luận vê ưu nhược điêm của hệ thông Trang 19 CHƯƠNG 2 DỮ LIỆU LỚN LÀ GÌ, CÁC KHÁI NIỆM CHUYÊN NGÀNH CÀN LÀM RÕ 2.1 Khảo sát thực trạng Hiện tại với sự phát triển vũ bão của khoa học và công nghệ thì thông tin về khách hàng được thu thập với khối lượng và tốc độ chóng mặt và điều đó gây nên các vấn dé và nhu cầu về việc lưu trữ lượng lớn dit liệu này và điều này dẫn đến sự khai sinh của ngành dữ liệu lớn, vậy chúng ta có thé tự hỏi những câu hỏi như sau: - Dt liệu lớn là gì? - Nó chỉ có nghĩa là khối lượng đữ liệu không lồ hoặc có cái gì khác cho nó? - _ Liệu dữ liệu lớn có bat kỳ đặc điểm nào và đây là những gi? Trong chương này, tụi em sẽ đi qua từng câu hỏi một dé giải thích va làm rõ các khái niệm sau. Chủ yếu, tụi em sẽ đề cập đến các chủ đề sau: - Dir liệu lớn.

- Các đặc điểm của dữ liệu lớn. - _ Các cân nhắc thiết kế khác nhau cho các giải pháp đữ liệu lớn. - _ Thuật ngữ chính được sử dụng trong thế giới dit liệu lớn.2 Dữ liệu lớn là gì? Nếu chúng ta có một định nghĩa đơn giản hơn, về cơ bản nó có thê được coi là một khối lượng dit liệu không 16 không thé lưu trữ và xử lý bang cách sử dụng phương pháp truyền thống. Vì đữ liệu này có thể chứa thông tin có giá trị, nó cần được xử lý trong một khoảng thời gian ngắn.

Thông tin có giá tri này có thê được sử dụng để thực hiện các phân tích dự đoán, cũng như cho tiếp thị và nhiều mục đích khác. Nếu chúng ta sử Trang 20 dụng phương pháp truyền thống, chúng ta sẽ không thé hoàn thành nhiệm vụ này trong khung thời gian nhất định, vì khả năng lưu trữ và xử lý sẽ không đủ cho các loại nhiệm vụ nay. Đó là một định nghĩa đơn giản hơn dé hiểu khái niệm đữ liệu lớn. Phiên bản chính xác hơn như sau: "Dit liệu lớn dùng dé chi tập dữ liệu với kích thước vượt quá khả năng lưu trữ, quản lý và phân tích của phan mém cơ sở dữ liệu thông thường.

" Từ các mẫu lưu lượng truy cập và tải nhạc, đến lịch sử web và hồ sơ y tế, dữ liệu được ghi lại, lưu trữ và phân tích dé cho phép công nghệ và dịch vụ tạo ra sản phẩm có ý nghĩa mà thé giới dựa vào mỗi ngày. Nếu chúng tôi chỉ giữ đữ liệu mà không xử lý dữ liệu hoặc nếu chúng tôi không lưu trữ dữ liệu, coi đó là không có giá trị, điều này có thể gây bắt lợi cho công ty. Bạn đã bao giờ thay Amazon đang gợi ý cho bạn những sản pham mà bạn quan tâm nhiều nhất chưa? Hay là Shopee biết rõ bạn đang quan tâm đến những thể loại sản phẩm và dịch vụ nào? Các công ty này họ đã và đang thu thập tất cả các hoạt động bạn làm trên ứng dụng của họ và sử dụng chúng cho trải nghiệm người dùng tốt hơn, cũng như vì lợi ích của họ, dé tạo doanh thu.Ta có thể nhận ra điều này khi sử dụng các ứng dụng phô biến thường ngày như Facebook, Shopee, Amazon. Điều này đặt ra một thách thức cho chúng ta: đưa ra các giải pháp mạnh mẽ và hiệu quả hơn có thê dap ứng các thách thức va yêu câu mới.

Bây giờ, khi chúng ta có một số hiểu biết về dữ liệu lớn là gì, chúng ta sẽ Trang 21 tiễn lên phía trước vả thảo luận về các đặc điểm khác nhau của nó.3 Đặc điểm của dữ liệu lớn Dữ liệu lớn có 6 đặc điểm như sau: - Volume: Là sự tăng trưởng về mặt khối lượng .Dữ liệu trong các hệ thống thông tin luôn luôn và không ngừng tăng về kích thước - Velocity: Là sự tăng trưởng về mặt tốc độ - Variety: Là sự tăng trưởng về tinh đa dạng của dit liệu .Bao gồm cả dữ liệu có câu trúc và phi cấu trúc - Variability: Là tính biến thiên của dữ liệu phản ánh tính không nhất quán của đữ liệu .Tính biến thiên cũng được thẻ hiện qua kích thước và Trang 22 tốc độ đữ liệu được sinh ra - Value: Giá trị thông tin trong hệ thống - Veracity: Là tính xác thực của dữ liệu VOLUME VARIETY 6V’s of Hình 1: Đặc điểm của dữ liệu lớn (Big Data) Trang 23 Các kích thước bộ nhớ máy tính khác nhau được liệt kê trong bảng sau dé cho bạn ý tưởng về các chuyên đổi giữa các don vị khác nhau. Nó sẽ cho bạn hiểu kích thước của dit liệu trong các vi dụ sắp tới trong chương này: Memory Conversion Capacity Chart \Byte(B) |8bbhb —_ 1024 MB / 10° bytes 1024 GB / 10" bytes Zettabyte (ZB 1024 EB / 10ˆ` bytes Yottabyte (YB) ‘| 1024 ZB ! 10”” bytes 2.1 Dung lượng Trong những năm trước, dữ liệu của công ty chỉ đề cập đến dữ liệu được tạo bởi nhân viên của họ. Bây giờ, khi việc sử dụng công nghệ tăng lên, nó không chỉ là dữ liệu được tạo bởi nhân viên mà còn là dữ liệu được tạo ra bởi các máy được sử dụng bởi các công ty và khách hàng của họ. Ngoài ra, với sự phát triển của phương tiện truyền thông xã hội và các tài nguyên internet khác, mọi người đang đăng và tải lên rất nhiều nội dung, video, hình ảnh, tweet, v.v Khi chúng ta nói về khối lượng trong bối cảnh dé liệu lớn, đó là một lượng dữ liệu khổng lồ đối với hệ thống xử lý không thể được thu thập, lưu trữ và xử lý băng các phương pháp truyền thông.

Đó là đữ liệu còn lại đã được thu thập vả truyền dữ liệu liên tục được tạo. Lấy ví dụ về Facebook. Như chúng ta có thê thấy trong hình 2, số lượng Trang 24 người dùng hang tháng của Facebook trong năm 2019 tăng chóng mặt và khi số lượng người dùng tăng nhanh vậy thì cũng đồng nghĩa với việc dữ liệu về các hoạt động của người dùng tăng liên tục thông qua các hành vi của người dùng như đăng tải một tam anh đại diện, bình luận trên một Hình 2: Tăng trưởng trong qua khứ, hiện tại,tương lai của Facebook 2.2 Vận tốc Vận tốc là tốc độ tạo ra dữ liệu hoặc tốc độ dữ liệu đến. Nói cách đơn giản hơn, chúng ta có thê gọi nó là dữ liệu chuyên động.

Hãy tưởng tượng lượng đữ liệu Facebook, YouTube hoặc bất kỳ trang web mạng xã hội nào đang nhận được mỗi ngày. Họ phải lưu trữ nó, xử lý nó và bằng cách nào đó sau đó có thê lây nó. Dưới đây là một vài ví dụ về việc dữ Trang 25 liệu tăng nhanh như thế nào: - _ Mỗi phút có 168 triệu email được gửi đi - Có trên 98.000 dong tweet mới trên Twitter - Trên 698.000 kết qua tim kiếm mới trên Google Every 60 seconds WD 98,000+ tweets - Ei 695,000 status updates c===> MB 11million instant messages DPD 698,445 Google searches K<a 168 million+ emails sent ¬ 1,820TB of data created BH 217 new mobile web users Hình 3: Vận tốc mà dữ liệu được tạo ra 2.3 Đa dạng Trong phần này, tụi em nghiên cứu phân loại dữ liệu. Nó có thể được cấu trúc hoặc dữ liệu phi cấu trúc.

Dữ liệu có cấu trúc được ưu tiên cho thông tin có lược đồ được xác định trước hoặc có mô hình dữ liệu với các cột, loại dữ liệu được xác định trước, v., trong khi dữ liệu phi cấu trúc không có bất kỳ đặc điểm nào trong số này.